Hi nyikile ti terabytes ta ti log ta CI eka LLM

"Swihoxo swo durha swinene a hi leswi swi tshoveka xitirhisiwa xa wena. Hi swona leswi yivaka hi ku miyela 30 wa tisekoni eka ku aka kun'wana na kun'wana, siku na siku, ku ringana malembe — ku kondza munhu a hetelela a vutisa xivutiso lexi faneleke xa dataset leyinene."

Ku aka Leyara ya Vutlhari bya CI leyi Tirhaka

Xikambelo xi hi khorwisile leswaku nxopaxopo wa log lowu fambiwaka hi LLM a hi nchumu lowuntshwa — i vuswikoti bya ntiyiso bya ntirho. Kambe ku yi endla yi tirha swi lava vumaki lebyi anakanyisisiweke. A wu nge swi koti ku phayipha ntsena ti-raw log eka xihlanganisi xa mbulavurisano ivi u langutela tinhlamulo leti pfunaka. Sisiteme yi lava xivumbeko, naswona yi lava ku hlanganisiwa eka maendlelo ya ntirho lawa vanjhiniyara se va ma tirhisaka.

Hi tshamisekile eka endlelo ra swiyenge swinharhu. Xiyimo xo sungula i ku hlawula hi ku tisungulela: ku aka kun’wana na kun’wana loku tsandzekeke hi ku tisungulela ku kuma ku hlawuriwa hi xiyenge xa ​​xivangelo xa rimitsu (xitirhisiwa, ku titshega, loji ya xikambelo, vukorhokeri, kumbe xiphepherhele) hi xikoro xa ku tshemba. Leswi ntsena swi hungute nkarhi wa xikarhi wo lulamisa ku tsandzeka ka ku aka hi 34%, hikuva vanjhiniyara a va nga ha boheki ku heta timinete ta khume va hlaya swiviko ntsena ku kuma laha va nga sungulaka ku languta kona. Xiyenge xa ​​vumbirhi i ku kumiwa ka mikhuva: ku gayela ka vhiki na vhiki loku humesaka swivumbeko leswi humelelaka — ku engetela mimpimo ya ku tsandzeka, ku kula ka minkarhi yo aka, ku sayina swihoxo leswintshwa — swi nga si va swa nkoka. Xiyenge xa ​​vunharhu i vulavisisi bya vuhlanganisi: xihlanganisi laha vanjhiniyara va nga vutisaka swivutiso swa ririmi ra ntumbuluko mayelana na matimu yo aka, ku fana na "Ha yini vukorhokeri bya X byi tsandzekile ngopfu endzhaku ka ku humesiwa ka Dzivamisoko?" kumbe "Hi xihi xivangelo lexi tolovelekeke xa swihoxo swa ku hela ka nkarhi eka phayiphi ya hakelo?"

Eka swipano leswi fambisaka matirhelo yo rharhangana — ngopfungopfu leswi lawulaka mintirho yo tala ya bindzu ku fana na CRM, ku endla ti-invoice, ku hakela, na vuxopaxopi hi ku tirhisa tipulatifomo to fana na Mewayz, leyi hlela 207 wa mimojula leyi hlanganisiweke — muxaka lowu wa ku langutiwa wu va wa nkoka swinene. Loko ku tirhisiwa kun’we ku khumba maendlelo ya ntirho lama langutaneke na vaxavi, loji ya ku hakela, na tisisiteme ta HR hi nkarhi wun’we, ku twisisa ku titshega eka phayiphi ya wena ya CI a hi ku hlawula. I swa nkoka ku hlayisa ku tshembheka loku 138,000+ wa vatirhisi va titshegeke ha kona.

I Yini Lexi Nga Tirhiki (Sweswi)

Ku tshembeka i ka nkoka ku tlula hype. Ku ni swipimelo leswi nga erivaleni eka endlelo leri leswi un’wana ni un’wana loyi a ri kambisisaka a faneleke a swi twisisa. Ti-LLM ti vona swilo leswi nga vonakiki, naswona loko ti vona swilo leswi nga vonakiki hi ti- CI log, vuyelo bya kona byi nga ha va byi hoxile hi ndlela leyi khorwisaka. Hi vonile sisiteme hi ku tiyiseka yi vula leswaku ku tsandzeka ku aka ku vangiwa hi mpfilumpfilu wa ku titshega lowu nga si tshamaka wu va kona, lowu heleleke hi tinomboro ta vuhundzuluxeri lebyi endliweke. Phayiphi ya RAG yi hunguta leswi swinene, kambe a yi swi herisi. Vutivi byin’wana na byin’wana lebyi sisiteme yi byi humesaka bya ha lava ku tiyisisiwa hi vanhu ku nga si teka goza.

Xikalo xi tshama xi ri ntlhontlho. Loko sisiteme yo vuyisa yi nga khoma swivutiso hi ndlela leyinene, ku vekiwa ka swikombo swo sungula na ku nghenisa tilog letintshwa swa durha hi tlhelo ra xibalo. Hi lulamisa kwalomu ka 800,000 wa milayeni leyintshwa ya log siku na siku, naswona ku hlayisa index yi ri leyintshwa swi lava switirhisiwa leswi tinyiketeleke. Eka swipano leswintsongo, xibalo xa ku vuyeriwa ka ntsengo swi nga ha va swi nga tsakeli endlelo leri — hi xiringaniso a swi si tsakela. Loko tihakelo ta modele ti ya emahlweni ti ya ehansi (ti wile hi kwalomu ka 90% eka tinhweti ta 18 leti hundzeke eka vuswikoti byo ringana), ikhonomi yi ta cinca.

Ku tlhela ku va na xivutiso xa vuhlayiseki. Tilog ta CI ti nga va na swihundla — swilotlelo swa API, tintambhu ta vuhlanganisi, ti-URL ta le ndzeni — hambileswi ku nga na matshalatshala lamanene yo swi hlantswa. Ku rhumela datha leyi eka ti-API ta LLM ta le handle swi nghenisa khombo. Hi hunguta leswi hi phayiphi ya laha kaya yo hlantswa na hi ku fambisa inference eka timodeli leti ti rhurheleke eka vuhlayiselo lebyi nga na vuxiyaxiya, kambe swi engetela ku rharhangana na ntsengo. Swipano swi fanele ku kambisisa hi vukheta modele wa swona wa nxungeto swi nga si tirhisa nchumu wun’wana na wun’wana lowu fanaka.

Ku Sungula Handle ka Titerabyte

A wu lavi dataset leyikulu kumbe ntlawa wa vunjhiniyara bya ML lowu tinyiketeleke ku sungula ku humesa nkoka eka tilog ta wena ta CI. Hi leyi masungulo ya pragmatic lawa xipano xin’wana na xin’wana lexi nga na madzana ma nga ri mangani ya ku aka hi vhiki xi nga xi tirhisaka:

• Sungula hi ku hlawuriwa ka ku tsandzeka. Rhumela ehandle masiku ya wena yo hetelela ya 90 ya tilog ta ku aka leti tsandzekeke. Tirhisa API yin’wana na yin’wana ya LLM ku hlawula ku tsandzeka kun’wana na kun’wana hi swiyenge. Hambi ku ri taxonomy yo olova (infra vs. code vs. config vs. flake) yi nyika nkoka wa xihatla wa ku rhangisa emahlweni.
• Landzela mikhuva ya nkarhi wo aka. Hlawula switempe swa nkarhi ku suka eka tilog ta wena ku tumbuluxa nxaxamelo wa nkarhi wa nkarhi wo aka hi xiteji xa phayiphi. Ku phamela ti anomalies eka LLM leyi nga na mongo wa log lowu rhendzeleke na ku kombela ti root cause hypothesis.
• Endla leswaku swivutiso leswi "nga erivaleni" swi tirha hi ku tisungulela. Veka xihuku xa le ndzhaku ka ku tsandzeka lexi rhumelaka milayeni yo hetelela ya 500 ya ku aka loku tsandzekeke eka LLM hi xitsundzuxo: "Katsakatsa ku tsandzeka loku ka CI eka xivulwa xin'we ivi u ringanyeta ku lulamisiwa loku nga ha vaka kona swinene." Leswi ntsena swi hlayisa 5-10 wa timinete hi ku tsandzeka eka mininjhere un’wana na un’wana eka xipano.
• Aka akhavhiyu leyi laviwaka. Tirhisa ku nghenisiwa ku endla leswaku matimu ya wena ya log ya vutisisiwa hi ririmi ra ntumbuluko. Switirhisiwa swo fana na LangChain na LlamaIndex swi endla leswaku leswi swi fikeleleka hi ndlela yo hlamarisa, hambi ku ri eka swipano leswi nga riki na ntokoto wa ML.

Xilotlelo i ku sungula hi switsongo, u tiyisisa leswaku vutivi byi lulamile, naswona u ndlandlamuxa hakatsongo-tsongo. Ikhosisteme ya switirhisiwa swa muxaka lowu wa nxopaxopo yi vupfa hi xihatla, naswona leswi a swi lava switirhisiwa swa ntolovelo eka lembe leri nga hundza swi ya swi kumeka tanihi swiphemu leswi nga xavisiwiki.

Vumundzuku I Vutlhari bya Ntirho

Leswi hi vulavulaka hi swona hakunene a hi nxopaxopo wa log ntsena — i ku cinca ka xisekelo ku ya eka vutlhari bya matirhelo. Endlelo leri fanaka leri tirhaka eka tilog ta CI ri tirha eka mathikithi ya nseketelo wa vaxavi, datha ya tiphayiphi to xavisa, ku cincana ka swa timali, na maendlelo ya ntirho ya matirhelo. Thread leyi tolovelekeke hileswaku tinhlengeletano ti tumbuluxa nhlayo leyikulu ya datha ya matsalwa lama nga hlelekangiki ngopfu leyi nga na swivumbeko leswi nga tekiwaka goza, naswona ti-LLM ti faneleka hi ndlela yo hlawuleka ku kuma swivumbeko sweswo.

Leswi hi swona swi endlaka leswaku tipulatifomo leti hlanganisaka matirhelo ya mabindzu ti va na vuyelo bya xivumbeko. Loko datha ya wena ya CRM, vufambisi bya phurojeke, ku endla ti-invoice, tirhekhodo ta HR, na vuxopaxopi hinkwaswo swi hanya eka sisiteme yin’we — tanihilaha swi endlaka hakona eka swipano leswi tirhisaka xivumbeko xa modyuli leyi hlanganisiweke ya Mewayz — vuswikoti bya vutlhari byo tsemakanya domain bya andza. Xivumbeko eka tilog ta wena ta CI xi nga ha fambelana na ku churn ka vaxavi. Ku tlakuka ka mathikithi ya nseketelo ku nga ha vhumbha ku tsandzeka ka ku rhumeriwa. Swihlanganisi leswi swi vonaka ntsena loko datha yi tshama eka tisisiteme leti hlanganisiweke ku tlula tisilo leti nga toxe.

Swipano leswi nga ta humelela eka khume ra malembe lama taka a hi swona leswi nga na vanjhiniyara vo tala kumbe mipimanyeto leyikulu. Hi vona lava dyondzaka ku yingisela data ya vona — ku katsa na ti terabytes ta yona leti va nga tshama va ti lahla. Ti log ta wena ta CI ta vulavula. Xivutiso hi leswaku xana u lunghekele ku twa leswi va swi vulaka.

Swivutiso Leswi Vutisiwaka Nkarhi Na Nkarhi

Xana ti-LLM ti nga kuma tipheteni leti pfunaka hakunene eka tilog ta CI?

Hi ku hetiseka. Timodelo letikulu ta ririmi ti humelela eka ku kuma swivumbeko leswi vuyeleriwaka eka matsalwa lamakulu lama nga hlelekangiki. Loko ti kongomisiwa eka ti terabytes ta ti CI logs, tinga humesa ku yelana ka ku tsandzeka, ti flaky test signatures, na ku lwisana ka ku titshega loku vanjhiniyara va vanhu vanga ta ka vanga ku khomi hi voko. Xilotlelo i ku hlela phayiphi ya ku dya hi ndlela leyinene leswaku modele wu amukela swiphemu swa log leswi fuweke hi ndlela leyinene, leswi fuweke hi mongo ku tlula mpfumawulo lowu nga si swekiwaka.

Hi tihi tinxaka ta ku tsandzeka ka CI leti nga vhumbhiwaka hi ku tirhisa nxopaxopo wa log?

Nxopaxopo wa log lowu fambiwaka hi LLC wu nga vhumbha ku hela ka nkarhi loku fambelanaka na switirhisiwa, ku tsandzeka ka xiboho xa ku titshega loku vuyeleriwaka, ku wa ka ku aka loku bohiweke hi memori, na swikambelo swa flaky leswi hlohloteriwaka hi tindlela to karhi ta khodi. Yitlhela yi kombisa ti slow-creeping regressions laha minkarhi yo aka yi tlakukaka hakatsongotsongo eka mavhiki. Swipano leswi tirhisaka endlelo leri hi ntolovelo swi khoma swivumbeko swa ku tsandzeka ka cascading switsutsumi swimbirhi ku ya eka swinharhu swi nga si va swiendlakalo swo sivela eka ku tirhisiwa ka vuhumelerisi.

Xana u lava datha yo tanihi kwihi ya CI log loko nxopaxopo wu nga si va wa nkoka?

Tipheteni leti nga na nhlamuselo hi ntolovelo ti humelela endzhaku ko xopaxopa masiku ya 30 ku ya eka 90 ya matimu ya tiphayiphi lama yaka emahlweni ku tsemakanya marhavi yo tala. Tidathaseti letintsongo ti humesa vutivi bya xiyimo xa le henhla, kambe nkoka wa xiviri wu huma eka ku cross-referencing magidi ya ku tsutsuma ko aka. Eka swipano leswi lawulaka maendlelo ya ntirho yo rharhangana etlhelo ka tiphayiphi ta vona ta CI, tipulatifomo to fana na Mewayz ti nyika 207 wa mimojula leyi hlanganisiweke ku sukela eka $19/mo ku hlanganisa datha ya ntirho eka app.mewayz.com.

Xana ku phamela tilog ta CI eka LLM i khombo ra vuhlayiseki?

Swi nga va loko swi khomiwa hi vusopfa. Tilog ta CI ti tala ku va na swilo leswi cinca-cincaka swa mbango, swilotlelo swa API, ti-URL ta le ndzeni, na vuxokoxoko bya switirhisiwa. Loko u nga si tirhisa tilog hi ku tirhisa LLM yihi kumbe yihi, u fanele ku tirhisa tiphayiphi ta ku pfuxeta leti tiyeke leti hluvulaka swihundla, switifiketi, na vuxokoxoko lebyi tivekaka bya munhu. Ku tirhisiwa ka modele loku tiyimeleke kumbe loku nga eka ndhawu ku hunguta swinene ku paluxiwa loko ku pimanisiwa na ku rhumela tilog leti nga si swekiwaka eka makumu ya swibumabumelo leswi simekiweke eka papa ra vanhu va vunharhu.