Waxaan siinay terabytes ee logyada CI LLM

Minada Dahabka ah ee Qarsoon ee Fadhida Dhuumahaaga CI

Koox kasta oo injineeriya ayaa soo saara iyaga. Malaayiin khad, maalin kasta - mareegta waqtiyada, raad-raacyada, xallinta ku-tiirsanaanta, natiijooyinka tijaabada, dhisidda farshaxanimada, iyo farriimaha khaladka qarsoodiga ah ee si ka dhaqso badan qof kasta u akhriyi karo. Diiwaanada CI waa qiiqa qiiqa ee horumarinta software-ka casriga ah, iyo inta badan hay'adaha, waxaa loola dhaqmaa sida qiiqa oo kale: la geliyo kaydinta oo la ilaaway. Laakiin ka waran haddii diiwaannadaas ay ka kooban yihiin qaabab saadaalin kara guul-darrooyinka ka hor intaanay dhicin, aqoonso caqabadaha ku kacaya kooxdaada boqollaal saacadood rubuckiiba, oo muuji arrimo nidaamsan oo aanu hal injineer waligii arkin? Waxaan go'aansanay inaan ogaano anagoo quudinayna terabyte ee xogta log CI qaab luqadeed weyn - iyo waxa aan ogaanay ayaa bedelay sida aan uga fikirno DevOps gabi ahaanba.

Waa maxay sababta CI Logs-ku u yihiin xogta ugu badan ee aan laga faa'iidaysanin Software Engineering

Tixgeli mugga saafiga ah. Kooxda injineernimada dhexdhexaadka ah oo ordaya 200 dhismo maalin kasta oo ku yaal meelo badan ayaa soo saara qiyaastii 2-4 GB xogta log ceeriin maalin kasta. Muddo sannad ka badan, taasi way dhaaftay terabyte qoraal habaysan iyo qaab-hoosaadyo leh oo qabta ururin kasta, fulin kasta oo tijaabo ah, tallaabo kasta oo la diro, iyo qaab kasta oo guul-darro ah oo nidaamkaagu waligiis la kulmay. Waa diiwaan dhammaystiran oo qadiimiga ah oo ku saabsan wax soo saarka ururkaaga injineernimada - oo ku dhawaad qofna ma akhriyo.

Dhibaatadu maaha in xogtu qiimo la'aan tahay. Waa in saamiga signal-ilaa-sanqa uu yahay mid naxariis daran. Dhaqdhaqaaqa caadiga ah ee CI wuxuu soo saaraa kumanaan xariiq oo wax soo saar ah, waxaana laga yaabaa in 3-5 ee khadadkaas ay ku jiraan macluumaad la qaadi karo. Injineerada waxay bartaan inay iskaan ka sameeyaan qoraalka cas, grep for "FAILED," oo u dhaqaaqo. Laakiin qaababka ugu muhiimsan - tijaabada qallafsan ee guuldarraysa Talaada kasta, ku-tiirsanaanta ku dareysa 40 ilbiriqsi dhisme kasta, daadinta xusuusta ee dusha sare ka saarta marka saddex adeeg oo gaar ah ay si isku mid ah u socdaan - qaababkaas ayaa ah kuwo aan la arki karin marka la eego heerka diiwaanka shaqsiga. Waxay ku soo baxaan miisaan ahaan.

Qalabka falanqaynta log-dhaqameedka sida xirmooyinka ELK iyo Datadog waxay isu geyn karaan cabbirada iyo u dhigma ereyada muhiimka ah, laakiin waxay la halgamayaan kakanaanta semantic ee wax soo saarka CI. Farriinta fashilka dhismuhu waxay ku qoran tahay“ Connection diiday on port 5432”iyo mid akhriya“ FATAL: password authentication failed for user ‘deploy”labadaba waa guuldarro la xiriirta database-ka, laakiin waxay leeyihiin gebi ahaanba kala duwan sababaha iyo xalalka. Fahamka kala duwanaanshuhu wuxuu u baahan yahay nooca sababaynta macnaha guud ee, ilaa dhowaan, kaliya aadanaha ayaa bixin kara.

Tijaabada: Quudinta 3.2 Terabyte ee Taariikhda Dhisidda LLM

Habayntu waxay ahayd mid toos ah fikradda iyo qarow marka la fulinayo. Waxaan ka soo aruurinay 14 bilood oo diiwaannada CI goob u adeegta in ka badan 138,000 isticmaale - oo daboolaya dhismooyinka kala duwan ee adeegyada, bay'ada, iyo bartilmaameedyada geynta. Xogta cayriin waxay timid 3.2 terabytes: ku dhawaad ​​847 milyan oo khad log oo shaqsi ah oo gaaraya 1.6 milyan dhuumaha CI. Waanu kala jajabinay, dhexgalnay, oo tilmaanay xogtan, ka dib waxa aanu dhisnay dhuumo dib-u-celinta jiilka (RAG) oo ka jawaabi kara su'aalaha luqadda dabiiciga ah ee ku saabsan taariikhda dhismeedkeena.

Caqabadda koowaad waxay ahayd horudhac. Diiwaanada CI ma aha qoraal nadiif ah. Waxay ka kooban yihiin koodka midabka ANSI, baararka horumarka ee iskood isku qoraaya, jeegagyada artifact binary, iyo timestamps ugu yaraan afar qaab oo kala duwan iyadoo ku xidhan hadba aaladda ay soo saartay. Waxa aanu ku qaadanay saddex toddobaad uun sidii caadiga ahayd - ka xayuubintii buuqa, jaangoynta wakhtiyada, iyo ku calaamadaynta qayb kasta oo qoraal ah xogta badan ee ku saabsan marxaladda dhuumaha, kaydka, laanta, iyo deegaanka ay ka tirsan tahay.

Caqabadda labaad waxay ahayd kharash. Ku socodsiinta aragtida terabyte-ka ee qoraalka maaha mid raqiis ah, xitaa iyada oo la isku jebin karo iyo hagaajinta soo celinta. Waxaan ku gubnay dhibco xisaabeed oo muhiim ah bishii ugu horreysay oo keliya, inta badan sababtoo ah habkayagii hore wuxuu ahaa mid aad u fudud - diritaanka macnaha badan ee su'aal kasta oo aanaan dooranin ku filan qaybaha log ee khuseeya. Dhammaadka bisha labaad, waxaanu hoos u dhigi doonaa kharashaadka qof kasta 87% iyada oo loo marayo istaraatiijiyado la isku dhejin karo iyo nidaam laba marxaladood ah oo dib u soo celin ah oo isticmaalay qaab yar si loo sifeeyo ka hor inta aan loo dirin ka weyn.

Shan qaab oo LLM la helay oo aadanuhu waligiis yeeli doonin

Usbuuca ugu horeeya ee su'aalaha socda, nidaamku waxa uu soo baxay fikrado ay ku qaadan lahayd bilo baadiyaha bini'aadamka si uu gacanta ugu helo. Kuwani ma ahayn kiisas cidhiidhi ah ama xiiso leh - waxay ahaayeen arrimo nidaamsan oo dhiigbaxaya saacadaha injineernimada dhabta ah.

1. Cascade ku tiirsanaanta phantom-ka Daahitaanku waa la daboolay sababtoo ah waxay ku soo beegantay cusboonaysiinta kaabayaasha CI taasoo guud ahaan si dhakhso leh u dhistay. Net-net, dhismuhu wuxuu u muuqday si dhakhso leh, laakiin waxay ku socon karaan 22 ilbiriqsi weli. In ka badan 400+ JS dhismo ah maalintii, taas oo ahayd2.4 saacadood oo xisaabinta khasaaray maalin kasta.
2. Xilliga aagga waqtiga. LLM waxay aqoonsatay in guuldarradu ay si fiican ula xiriirto dhismayaal kiciyay inta u dhaxaysa 23:00 iyo 01:00 UTC, marka shaqada isbarbardhigga taariikhda ay ka gudubtay xuduud maalinle ah. Hagaajin laba sadar ah ayaa meesha ka saaray gebi ahaanba burburkii.
3. Nidaamka dib-u-celinta aamusan. Tani waxay keentay in la ogaado in imtixaanka isdhexgalka uu gudbayo jawaabaha la kaydiyay ee adeega jeesjeeska ah awgeed.
4. Subaxdii isniinta. Hagaajintu ma ahayn tikniko - waxay ahayd mid shaqaynaysa: jahawareerka jadwalka miisaanaynta barkada orodyahanka CI si loo saadaaliyo kor u kaca Isniinta.
5. Calanka isku-dhafka ah ee aan cidina dejin. Calanku waxa uu ku qornaa hagaha dusha sare laakiin waligiis laguma darin qaabka qaabaynta CI ee la wadaago.

"Cayayaanka ugu qaalisan maaha kuwa burburiya arjigaaga

Dhismaha Lakabka Sirdoonka CI ee Waxtarka leh

Tijaabadu waxay nagu qancisay in falanqaynta log ee ku shaqaynaysa LLM aanay ahayn wax cusub - ay tahay awood hawleed dhab ah. Laakin ka dhigista mid wax ku ool ah waxay u baahan tahay qaab-dhismeed fikir leh. Kaliya kuma xiri kartid logyada ceyriinka ah inaad geliso interface interface oo waxaad filan kartaa jawaabo waxtar leh. Nidaamku wuxuu u baahan yahay qaab dhismeed, wuxuuna u baahan yahay in lagu dhex daro injineerada socodka shaqada ee horey u isticmaaleen.

Waxaan ku degnay hab saddex heer ah. Heerka koowaad waakala soocida otomaatiga ah: dhisme kasta oo guuldarraystay waxa si toos ah loogu kala saarayaa qaybta sababta asaasiga ah (kaabayaasha, ku-tiirsanaanta, macquulnimada tijaabada, qaabaynta, ama jajabka) oo leh buundada kalsoonida. Tani kaliya waxay hoos u dhigtay celceliska wakhtiga lagu hagaajinayo dhismooyinka burburay 34%, sababtoo ah injineerada mar dambe maaha inay ku qaataan 10 daqiiqo akhrinta diiwaanka si ay u ogaadaan meesha laga bilaabo raadinta. Heerka labaad waaOgaanshaha isbeddelka: dheefshiidka toddobaadlaha ah kaas oo dusha ka saara qaababka soo baxaya - korodhka heerarka guuldarrada, wakhtiyada dhisidda sii kordhaya, saxeexyada khaladka cusub - ka hor inta aanay noqon mid muhiim ah. Heerka saddexaad waabaaritaan is-dhexgal ah: interface ah oo ay injineeradu ku weydiin karaan su'aalaha luqadda dabiiciga ah ee ku saabsan dhismaha taariikhda, sida "Muxuu adeegga X u guuldareystay marar badan ka dib siideynta Maarso?" ama "Waa maxay sababta ugu badan ee khaladaadka waqtigu ka dhamaanayo ee dhuumaha lacag bixinta?"

Kooxuhu waxay wadaan hawlgallo adag - gaar ahaan kuwa maamula hawlo ganacsi oo kala duwan sida CRM, qaansheegta, mushahar bixinta, iyo falanqaynta iyada oo loo marayo aaladaha sidaMewayz, kaas oo abaabula 207 qaybood oo isku dhafan - indho-indhaynta noocan ah waxay noqotaa mid aad u muhiim ah. Marka hal meel geyn ay taabato qulqulka shaqada ee wajahaya macmiilka, macquulka biilasha, iyo nidaamyada HR isku mar, fahamka ku tiirsanaanta dhuumahaaga CI ma aha ikhtiyaari. Waa lagama maarmaan si loo ilaaliyo isku halaynta in 138,000+ isticmaalayaashu ku tiirsan yihiin.

💡 DID YOU KNOW?

Mewayz replaces 8+ business tools in one platform

CRM · Invoicing · HR · Projects · Booking · eCommerce · POS · Analytics. Free forever plan available.

Start Free →

Maxaa Aan Shaqeyn (Weli)

Daacadnimada ayaa ka muhiimsan buun-buuninta. Waxa jira xaddidaad cad oo habkan ah oo qof kasta oo tixgelinaya ay tahay inuu fahmo. LLMs hallucinate, iyo marka ay dhalanteed wax ku saabsan diiwaannada CI, natiijadu waxay noqon karaan kuwo lagu qanci karo khalad. Waxaan aragnay nadaamku si kalsooni leh uu guuldarada dhismuhu u nisbaynayo isku dhaca ku tiirsanaanta oo aan waligiis jirin, oo ay ku buuxaan lambaro la been abuuray. Dhuumaha RAG aad bay u yaraynaysaa tan, laakiin ma tirtirto. Aragti kasta oo nidaamku soo saaro waxay u baahan tahay xaqiijinta bini'aadamka kahor ficilka.

Miisaanka ayaa weli ah caqabad. Iyadoo nidaamka dib u soo celinta uu si hufan u maareyn karo weydiimaha, tusmaynta bilowga ah iyo ku-xidhka qoraallada cusub waa xisaab ahaan qaali. Waxaan ka shaqeynaa ku dhawaad ​​800,000 khadadka log cusub maalin kasta, iyo ka dhigista tuducda cusub waxay u baahan tahay kaabayaal gaar ah. Kooxaha yaryar, xisaabinta kharashka-faa'iidada ayaa laga yaabaa inaanay u jeclayn habkan - ugu yaraan weli. Sida kharashyada moodeelku sii wadaan hoos u dhaca (waxay hoos u dhaceen qiyaastii 90% 18kii bilood ee la soo dhaafay awood u dhiganta), dhaqaaluhu wuu isbedeli doonaa.

Waxa kale oo jirta su'aasha amniga. Diiwaanada CI waxay ka koobnaan karaan siraha - furayaasha API, xargaha isku xirka, URL-yada gudaha - inkastoo dadaallada ugu wanaagsan ee lagu xoqayo. U dirida xogtan API-yada LLM dibadda waxay soo bandhigaysaa khatarta. Waxaan tan ku yareynaa dhuumaha qashinka ee maxaliga ah iyo annagoo ka faa'ideysanayna moodooyinka iskood isu martigeliyay ee meelaha xasaasiga ah, laakiin waxay ku kordhineysaa kakanaanta iyo qiimaha. Kooxuhu waa inay si taxadar leh u qiimeeyaan qaabkooda halista ka hor inta aysan fulin wax la mid ah.

Bilaabida Terabyte la'aan

Uma baahnid xog-ururin weyn ama koox injineernimo ML ah oo u go'an si aad u bilawdo soo saarista qiimaha diiwaankaaga CI. Halkan waxaa ah bilow macquul ah oo koox kasta oo leh dhowr boqol oo dhisme todobaadkii ay fulin karto:

• Ka bilow kala-saar guul-darrida Adeegso LLM API kasta si aad guuldarradu u kala saarto qaybo. Xataa taxonomy fudud (infra vs. code vs. config vs. flake) waxa ay siisaa qiimo degdeg ah oo mudnaanta la siinayo.
• Lasoco isbeddellada muddada dhisitaanka Ku quudi cilladaha LLM oo leh macnaha guud oo ku xeeran oo weydiiso fikradaha asalka ah.
• Automate su'aalaha "cad" Tani kaliya waxay badbaadinaysaa 5-10 daqiiqo guuldaradii injineer kasta oo kooxda ka tirsan.
• dhis kayd la raadin karo Aaladaha ay ka midka yihiin LangChain iyo LlamaIndex ayaa tan ka dhigaya mid si la yaab leh loo heli karo, xitaa kooxaha aan lahayn khibrad ML.

Furaha ayaa ah in la bilaabo wax yar, la xaqiijiyo in aragtiyadu ay sax yihiin, oo si tartiib tartiib ah loo ballaariyo. Nidaamka deegaanka qalabaynta ee falanqaynta noocan ah ayaa si degdeg ah u bislaaday, iyo waxa loo baahan yahay kaabayaashii caadiga ahaa sannad ka hor ayaa si isa soo taraysa loogu heli karaa qaybo ka baxsan shelf-ka.

Mustaqbalku Waa Sirdoonka Hawleed

Waxa aan runtii ka hadlaynaa maaha kaliya falanqaynta log - waa isbeddel aasaasi ah oo loo marosirdoonka shaqada. Habka isku midka ah ee u shaqeeya diiwaannada CI ayaa quseeya tigidhada taageerada macaamiisha, xogta dhuumaha iibka, macaamilka maaliyadeed, iyo socodka shaqada. Mawduuca guud ayaa ah in ururadu ay soo saaraan tiro aad u tiro badan oo xog qoraal ah oo habaysan kuwaas oo ka kooban qaabab wax qabad la taaban karo, LLM-yaduna waxay si gaar ah ugu habboon yihiin helista qaababkaas.

Tani waa sababta aaladaha udub dhexaad u ah hawlaha ganacsiga ay u leeyihiin faa'iido dhismeed. Marka xogtaada CRM, maaraynta mashruuca, qaansheegta, diiwaanada HR, iyo falanqaynta ay dhamaantood ku nool yihiin hal nidaam - sida ay u sameeyaan kooxaha isticmaalaya Mewayz's module architecture -ka suurta galnimada sirta domain-ku way badataa. Habka ku jira diiwaannadaada CI ayaa laga yaabaa in ay la xiriirto murugada macaamiisha. Sare u kaca tigidhada taageerada waxa laga yaabaa inay saadaaliso fashilinta hawlgelinta Xidhiidhadani waxay noqdaan kuwo muuqda oo kaliya marka xogtu ay ku nooshahay habab isku xidhan halkii ay ka ahaan lahaayeen silos go'doonsan.

Kooxaha kobci doona tobanka sano ee soo socda maahan kuwa leh injineerada ugu badan ama miisaaniyada ugu badan. Waa kuwa barta inay dhegaystaan ​​xogtooda - oo ay ku jiraan terabyte-ka ay tuurayeen. Diiwaanka CI-gaaga ayaa hadlaya. Su'aashu waxay tahay inaad diyaar u tahay inaad maqasho waxay ku odhanayaan.

Su'aalaha Inta badan La Isweydiiyo

LLM-yadu run ahaantii ma ka heli karaan qaabab faa'iido leh gudaha CI logs?

Dhab ahaantii. Moodooyinka luqadaha waaweyni waxay aad ugu fiican yihiin aqoonsiga qaababka soo noqnoqda ee qoraalka weyn ee aan habaysan. Marka lagu tilmaamo terabytes ee diiwaannada CI, waxay dusha ka saari karaan isku-xirnaanta fashilka, saxeexyada tijaabada qallafsan, iyo isku dhacyada ku-tiirsanaanta ee injineerada bini'aadamka aysan waligood gacanta ku qaban. Furaha ayaa ah in si sax ah loo habeeyo dhuumaha wax la nuugo si uu moodelku u helo si sax ah oo la jarjaray, qaybo qoraal ahaan qani ah halkii uu ka ahaan lahaa buuq qaydhiin.

Noocee ah guuldarrooyinka CI ayaa la saadaalin karaa iyadoo la adeegsanayo falanqaynta log?

Falanqaynta log ee ay wado LLM waxay saadaalin kartaa wakhtiyada laxidhiidha kaabayaasha, guuldarrooyinka xallinta ku tiirsanaanta ee soo noqnoqda, burburka xusuusta ku xidhan, iyo imtixaanada qallafsan ee ay kiciyaan wadooyin kood gaar ah. Waxa kale oo ay tilmaantaa dib-u-celinta qunyar-socota halkaasoo waqtiyada dhismuhu si tartiib tartiib ah u kordho toddobaadyo. Kooxaha isticmaala habkan waxay caadi ahaan qabtaan qaababka guuldarada laba ilaa saddex ka hor intaanay noqonin kuwa xannibaya shilalka wax soo saarka.

Intee in le'eg ayaad u baahan tahay xogta log ee CI ka hor inta aanay falanqayntu noqon mid qiimo leh?

Nidaamyo macno leh ayaa caadi ahaan soo baxa ka dib marka la falanqeeyo 30 ilaa 90 maalmood ee taariikhda dhuumaha joogtada ah ee laamo badan. Xog-ururinta yaryar waxay soo saartaa aragtiyo heer-sare ah, laakiin qiimaha dhabta ahi waxa uu ka yimaadaa isku-tallaabta kumanaan dhismo ah. Kooxaha maareynaya qulqulka shaqada ee adag oo ay weheliyaan dhuumahooda CI, aaladaha sida Mewayz waxay bixiyaan 207 nooc oo isku dhafan oo ka bilaabmaya $19/mo si ay u dhexeyaan xogta hawlgalka app.mewayz.com.

Quudinta diiwaannada CI ee LLM ma tahay khatar ammaan?

Waxay noqon kartaa haddii si taxadar la'aan ah loo maareeyo. Diiwaanada CI waxay inta badan ka kooban yihiin doorsoomayaasha deegaanka, furayaasha API, URL-yada gudaha, iyo faahfaahinta kaabayaasha. Kahor inta aanad samayn qoraalada LLM kasta, waa inaad fulisaa dhuumaha dib u habeynta adag ee ka xayuubiya siraha, aqoonsiga, iyo macluumaadka shaqsiga lagu aqoonsan karo. Soo-dejinta moodeel-ka-horjeedka ama goobta-guud waxay si weyn u yaraynaysaa soo-gaadhista marka la barbar dhigo dirista diiwaannada cayriinka ah ee dhinac saddexaad ee ku-salaysan dariiqa dhammaadka.