Przekazaliśmy terabajty logów CI do LLM

Ukryta kopalnia złota w rurociągu CI

Generuje je każdy zespół inżynierów. Miliony wierszy każdego dnia — znaczniki czasu, ślady stosu, rozpoznawanie zależności, wyniki testów, artefakty kompilacji i tajemnicze komunikaty o błędach, które przewijają się szybciej, niż ktokolwiek jest w stanie przeczytać. Dzienniki CI to spaliny powstające podczas tworzenia nowoczesnego oprogramowania i w przypadku większości organizacji są traktowane dokładnie tak samo, jak spaliny: odprowadzane do magazynu i zapominane. Ale co by było, gdyby te dzienniki zawierały wzorce, które mogłyby przewidzieć awarie, zanim one wystąpią, zidentyfikować wąskie gardła kosztujące Twój zespół setki godzin na kwartał i ujawnić problemy systemowe, których nie dostrzegł żaden pojedynczy inżynier? Postanowiliśmy się tego dowiedzieć, wprowadzając terabajty danych dziennika CI do dużego modelu językowego — i to, co odkryliśmy, całkowicie zmieniło sposób, w jaki myślimy o DevOps.

Dlaczego dzienniki CI są najbardziej niewykorzystanymi danymi w inżynierii oprogramowania

Weź pod uwagę samą objętość. Średniej wielkości zespół inżynierów wykonujący 200 kompilacji dziennie w wielu repozytoriach generuje dziennie około 2–4 GB surowych danych dziennika. Ponad rok to ponad terabajt ustrukturyzowanego i częściowo ustrukturyzowanego tekstu, który rejestruje każdą kompilację, każde wykonanie zestawu testów, każdy krok wdrażania i każdy tryb awarii, z jakim kiedykolwiek spotkał się Twój system. To kompletny archeologiczny zapis produktywności Twojej organizacji inżynieryjnej — i prawie nikt go nie czyta.

Problem nie polega na tym, że dane są pozbawione wartości. Chodzi o to, że stosunek sygnału do szumu jest brutalny. Typowy przebieg CI generuje tysiące wierszy wyników, a może 3–5 z tych wierszy zawiera przydatne informacje. Inżynierowie uczą się skanować w poszukiwaniu czerwonego tekstu, grep w poszukiwaniu komunikatu „FAILED” i idą dalej. Jednak wzorce, które mają największe znaczenie — niestabilny test, który kończy się niepowodzeniem w każdy wtorek, zależność wydłużająca każdą kompilację o 40 sekund, wyciek pamięci ujawniający się tylko wtedy, gdy trzy określone usługi działają jednocześnie — wzorce te są niewidoczne na poziomie pojedynczego dziennika. Pojawiają się dopiero na dużą skalę.

Tradycyjne narzędzia do analizy logów, takie jak stosy ELK i Datadog, mogą agregować metryki i wyświetlać dopasowania słów kluczowych, ale borykają się z semantyczną złożonością wyników CI. Komunikat o niepowodzeniu kompilacji o treści „Odmowa połączenia na porcie 5432” i komunikat o treści „FATAL: uwierzytelnienie hasła nie powiodło się w przypadku „wdrożenia” użytkownika to błędy związane z bazą danych, ale mają zupełnie inne przyczyny i rozwiązania. Zrozumienie tego rozróżnienia wymaga kontekstowego rozumowania, które do niedawna mogli zapewnić tylko ludzie.

Eksperyment: dostarczanie 3,2 terabajta historii kompilacji do LLM

Konfiguracja była prosta w koncepcji i koszmarna w wykonaniu. Zebraliśmy dzienniki CI z 14 miesięcy z platformy obsługującej ponad 138 000 użytkowników — obejmujące kompilacje w wielu usługach, środowiskach i celach wdrożenia. Surowy zbiór danych miał wielkość 3,2 terabajta: około 847 milionów pojedynczych linii dziennika obejmujących 1,6 miliona uruchomień potoków CI. Podzieliliśmy te dane na kawałki, osadziliśmy i zindeksowaliśmy, a następnie zbudowaliśmy potok generacji wspomaganej pobieraniem (RAG), który może odpowiedzieć na pytania w języku naturalnym dotyczące naszej historii kompilacji.

Pierwszym wyzwaniem było wstępne przetwarzanie. Dzienniki CI nie są czystym tekstem. Zawierają kody kolorów ANSI, paski postępu, które się same nadpisują, binarne sumy kontrolne artefaktów i znaczniki czasu w co najmniej czterech różnych formatach, w zależności od tego, które narzędzie je wygenerowało. Trzy tygodnie spędziliśmy na normalizacji — usuwaniu szumów, standaryzacji znaczników czasu i oznaczaniu każdego segmentu dziennika metadanymi dotyczącymi etapu potoku, repozytorium, gałęzi i środowiska, do którego należy.

Drugim wyzwaniem były koszty. Uruchamianie wnioskowania na terabajtach tekstu nie jest tanie, nawet przy agresywnej optymalizacji fragmentowania i wyszukiwania. Już w pierwszym miesiącu wykorzystaliśmy znaczną część zasobów obliczeniowych, głównie dlatego, że nasze początkowe podejście było zbyt naiwne — wysyłaliśmy zbyt wiele kontekstu na zapytanie i nie byliśmy wystarczająco selektywni w ustalaniu, które segmenty dziennika są istotne. Pod koniec drugiego miesiąca obniżyliśmy koszty zapytania

Frequently Asked Questions

Can LLMs really find useful patterns in CI logs?

Absolutely. Large language models excel at identifying recurring patterns across massive unstructured text. When pointed at terabytes of CI logs, they can surface failure correlations, flaky test signatures, and dependency conflicts that human engineers would never catch manually. The key is structuring the ingestion pipeline correctly so the model receives properly chunked, contextually rich log segments rather than raw noise.

What types of CI failures can be predicted using log analysis?

LLM-driven log analysis can predict infrastructure-related timeouts, recurring dependency resolution failures, memory-bound build crashes, and flaky tests triggered by specific code paths. It also identifies slow-creeping regressions where build times gradually increase over weeks. Teams using this approach typically catch cascading failure patterns two to three sprints before they become blocking incidents in production deployments.

How much CI log data do you need before analysis becomes valuable?

Meaningful patterns typically emerge after analyzing 30 to 90 days of continuous pipeline history across multiple branches. Smaller datasets yield surface-level insights, but the real value comes from cross-referencing thousands of build runs. For teams managing complex workflows alongside their CI pipelines, platforms like Mewayz offer 207 integrated modules starting at $19/mo to centralize operational data at app.mewayz.com.

Is feeding CI logs to an LLM a security risk?

It can be if handled carelessly. CI logs often contain environment variables, API keys, internal URLs, and infrastructure details. Before processing logs through any LLM, you must implement robust redaction pipelines that strip secrets, credentials, and personally identifiable information. Self-hosted or on-premise model deployments significantly reduce exposure compared to sending raw logs to third-party cloud-based inference endpoints.

Related Posts

• Archeolodzy odnajdują możliwy pierwszy bezpośredni dowód na słonie bojowe Hannibala
• KFC, Nando's i inne rezygnują z zobowiązań dotyczących dobrostanu kurczaków
• Brak umiejętności. Brak smaku
• IRS straciło 40% personelu IT, 80% liderów technologicznych w wyniku reorganizacji pod hasłem 'efektywności'