Ми передали терабайти журналів CI LLM

Прихована золота копальня у вашому конвеєрі CI

Кожна команда інженерів створює їх. Мільйони рядків щодня — мітки часу, трасування стека, вирішення залежностей, результати тестів, артефакти збірки та загадкові повідомлення про помилки, які прокручуються швидше, ніж будь-хто може прочитати. Журнали CI — це вихлопні гази сучасної розробки програмного забезпечення, і для більшості організацій вони розглядаються так само, як вихлопні гази: викидаються в сховище та забуваються. Але що, якби ці журнали містили шаблони, які могли б передбачити збої ще до їх виникнення, виявити вузькі місця, які коштують вашій команді сотні годин на квартал, і виявити системні проблеми, які ніколи не помічає жоден інженер? Ми вирішили це з’ясувати, завантаживши терабайти даних журналу CI у велику мовну модель — і те, що ми виявили, повністю змінило наше уявлення про DevOps.

Чому журнали CI є даними, які найчастіше не використовуються в розробці програмного забезпечення

Зверніть увагу на величезний обсяг. Команда інженерів середнього розміру, що виконує 200 збірок на день у кількох сховищах, щодня генерує приблизно 2–4 ГБ необроблених даних журналу. За рік це понад терабайт структурованого та напівструктурованого тексту, який фіксує кожну компіляцію, кожне виконання набору тестів, кожен крок розгортання та кожен режим відмови, з яким коли-небудь стикалася ваша система. Це повний археологічний запис про продуктивність вашої інженерної організації — і майже ніхто його не читає.

Проблема не в тому, що дані не мають цінності. Справа в тому, що співвідношення сигнал/шум є жорстоким. Типовий запуск CI створює тисячі рядків виводу, і, можливо, 3-5 із цих рядків містять корисну інформацію. Інженери вчаться сканувати червоний текст, grep для "FAILED" і рухатися далі. Але шаблони, які мають найбільше значення — нестабільний тест, який виходить щовівторка невдалим, залежність, яка додає 40 секунд до кожної збірки, витік пам’яті, який виникає лише тоді, коли три певні служби працюють одночасно — ці шаблони невидимі на рівні окремого журналу. Вони з’являються лише в масштабах.

Традиційні інструменти аналізу журналів, як-от ELK stacks і Datadog, можуть агрегувати показники та поверхневі збіги ключових слів, але вони мають проблеми із семантичною складністю виводу CI. Повідомлення про помилку збирання, яке читає «підключення відмовлено на порту 5432», і те, яке читає «ФАТАЛЬНО: помилка автентифікації пароля для «розгортання» користувача» є помилками, пов’язаними з базою даних, але вони мають абсолютно різні основні причини та рішення. Розуміння цієї різниці вимагає контекстуального мислення, яке донедавна могли надати лише люди.

Експеримент: передача 3,2 терабайтів історії збирань LLM

Установка була простою за концепцією та кошмарною за виконанням. Ми зібрали журнали CI за 14 місяців із платформи, яка обслуговує понад 138 000 користувачів, охоплюючи збірки в різних службах, середовищах і цілях розгортання. Необроблений набір даних склав 3,2 терабайта: приблизно 847 мільйонів окремих рядків журналу, що охоплюють 1,6 мільйона конвеєрів CI. Ми розділили, вставили та проіндексували ці дані, а потім створили конвеєр генерації з доповненим пошуком (RAG), який міг би відповісти на питання природної мови щодо нашої історії збірок.

Першим викликом була попередня обробка. Журнали CI не є чистим текстом. Вони містять кольорові коди ANSI, індикатори прогресу, які замінюють себе, двійкові контрольні суми артефактів і позначки часу принаймні в чотирьох різних форматах залежно від того, який інструмент їх згенерував. Ми витратили три тижні лише на нормалізацію — видалення шуму, стандартизацію часових позначок і тегування кожного сегмента журналу метаданими про те, до якого етапу конвеєра, сховища, гілки та середовища він належить.

Другою проблемою була вартість. Виконання висновків над терабайтами тексту недешеве, навіть із агресивним поділом на фрагменти та оптимізацією пошуку. Лише протягом першого місяця ми витратили значні обсяги обчислень, здебільшого через те, що наш початковий підхід був надто наївним — ми надсилали забагато контексту на запит і недостатньо вибирали, які сегменти журналу були релевантними. До кінця другого місяця ми зменшили витрати на запит

Frequently Asked Questions

Can LLMs really find useful patterns in CI logs?

Absolutely. Large language models excel at identifying recurring patterns across massive unstructured text. When pointed at terabytes of CI logs, they can surface failure correlations, flaky test signatures, and dependency conflicts that human engineers would never catch manually. The key is structuring the ingestion pipeline correctly so the model receives properly chunked, contextually rich log segments rather than raw noise.

What types of CI failures can be predicted using log analysis?

LLM-driven log analysis can predict infrastructure-related timeouts, recurring dependency resolution failures, memory-bound build crashes, and flaky tests triggered by specific code paths. It also identifies slow-creeping regressions where build times gradually increase over weeks. Teams using this approach typically catch cascading failure patterns two to three sprints before they become blocking incidents in production deployments.

How much CI log data do you need before analysis becomes valuable?

Meaningful patterns typically emerge after analyzing 30 to 90 days of continuous pipeline history across multiple branches. Smaller datasets yield surface-level insights, but the real value comes from cross-referencing thousands of build runs. For teams managing complex workflows alongside their CI pipelines, platforms like Mewayz offer 207 integrated modules starting at $19/mo to centralize operational data at app.mewayz.com.

Is feeding CI logs to an LLM a security risk?

It can be if handled carelessly. CI logs often contain environment variables, API keys, internal URLs, and infrastructure details. Before processing logs through any LLM, you must implement robust redaction pipelines that strip secrets, credentials, and personally identifiable information. Self-hosted or on-premise model deployments significantly reduce exposure compared to sending raw logs to third-party cloud-based inference endpoints.

Related Posts

• Show HN: Я створив базу знань маркетингу електронною поштою з 55 тисяч слів і навичок Клода Коду
• Привілей - це погана граматика
• Теренс Тао, 8 років (1984) [pdf]
• Японські вірші про смерть