Bir LLM'ye terabaytlarca CI günlüğü verdik

CI Boru Hattınızda Bulunan Gizli Altın Madeni

Her mühendislik ekibi bunları üretir. Her gün milyonlarca satır; zaman damgaları, yığın izleri, bağımlılık çözümleri, test sonuçları, yapı yapıları ve herkesin okuyabileceğinden daha hızlı geçip giden şifreli hata mesajları. CI günlükleri, modern yazılım geliştirmenin egzoz dumanlarıdır ve çoğu kuruluş için tam olarak egzoz gibi ele alınırlar: depoya havalandırılır ve unutulur. Peki ya bu günlükler, arızaları gerçekleşmeden önce tahmin edebilecek, ekibinize üç ayda bir yüzlerce saate mal olan darboğazları tespit edebilecek ve hiçbir mühendisin asla göremediği sistemik sorunları ortaya çıkarabilecek modeller içeriyorsa? Terabaytlarca CI günlük verisini büyük bir dil modeline besleyerek bunu bulmaya karar verdik ve keşfettiklerimiz DevOps hakkındaki düşüncelerimizi tamamen değiştirdi.

Neden CI Günlükleri Yazılım Mühendisliğinde En Az Kullanılan Verilerdir?

Saf hacmi düşünün. Birden fazla depoda günde 200 derleme çalıştıran orta ölçekli bir mühendislik ekibi, günde yaklaşık 2-4 GB ham günlük verisi üretiyor. Bir yıldan fazla bir sürede bu, sisteminizin şimdiye kadar karşılaştığı her derlemeyi, her test paketi yürütmesini, her dağıtım adımını ve her hata modunu yakalayan bir terabayttan fazla yapılandırılmış ve yarı yapılandırılmış metin anlamına gelir. Bu, mühendislik organizasyonunuzun üretkenliğinin tam bir arkeolojik kaydıdır ve neredeyse hiç kimse bunu okumaz.

Sorun, verilerin değerden yoksun olması değil. Sinyal-gürültü oranının acımasız olması. Tipik bir CI çalıştırması binlerce satırlık çıktı üretir ve belki de bu satırlardan 3-5'i eyleme dönüştürülebilir bilgiler içerir. Mühendisler kırmızı metni taramayı, "BAŞARISIZ" için grep yapmayı ve yollarına devam etmeyi öğrenirler. Ancak en önemli modeller (her Salı günü başarısız olan hatalı test, her yapıya 40 saniye ekleyen bağımlılık, yalnızca üç belirli hizmet aynı anda çalıştırıldığında ortaya çıkan bellek sızıntısı) bu modeller bireysel günlük düzeyinde görünmez. Yalnızca ölçekte ortaya çıkarlar.

ELK yığınları ve Datadog gibi geleneksel günlük analizi araçları, ölçümleri toplayabilir ve anahtar kelime eşleşmelerini ortaya çıkarabilir, ancak CI çıktısının anlamsal karmaşıklığıyla mücadele ederler. "5432 numaralı bağlantı noktasında bağlantı reddedildi" yazan bir derleme hatası mesajı ve "FATAL: kullanıcı 'dağıtımı' için şifre kimlik doğrulaması başarısız oldu" yazan bir hata mesajının her ikisi de veritabanıyla ilgili hatalardır, ancak bunların tamamen farklı temel nedenleri ve çözümleri vardır. Bu ayrımı anlamak, yakın zamana kadar yalnızca insanların sağlayabileceği türden bağlamsal akıl yürütmeyi gerektiriyor.

Deney: Yüksek Lisans'a 3,2 Terabaytlık Derleme Geçmişi Beslemek

Kurulum konsept olarak basitti ve uygulamada kabus gibiydi. 138.000'den fazla kullanıcıya hizmet veren bir platformdan, birden fazla hizmet, ortam ve dağıtım hedefindeki derlemeleri kapsayan 14 aylık CI günlüklerini topladık. Ham veri kümesi 3,2 terabayta ulaştı: 1,6 milyon CI ardışık düzen çalıştırmasını kapsayan yaklaşık 847 milyon ayrı günlük satırı. Bu verileri parçalara ayırdık, yerleştirdik ve dizine ekledik, ardından derleme geçmişimizle ilgili doğal dil sorularını yanıtlayabilecek bir erişimle artırılmış nesil (RAG) hattı oluşturduk.

İlk zorluk ön işlemeydi. CI günlükleri temiz metin değildir. ANSI renk kodları, kendilerinin üzerine yazan ilerleme çubukları, ikili yapı sağlama toplamları ve bunları hangi aracın oluşturduğuna bağlı olarak en az dört farklı biçimde zaman damgaları içerirler. Gürültüyü ortadan kaldırmak, zaman damgalarını standartlaştırmak ve her günlük bölümünü hangi işlem hattı aşamasına, depoya, şubeye ve ortama ait olduğuna ilişkin meta verilerle etiketlemek gibi normalleştirme için üç hafta harcadık.

İkinci zorluk ise maliyetti. Terabaytlarca metin üzerinden çıkarım yapmak, agresif parçalama ve alma optimizasyonuyla bile ucuz değildir. Yalnızca ilk ayda önemli miktarda işlem kredisi harcadık, bunun nedeni çoğunlukla başlangıçtaki yaklaşımımızın çok saf olmasıydı; sorgu başına çok fazla içerik göndermemiz ve hangi günlük bölümlerinin alakalı olduğu konusunda yeterince seçici olmamamız. İkinci ayın sonunda sorgu başına maliyetleri düşürdük

Frequently Asked Questions

Can LLMs really find useful patterns in CI logs?

Absolutely. Large language models excel at identifying recurring patterns across massive unstructured text. When pointed at terabytes of CI logs, they can surface failure correlations, flaky test signatures, and dependency conflicts that human engineers would never catch manually. The key is structuring the ingestion pipeline correctly so the model receives properly chunked, contextually rich log segments rather than raw noise.

What types of CI failures can be predicted using log analysis?

LLM-driven log analysis can predict infrastructure-related timeouts, recurring dependency resolution failures, memory-bound build crashes, and flaky tests triggered by specific code paths. It also identifies slow-creeping regressions where build times gradually increase over weeks. Teams using this approach typically catch cascading failure patterns two to three sprints before they become blocking incidents in production deployments.

How much CI log data do you need before analysis becomes valuable?

Meaningful patterns typically emerge after analyzing 30 to 90 days of continuous pipeline history across multiple branches. Smaller datasets yield surface-level insights, but the real value comes from cross-referencing thousands of build runs. For teams managing complex workflows alongside their CI pipelines, platforms like Mewayz offer 207 integrated modules starting at $19/mo to centralize operational data at app.mewayz.com.

Is feeding CI logs to an LLM a security risk?

It can be if handled carelessly. CI logs often contain environment variables, API keys, internal URLs, and infrastructure details. Before processing logs through any LLM, you must implement robust redaction pipelines that strip secrets, credentials, and personally identifiable information. Self-hosted or on-premise model deployments significantly reduce exposure compared to sending raw logs to third-party cloud-based inference endpoints.

Related Posts

• macOS'un Az Bilinen Komut Satırı Korumalı Alan Aracı (2025)
• Çocuk Oyuncağı: Teknolojinin yeni nesli ve düşünmenin sonu
• CXMT, DDR4 yongalarını mevcut piyasa fiyatının yaklaşık yarısı kadar fiyatla sunuyor
• DJB'nin Şifreleme Macerası: Kod Kahramanından Standartlar At Sineğine