İlk prensiplerden sürekli dozajlama (2025)

İlk Prensiplerden Sürekli Dozajlama (2025)

Sürekli toplu işlem, bir yuva boşaldığı anda aktif bir işlem grubuna yeni istekler ekleyerek donanım verimini en üst düzeye çıkaran ve işler arasındaki boşta kalan bilgi işlem döngülerini ortadan kaldıran dinamik bir çıkarım planlama tekniğidir. Bunu ilk ilkelerden anlamak, 2025'te geniş ölçekte dağıtılan her yüksek performanslı yapay zeka hizmet sisteminin neden temel mimari haline geldiğini ortaya koyuyor.

Sürekli Harmanlama Tam Olarak Nedir ve Statik Harmanlama Neden Başarısız Oldu?

Sürekli gruplamayı takdir etmek için öncelikle neyin değiştirildiğini anlamalısınız. Geleneksel statik toplu işlem, sabit sayıda isteği bir arada gruplandırır, bunları tek bir birim olarak işler ve yeni istekleri yalnızca tüm toplu iş bittikten sonra kabul eder. Kritik kusur, büyük dil modellerinin değişken uzunlukta belirteçler üretmesidir; bir istek 20 belirteçten sonra sona erebilirken, aynı partideki bir diğeri 2.000 belirteç çalıştırabilir. Kümedeki her GPU, herhangi bir yeni iş başlamadan önce en uzun dizinin tamamlanmasını bekleyerek boşta durur.

2022 tarihli çığır açıcı makale "Orca: Trafo Tabanlı Üretken Modeller için Dağıtılmış Hizmet Sistemi"nde öncülük edilen sürekli gruplama, bu kısıtlamayı tamamen ortadan kaldırıyor. İstek düzeyinden ziyade yineleme düzeyinde çalışır. Modeldeki her ileri geçişten sonra, zamanlayıcı herhangi bir dizinin sıra sonu belirtecine ulaşıp ulaşmadığını kontrol eder. Varsa, bu yuva hemen geri alınır ve sıradaki bir isteğe atanır; bekleme yok, israf yok. Toplu bileşim her kod çözme adımında akıcı bir şekilde değişir ve donanım kullanımını her zaman teorik maksimuma yakın tutar.

KV Önbelleği Sistem Düzeyinde Sürekli Toplu İşlemeyle Nasıl Etkileşime Girer?

Anahtar-değer önbelleği, transformatör çıkarımını izlenebilir kılan bellek yapısıdır. İşlenen her jeton için model, dikkat anahtarlarını ve tutulması gereken değerleri hesaplar, böylece sonraki jetonlar gereksiz hesaplamayı tekrarlamaz. Statik bir toplu işlem sisteminde, KV önbellek tahsisi basittir: toplu işteki her istek için maksimum dizi uzunluğuyla orantılı olarak bellek ayırın.

Sürekli gruplama bunu zarif bir şekilde karmaşıklaştırır. İstekler topluluğa öngörülemeyen zamanlarda girip çıktığı için sistem sabit bitişik bellek bloklarını önceden tahsis edemez. vLLM'nin 2023'te tanıtılan PagedAttention özelliğinin, üretim dağıtımlarındaki sürekli toplu işlemden ayrılamaz hale gelmesinin nedeni tam olarak budur. PagedAttention, sanal bellek sayfalama modelini işletim sistemlerinden ödünç alarak KV önbelleğini eşit boyutta bitişik olmayan bloklara böler. Bir dizinin önbellek sayfaları, sanal bellek sayfalarının fiziksel RAM'e dağıldığı gibi GPU belleğine de dağılabilir. Sonuç olarak, parçalanmadan kaynaklanan sıfıra yakın bellek israfı, ek donanım yatırımı gerektirmeden doğrudan daha yüksek toplu iş boyutları ve daha yüksek verim anlamına gelir.

Sürekli Gruplamayı Çalıştıran Temel Planlama Mekanizmaları Nelerdir?

Her sürekli dozajlama sistemini birbirine bağlı üç planlama kararı yönetir:

Önleme politikası: Bellek baskısı yüksek olduğunda ve yeni bir yüksek öncelikli istek geldiğinde, zamanlayıcının çalışan düşük öncelikli bir diziyi önceleyip önlemeyeceğine, KV önbelleğini CPU RAM'e değiştirmeye veya daha sonra sıfırdan yeniden hesaplamaya karar vermesi gerekir. Takas tabanlı önleme, hesaplamayı korur ancak PCIe bant genişliğini tüketir; yeniden hesaplama GPU döngülerini boşa harcar ancak belleği temiz tutar.

Giriş kontrolü: Zamanlayıcı, yeni bir isteğin KV önbelleğinin, tüm nesil ömrü boyunca kullanılabilir belleğe sığıp sığmayacağını tahmin etmelidir. Hafife almak, sıranın ortasında bellek yetersizliğinin çökmesine neden olur; fazla tahminde bulunmak sırayı gereksiz yere aç bırakır. Modern sistemler bu riskleri dengelemek için profilli uzunluk dağılımlarını ve rezervasyon tamponlarını kullanır.

Parçalanmış ön doldurma: Kullanıcının giriş istemini işleyen ön doldurma aşaması, hesaplamaya bağlıdır ve GPU'yu tekeline alarak halihazırda çalışmakta olan diziler için kod çözme adımlarını geciktirebilir. Parçalanmış önceden doldurma, uzun istemleri sabit boyuta böler

Related Posts

• macOS'un Az Bilinen Komut Satırı Korumalı Alan Aracı (2025)
• CXMT, DDR4 yongalarını mevcut piyasa fiyatının yaklaşık yarısı kadar fiyatla sunuyor
• DJB'nin Şifreleme Macerası: Kod Kahramanından Standartlar At Sineğine
• MDST Motoru: WebGPU/WASM ile tarayıcıda GGUF modellerini çalıştırın