Kontinuierliche Dosierung nach den ersten Prinzipien (2025)

Kontinuierliche Chargenverarbeitung von First Principles (2025)

Kontinuierliches Batching ist eine dynamische Inferenzplanungstechnik, die den Hardware-Durchsatz maximiert, indem neue Anforderungen in einen aktiven Verarbeitungsstapel eingefügt werden, sobald ein Steckplatz frei wird, wodurch Leerlauf-Rechenzyklen zwischen Jobs vermieden werden. Ein grundlegendes Verständnis zeigt, warum es zur grundlegenden Architektur für jedes leistungsstarke KI-Bereitstellungssystem geworden ist, das im Jahr 2025 in großem Maßstab eingesetzt wird.

Was genau ist kontinuierliches Batching und warum ist das statische Batching fehlgeschlagen?

Um die kontinuierliche Stapelverarbeitung zu schätzen, müssen Sie zunächst verstehen, was sie ersetzt. Bei der herkömmlichen statischen Batchverarbeitung wird eine feste Anzahl von Anfragen zusammengefasst, als eine Einheit verarbeitet und neue Anfragen erst akzeptiert, wenn der gesamte Batch abgeschlossen ist. Der entscheidende Fehler besteht darin, dass große Sprachmodelle Token unterschiedlicher Länge generieren – eine Anfrage könnte nach 20 Token beendet werden, während eine andere im selben Stapel nach 2.000 läuft. Jede GPU im Cluster bleibt im Leerlauf und wartet darauf, dass die längste Sequenz abgeschlossen ist, bevor neue Arbeiten beginnen können.

Die kontinuierliche Stapelverarbeitung, die in der wegweisenden Arbeit „Orca: A Distributed Serving System for Transformer-Based Generative Models“ aus dem Jahr 2022 erstmals vorgestellt wurde, überwindet diese Einschränkung vollständig. Es arbeitet auf der Iterationsebene und nicht auf der Anforderungsebene. Nach jedem einzelnen Vorwärtsdurchlauf durch das Modell prüft der Scheduler, ob eine Sequenz ihr Ende-der-Sequenz-Token erreicht hat. Wenn dies der Fall ist, wird dieser Slot sofort zurückgefordert und einer in der Warteschlange befindlichen Anfrage zugewiesen – kein Warten, keine Verschwendung. Die Batch-Zusammensetzung ändert sich fließend mit jedem Dekodierungsschritt, sodass die Hardwareauslastung jederzeit nahe dem theoretischen Maximum bleibt.

Wie interagiert der KV-Cache mit der kontinuierlichen Stapelverarbeitung auf Systemebene?

Der Schlüsselwert-Cache ist die Speicherstruktur, die die Transformer-Inferenz nachvollziehbar macht. Für jedes verarbeitete Token berechnet das Modell Aufmerksamkeitsschlüssel und Werte, die beibehalten werden müssen, damit nachfolgende Token die redundante Berechnung nicht wiederholen. In einem statischen Batch-System ist die KV-Cache-Zuweisung unkompliziert: Reservieren Sie Speicher proportional zur maximalen Sequenzlänge für jede Anforderung im Batch.

Kontinuierliche Dosierung verkompliziert dies auf elegante Weise. Da Anforderungen zu unvorhersehbaren Zeiten in den Batch eingehen und ihn verlassen, kann das System keine festen zusammenhängenden Speicherblöcke vorab zuweisen. Genau aus diesem Grund ist PagedAttention von vLLM – eingeführt im Jahr 2023 – untrennbar mit der kontinuierlichen Stapelverarbeitung in Produktionsbereitstellungen verbunden. PagedAttention übernimmt das Paging-Modell des virtuellen Speichers von Betriebssystemen und teilt den KV-Cache in nicht zusammenhängende Blöcke gleicher Größe auf. Die Cache-Seiten einer Sequenz können über den GPU-Speicher verteilt sein, genauso wie virtuelle Speicherseiten über den physischen RAM verteilt sind. Das Ergebnis ist nahezu keine Speicherverschwendung durch Fragmentierung, was sich direkt in höheren Batchgrößen und einem höheren Durchsatz niederschlägt, ohne dass zusätzliche Hardware-Investitionen erforderlich sind.

Was sind die zentralen Planungsmechanismen, die eine kontinuierliche Stapelverarbeitung ermöglichen?

Drei voneinander abhängige Planungsentscheidungen bestimmen jedes kontinuierliche Dosiersystem:

Vorbelegungsrichtlinie: Wenn die Speicherauslastung hoch ist und eine neue Anforderung mit hoher Priorität eintrifft, muss der Planer entscheiden, ob er eine laufende Sequenz mit niedriger Priorität vorbelegt, seinen KV-Cache in den CPU-RAM austauscht oder ihn später von Grund auf neu berechnet. Die Swap-basierte Preemption bewahrt die Berechnung, verbraucht aber PCIe-Bandbreite. Durch die Neuberechnung werden GPU-Zyklen verschwendet, aber der Speicher bleibt sauber.

Zugangskontrolle: Der Planer muss vorhersagen, ob der KV-Cache einer neuen Anfrage während der gesamten Generationslebensdauer in den verfügbaren Speicher passt. Eine Unterschätzung führt zu Abstürzen aufgrund von Speichermangel mitten in der Sequenz; Eine Überschätzung führt dazu, dass die Warteschlange unnötig ausgehungert wird. Moderne Systeme nutzen profilierte Längenverteilungen und Reservierungspuffer, um diese Risiken auszugleichen.

Chunked Prefill: Die Prefill-Phase – die Verarbeitung der Eingabeaufforderung des Benutzers – ist rechengebunden und kann die GPU monopolisieren, wodurch Dekodierschritte für bereits laufende Sequenzen verzögert werden. Durch die klumpige Vorfüllung werden lange Eingabeaufforderungen in Eingabeaufforderungen mit fester Größe aufgeteilt

Related Posts

• CXMT bietet DDR4-Chips etwa zur Hälfte des marktüblichen Preises an
• macOS' wenig bekanntes Kommandozeilen-Sandboxing-Tool (2025)
• DJBs Kryptografische Odyssee: Vom Code-Helden zum Standards-Kritiker
• Was jeder Compiler-Autor über Programmierer wissen sollte (2015) [pdf]