Континуирано собирање од Првите принципи (2025)

Континуираното множење е динамична техника за закажување заклучоци што ја максимизира пропусната моќ на хардверот со вметнување нови барања во активна серија за обработка во моментот кога ќе се ослободи слотот, елиминирајќи ги неактивен пресметковен циклус помеѓу работните места. Разбирањето од првите принципи открива зошто стана основна архитектура за секој систем за опслужување со вештачка интелигенција со високи перформанси, распореден во обем во 2025 година.

Што точно е континуирано множење и зошто не успеа статичкото преклопување?

За да ја цените континуираната серија, прво мора да разберете што заменило. Традиционалните статички групи групираат фиксен број барања заедно, ги обработуваат како единствена единица и прифаќаат нови барања само откако ќе заврши целата серија. Критичната грешка е што големите јазични модели генерираат токени со променлива должина - едно барање може да заврши по 20 токени додека друго во истата серија работи за 2.000. Секој графички процесор во кластерот е неактивен и чека да заврши најдолгата низа пред да започне каква било нова работа.

Континуираното множество, пионерско во историскиот труд од 2022 година „Orca: Дистрибуиран систем за сервисирање за генеративни модели базирани на трансформатори“, целосно го прекршува ова ограничување. Работи на ниво на повторување наместо на ниво на барање. По секое напредно поминување низ моделот, распоредувачот проверува дали некоја низа го достигнала својот токен за крај на секвенцата. Ако има, тој слот веднаш се враќа и се доделува на барање во ред - без чекање, без отпад. Составот на серијата течно се менува со секој чекор на декодирање, одржувајќи го користењето на хардверот блиску до теоретскиот максимум во секое време.

Како кешот на KV комуницира со континуирана серија на ниво на системот?

Кешот со клучна вредност е структурата на меморијата што го прави заклучокот на трансформаторот да може да се извлече. За секој обработен токен, моделот пресметува клучеви за внимание и вредности кои мора да се задржат за следните токени да не повторуваат вишок пресметки. Во статички систем за групирање, распределбата на кешот KV е едноставна: резервирајте ја меморијата пропорционална на максималната должина на секвенцата за секое барање во серијата.

Континуираното препарирање го комплицира ова елегантно. Бидејќи барањата влегуваат и излегуваат од серијата во непредвидливи времиња, системот не може однапред да распредели фиксни соседни мемориски блокови. Токму затоа, PagedAttention на vLLM - воведен во 2023 година - стана неразделен од континуираното множество во производните распоредувања. PagedAttention го позајмува моделот на страничење со виртуелна меморија од оперативните системи, делејќи го кешот на KV на неповрзани блокови со еднаква големина. Кеш-страниците на секвенцата може да се расфрлаат низ GPU меморијата исто како што страниците со виртуелна меморија се расфрлани низ физичка RAM меморија. Резултатот е речиси нула губење на меморијата од фрагментација, што директно се преведува на поголеми големини на серија и поголема пропусност без дополнителни хардверски инвестиции.

Кои се основните механизми за закажување што го прават континуираното сериско работење?

Три меѓусебно зависни одлуки за распоред управуваат со секој систем на континуирана серија:

• Политика за превентива: Кога притисокот во меморијата е висок и пристигнува ново барање со висок приоритет, распоредувачот мора да одлучи дали да ја спречи тековната низа со низок приоритет, да ја замени својата KV кеш со RAM меморијата на процесорот или да ја преброи од нула подоцна. Превенцијата заснована на замена ги зачувува пресметките, но го троши пропусниот опсег на PCIe; повторната пресметка ги троши циклусите на графичкиот процесор, но ја одржува меморијата чиста.
• Контрола на прием: Распоредувачот мора да предвиди дали кешот KV на новото барање ќе се вклопи во достапната меморија во текот на целиот животен век на генерацијата. Потценувањето предизвикува падови без меморија во средината на секвенцата; преценувањето непотребно ја изгладнува редицата. Современите системи користат профилирани распределби на должина и бафери за резервации за да ги балансираат овие ризици.
• Дечкано претходно пополнување: Фазата пред пополнување - обработка на известувањето за внесување на корисникот - е поврзана со пресметување и може да го монополизира графичкиот процесор, одложувајќи ги чекорите за декодирање за веќе активните секвенци. Распарченото претходно полнење ги дели долгите барања на парчиња со фиксна големина, испреплетени со повторувања на декодирање, намалувајќи ја доцнењето од времето до првиот токен за истовремени корисници по цена на маргинално помал пропус на необработено претходно полнење.
• Приоритетна редица: Барања за сегменти за распоредување на претпријатија по ниво на SLA. API чувствителни на латентност повикува предвремени сериски задачи со најдобри напори. Без овој слој, една долга задача за сумирање на документи може да го деградира интерактивното корисничко искуство за стотици истовремени сесии.

„Континуираното множество не само што ја подобрува пропусната моќ - го реструктуира економскиот модел на заклучување на вештачката интелигенција. Со задржување на графичките процесори зафатени со грануларност на повторување наместо да бараат грануларност, операторите постигнуваат 5–10× поголема ефективна искористеност од идентичен хардвер, што е единствената најголема рачка достапна за намалување на трошоците за сервирање 2

Како распоредувањата во реалниот свет ги мерат придобивките од перформансите?

Референтните резултати од Anyscale, заедно со независните репродукции во повеќе фамилии на модели во 2024 година, постојано покажуваат континуирана серија која испорачува помеѓу 23× и 36× поголема пропусност во споредба со наивната статичка серија под реални обрасци на сообраќај. Добивките се најизразени кога варијансата на должината на барањето е висока - токму условите што ги карактеризираат производствените оптоварувања со ВИ со разговори, каде што корисничките барања се движат од потсетници со три збора до поднесување документи на повеќе страници.

Доцнењето раскажува понијанса приказна. Токенот „Време до првиот“ драматично се подобрува бидејќи системот повеќе не чека да се состави целосна статичка серија пред да започне претходно полнење. Доцнењето меѓу токените останува стабилно при умерено оптоварување, но благодатно се деградира при заситеност наместо да се распаѓа, бидејќи распоредувачот продолжува да напредува на сите активни секвенци дури и кога редицата расте длабоко. За бизнисите кои градат карактеристики на вештачка интелигенција во реално време, оваа грациозна крива на деградација е често комерцијално поважна од бројките за максимална пропусност.

Како бизнисите можат да применуваат принципи за континуирана серија надвор од заклучокот за вештачка интелигенција?

Архитектонскиот увид зад континуираното множество - вратете ги ресурсите со најдобра можна грануларност и преназначете ги веднаш наместо да чекате да заврши грубата единица на работа - е општ принцип за секој систем кој управува со хетерогени работни оптоварувања. Деловните оперативни системи се соочуваат со истиот предизвик: задачи со многу различно времетраење кои се натпреваруваат за споделен капацитет за обработка низ работните текови на CRM, маркетинг автоматизација, нафтоводи за аналитика и операции за е-трговија.

Mewayz ја применува оваа филозофија низ својот деловен оперативен систем со 207 модули, динамично рутирајќи ги оперативните оптоварувања низ интегрирана платформа што ја користат 138.000 бизниси ширум светот. Наместо да ги принудува тимовите да чекаат циклуси за известување за серии, последователни редици за одобрување или префрлање на алатки со табли, Mewayz континуирано ги обработува деловните настани - хранејќи ги завршените резултати веднаш во долните модули на начинот на кој распоредувачот на континуирани групи ги враќа ослободените слотови за графичкиот процесор назад во редот за барање. Резултатот е мерливо подобрување на пропусната моќ во реалните деловни операции, а не само одредниците.

Често поставувани прашања

Дали континуираната серија е исто како и динамиката во Сервисирање TensorFlow?

Бр. Динамичната серија на TensorFlow Serving ги собира барањата во серии со променлива големина врз основа на временските прозорци и длабочината на редот, но сепак ја обработува секоја серија атомски од почеток до крај. Континуираната серија работи на индивидуалниот чекор за генерирање на токени, овозможувајќи составот на серијата да го менува секое напредување. Разликата во грануларноста е причината поради која континуираната серија постигнува значително поголема пропусност конкретно за оптоварувањата за авторегресивно генерирање.

Дали континуираната серија бара промени во архитектурата на моделот?

Стандардните трансформаторски архитектури не бараат модификација. Континуираната серија се имплементира целосно на слојот за сервирање преку промени во распоредувачот на заклучоци, менаџерот на меморија и кернелот за внимание. Сепак, некои оптимизации - особено PagedAttention - бараат приспособени CUDA кернели кои ги заменуваат стандардните имплементации на вниманието, поради што рамки за континуирана серија од производна класа како vLLM и TensorRT-LLM не се замена за општа намена за сервери за заклучување.

Кои хардверски ограничувања ја ограничуваат ефективноста на континуираната серија?

Пропусниот опсег на GPU HBM и вкупниот капацитет на VRAM се примарните ограничувања. Поголемите KV кешови бараат повеќе меморија, ограничувајќи ја максималната истовременост. Интерконекции со висок пропусен опсег (NVLink, Infiniband) стануваат критични за распоредувањата со повеќе GPU каде што кешот на KV мора да се дистрибуира низ уредите. Во средини со ограничена меморија, агресивната квантизација на вредностите на кешот на KV (од FP16 до INT8 или INT4) го обновува капацитетот по цена на мала деградација на прецизноста што е прифатливо за повеќето комерцијални апликации.

Без разлика дали градите функции напојувани со вештачка интелигенција или оркестрирате сложени деловни операции низ целата ваша организација, основниот принцип е идентичен: елиминирајте го времето на мирување, повторете го капацитетот постојано и обработете повеќе работа со ресурсите што веќе ги имате. Мевејз го применува тој принцип во пракса низ 207 интегрирани модули - од CRM и е-трговија до аналитика и тимска соработка - почнувајќи од 19 долари месечно.

Подготвени сте да го водите вашиот бизнис со целосна пропусност? Започнете го вашиот бесплатен пробен период на app.mewayz.com и видете како 138.000 бизниси работат попаметно со Mewayz.