Биринчи принциптерден үзгүлтүксүз топтоо (2025)

Үзгүлтүксүз топтоо - бул слот бошогон учурда активдүү иштетүү партиясына жаңы суроо-талаптарды киргизүү аркылуу аппараттык камсыздоонун өткөрүү жөндөмдүүлүгүн максималдуу көбөйтүп, жумуштардын ортосундагы бош эсептөө циклдерин жок кылган динамикалык жыйынтыктарды пландаштыруу ыкмасы. Аны биринчи принциптерден түшүнүү анын эмне үчүн 2025-жылы масштабда жайылтылган ар бир жогорку натыйжалуу AI тейлөө тутумунун негизги архитектурасы болуп калганын ачып берет.

Үзгүлтүксүз топтоо деген эмне жана эмне үчүн статикалык пакеттөө ишке ашпай калды?

Үзгүлтүксүз топтоону баалоо үчүн, адегенде анын эмнени алмаштырганын түшүнүшүңүз керек. Салттуу статикалык пакеттөө сурамдардын белгиленген санын чогуу топтойт, аларды бир бирдик катары иштеп чыгат жана жаңы суроо-талаптарды бүт партия аяктагандан кийин гана кабыл алат. Маанилүү кемчилик чоң тил моделдери өзгөрүлмө узундуктагы токендерди жаратышы - бир суроо 20 токенден кийин токтотулушу мүмкүн, ал эми ошол эле партиядагы башкасы 2000ге жетет. Кластердеги ар бир GPU эч кандай жаңы жумуш башталгыча эң узун ырааттуулуктун аякташын күтүп бош отурушат.

Үзгүлтүксүз топтоо, 2022-жылы "Orca: Трансформаторго негизделген генеративдик моделдер үчүн бөлүштүрүлгөн тейлөө системасы" аттуу документте пионер болуп, бул чектөөнү толугу менен бузат. Ал сурам деңгээлинде эмес, итерация деңгээлинде иштейт. Модель аркылуу ар бир алдыга өткөндөн кийин, пландоочу кандайдыр бир ырааттуулуктун ырааттуулуктун аягына жеткендигин текшерет. Эгер ал бар болсо, ал уяча дароо кайтарылып алынат жана кезекке коюлган суроо-талапка дайындалат — күтүү, ысырапкорчулук жок. Партиянын курамы ар бир декоддоо кадамы менен ыксыз жылып, аппараттык камсыздоону ар дайым теориялык максимумга жакын кармап турат.

КВ кэш тутум деңгээлинде үзгүлтүксүз пакеттөө менен кантип өз ара аракеттенет?

Ачкыч-маанилик кэш - бул трансформатордун жыйынтыгын чыгарууга ыңгайлуу кылган эс тутумунун структурасы. Ар бир иштетилген токен үчүн модель көңүл буруу ачкычтарын жана баалуулуктарды эсептейт, алар сакталышы керек, андыктан кийинки токендер ашыкча эсептөөлөрдү кайталабайт. Статикалык пакеттөө тутумунда КВ кэш бөлүштүрүү жөнөкөй: эстутум пакеттеги ар бир сурам үчүн катардын максималдуу узундугуна пропорционалдуу.

Үзгүлтүксүз топтоо муну кооздоп татаалдаштырат. Сурамдар партияга күтүүсүз убакта кирип, чыгып кеткендиктен, тутум белгиленген чектеш эстутум блокторун алдын ала бөлүштүрө албайт. Дал ушул себептен vLLMдин PagedAttention — 2023-жылы киргизилген — өндүрүштү жайылтууда үзгүлтүксүз пакеттөөдөн ажырагыс болуп калды. PagedAttention виртуалдык эстутум пейджинг моделин операциялык системалардан алып, КВ кэшин бирдей өлчөмдөгү чектеш эмес блокторго бөлөт. Виртуалдык эстутум барактары физикалык оперативдик эстутумда чачырап кеткендей, тизмектин кэш барактары GPU эс тутумунда чачырап кетиши мүмкүн. Натыйжада фрагментациядан улам эстутум нөлгө жакын ысырап болуп калат, бул түздөн-түз чоң партиялардын өлчөмдөрүнө жана кошумча аппараттык каражатсыз жогорку өткөрүү жөндөмдүүлүгүнө алып келет.

Үзгүлтүксүз пакеттөө ишин камсыз кылган негизги пландоо механизмдери кайсылар?

Ар бир үзгүлтүксүз пакеттөө тутумунун бири-бирине көз каранды болгон үч пландаштыруу чечими жөнгө салынат:

• Алдын алуу саясаты: Эстутум басымы жогору болуп, жаңы приоритеттүү сурам келгенде, пландоочу иштеп жаткан төмөнкү артыкчылыктуу ырааттуулукту алдын ала тандоону, анын KV кэшин CPU RAMга алмаштырууну же кийинчерээк нөлдөн баштап кайра эсептөөнү чечиши керек. Свопка негизделген алдын ала алуу эсептөөнү сактайт, бирок PCIe өткөрүү жөндөмдүүлүгүн сарптайт; кайра эсептөө GPU циклдерин текке кетирет, бирок эстутумду таза сактайт.
• Кабыл алууну көзөмөлдөө: Пландоочу жаңы сурамдын KV кэши анын толук муундун иштөө мөөнөтү боюнча жеткиликтүү эстутумга туура келеби же жокпу, алдын ала айтуусу керек. Эстутумдагы бузулуулардын себептерин баалабоо орто ырааттуулукта; ашыкча баалоо кезексиз ачка калтырат. Заманбап системалар бул тобокелдиктерди тең салмактоо үчүн профилдүү узундук бөлүштүрүүнү жана резервдик буферди колдонушат.
• Бөлүнгөн алдын ала толтуруу: Алдын ала толтуруу фазасы — колдонуучунун киргизүү сунушун иштетүү — эсептөөгө байланыштуу жана GPUну монополиялап, мурунтан эле иштеп жаткан ырааттуулуктар үчүн коддон чыгаруу кадамдарын кечеңдетет. Бөлүнгөн алдын ала толтуруу узак сунуштарды декоддоо итерациялары менен аралаштырылган белгиленген өлчөмдөгү бөлүктөргө бөлүп, бир аз азыраак чийки толтуруу өткөрүү жөндөмдүүлүгүнүн баасы менен бир убакта колдонуучулар үчүн биринчи токенге чейин күтүү убактысын азайтат.
• Приоритеттүү кезек: SLA деңгээли боюнча ишкананын жайылтуу сегментинин сурамдары. Кечигүүгө сезгич API алдын ала эң мыкты күч-аракетти талап кылган пакеттик жумуштарды чакырат. Бул катмарсыз, бир эле узун документти жыйынтыктоо тапшырмасы жүздөгөн бир убактагы сеанстар үчүн интерактивдүү колдонуучунун тажрыйбасын начарлатышы мүмкүн.

"Үзгүлтүксүз топтоо өткөрүү жөндөмдүүлүгүн эле жакшыртпайт — ал AI корутундусунун экономикалык моделин реструктуризациялайт. GPU'ларды майда-чүйдөсүнө чейин талап кылуунун ордуна итерациялык гранулярдуулукта кармап туруу менен операторлор бирдей жабдыкты 5–10 эсе жогору эффективдүү колдонууга жетишишет, бул кызмат көрсөтүүгө кеткен чыгымдарды азайтуу үчүн жеткиликтүү болгон эң чоң рычаг болуп саналат. 2.

Чыныгы дүйнөдөгү жайылтуулар өндүрүмдүүлүктү кантип өлчөйт?

Anyscale'тин эталондук натыйжалары, 2024-жылы бир нече моделдик үй-бүлөлөрдөгү көз карандысыз репродукциялар менен бирге, ырааттуу түрдө трафиктин реалдуу моделдериндеги жаңылыштык статикалык партияга салыштырмалуу 23 × жана 36 × жогорку өткөрүү жөндөмдүүлүгүн көрсөтүп турат. Сурамдын узундугунун айырмасы жогору болгондо, жетишкендиктер эң айкын болот — дал ушул шарттарда өндүрүштүк сүйлөшүү AI жумуш жүгүн мүнөздөйт, мында колдонуучунун сурамдары үч сөздөн турган сунуштардан көп барактуу документ тапшырууга чейин болот.

Кечирүү кыйла нюанстуу окуяны айтып берет. Алдын ала толтурууну баштоодон мурун система мындан ары толук статикалык партияны чогултууну күтпөгөндүктөн, биринчи токенге чейинки убакыт кескин жакшырат. Токендер аралык күтүү орточо жүктөмдө туруктуу бойдон калууда, бирок каныккандыкта кыйрагандын ордуна акырындык менен начарлайт, анткени пландоочу кезек тереңдегенде да бардык жигердүү ырааттуулуктар боюнча алдыга жылышын улантууда. Чыныгы убакытта AI функцияларын түзүп жаткан ишканалар үчүн бул кооз деградация ийри сызыгы көбүнчө эң жогорку өткөрүү көрсөткүчтөрүнө караганда коммерциялык жактан маанилүү.

Ишканалар AI корутундусунан тышкары үзгүлтүксүз пакеттөө принциптерин кантип колдоно алышат?

Үзгүлтүксүз топтоонун артындагы архитектуралык түшүнүк - ресурстарды мүмкүн болушунча эң сонун майда-чүйдөсүнө чейин кайтарып алуу жана орой бүртүкчөлүү иштин аягына чыгышын күтпөстөн, аларды дароо кайра дайындоо - гетерогендик жүктөрдү башкарган ар кандай система үчүн жалпы принцип. Бизнес операциялык тутумдары бир эле кыйынчылыкка туш болушат: CRM иш процесстеринде, маркетингди автоматташтырууда, аналитика түтүктөрүндө жана электрондук коммерция операцияларында жалпы иштетүү кубаттуулугу үчүн атаандашкан өтө ар түрдүү узактыктагы милдеттер.

Mewayz дүйнө жүзү боюнча 138 000 бизнес колдонгон интегралдык платформа боюнча операциялык жүктөмдөрдү динамикалык түрдө багыттоо менен 207 модулдук бизнес OS боюнча бул философияны колдонот. Командаларды пакеттик отчеттуулук циклдерин, ырааттуу бекитүү кезектерин же инструментти өткөрүп берүүнү күтүүгө мажбурлоонун ордуна, Mewayz бизнес окуяларын үзгүлтүксүз иштеп чыгат - үзгүлтүксүз пакеттөө пландоочусу бошотулган GPU слотторун суроо кезегине кайтаргандай, аяктаган жыйынтыктарды ылдыйкы модулдарга дароо берет. Натыйжада эталондор гана эмес, иш жүзүндөгү бизнес операцияларында да өлчөө жөндөмдүүлүгүн жогорулатуу болуп саналат.

Көп берилүүчү суроолор

Үзгүлтүксүз топтоо TensorFlow Кызматындагы динамикалык пакеттөө менен бирдейби?

Жок. TensorFlow Сервингдин динамикалык пакети суроо-талаптарды убакыт терезелерине жана кезек тереңдигине жараша өзгөрүлмө өлчөмдөгү партияларга чогултат, бирок ал дагы эле ар бир партияны башынан аягына чейин атомдук түрдө иштетет. Үзгүлтүксүз пакеттөө жеке токендерди түзүү кадамында иштейт, бул партиянын курамына ар бир алдыга өтүүнү өзгөртүүгө мүмкүндүк берет. Гранулярдуулуктун айырмачылыгы, эмне үчүн үзгүлтүксүз пакеттөө авторегрессивдүү генерациялоо жүктөмдөрү үчүн кыйла жогору өтүмдүүлүккө жетишет.

Үзгүлтүксүз пакеттөө моделдин архитектурасын өзгөртүүнү талап кылабы?

Стандарттуу трансформатордук архитектура эч кандай өзгөртүүнү талап кылбайт. Үзгүлтүксүз пакеттөө толугу менен тейлөө катмарында жыйынтыктарды пландаштыргычка, эстутум менеджерине жана көңүл буруу ядросуна өзгөртүүлөр аркылуу ишке ашырылат. Бирок, кээ бир оптималдаштыруулар, айрыкча PagedAttention — стандарттык көңүл бурууну алмаштыруучу ыңгайлаштырылган CUDA өзөктөрүн талап кылат, ошондуктан vLLM жана TensorRT-LLM сыяктуу өндүрүш деңгээлиндеги үзгүлтүксүз пакеттөө алкактары жалпы максаттагы корутунду серверлерин алмаштыруучу эмес.

Кандай аппараттык чектөөлөр үзгүлтүксүз пакеттөө натыйжалуулугун чектейт?

GPU HBM өткөрүү жөндөмдүүлүгү жана жалпы VRAM сыйымдуулугу негизги чектөөлөр болуп саналат. Чоңураак KV кэштери максималдуу параллелдүүлүктү чектеген көбүрөөк эстутумду талап кылат. Жогорку өткөрүү жөндөмдүүлүгүнүн интерконнекттери (NVLink, Infiniband) көп GPU орнотуулары үчүн маанилүү болуп калат, мында KV кэш түзмөктөр арасында бөлүштүрүлүшү керек. Эстутум чектелүү чөйрөлөрдө, КВ кэш маанилеринин агрессивдүү кванттоосу (FP16дан INT8 же INT4ге чейин) көпчүлүк коммерциялык колдонмолор үчүн алгылыктуу болгон тактыктын бир аз төмөндөшүнүн эсебинен кубаттуулукту калыбына келтирет.

Сиз AI менен иштеген функцияларды куруп жатасызбы же бүткүл уюмуңузда татаал бизнес операцияларын уюштуруп жатасызбы, негизги принцип бирдей: бош убакытты жоюу, кубаттуулукту үзгүлтүксүз калыбына келтирүү жана сизде бар ресурстар менен көбүрөөк ишти кайра иштетүү. Mewayz бул принципти 207 интеграцияланган модулда ишке ашырат — CRM жана электрондук коммерциядан аналитика жана командалык кызматташууга чейин — айына $19дан башталат.

Бизнесиңизди толугу менен иштетүүгө даярсызбы? app.mewayz.com сайтынан акысыз сыноону баштаңыз жана Mewayz менен 138 000 компаниянын кантип акылдуураак иштеп жатканын көрүңүз.