Эхний зарчмуудаас тасралтгүй багцлах (2025)

Тасралтгүй багцлах нь ажлын завсар чөлөөлөгдөх үед идэвхтэй боловсруулах багцад шинэ хүсэлт оруулах замаар техник хангамжийн дамжуулалтыг нэмэгдүүлэх, ажлын хооронд ажиллахгүй тооцооллын циклийг арилгадаг динамик тооцооллын хуваарь гаргах арга юм. Үүнийг эхний зарчмуудаас нь ойлгосноор энэ нь яагаад 2025 онд өргөн хүрээнд хэрэглэгдэх өндөр хүчин чадалтай хиймэл оюун ухаант үйлчилгээ үзүүлэх систем бүрийн үндэс суурь болсон болохыг харуулж байна.

Тасралтгүй багцлалт гэж яг юу вэ, яагаад статик багцлах амжилтгүй болсон бэ?

Тасралтгүй багцыг үнэлэхийн тулд эхлээд юу орлсныг ойлгох хэрэгтэй. Уламжлалт статик багц нь тодорхой тооны хүсэлтийг хамтад нь бүлэглэж, тэдгээрийг нэг нэгж болгон боловсруулж, зөвхөн багц дууссаны дараа шинэ хүсэлтийг хүлээн авдаг. Гол дутагдал нь том хэлний загварууд нь хувьсах урттай жетон үүсгэдэг - нэг хүсэлт 20 жетоны дараа дуусгавар болж, нэг багц дахь өөр нэг хүсэлт 2000-аар ажилладаг. Кластерт байгаа GPU бүр шинэ ажил эхлэхээс өмнө хамгийн урт дарааллыг дуусгахыг хүлээж сул зогсдог.

2022 оны "Орка: Трансформаторт суурилсан үүсгүүрт загварт зориулсан түгээсэн үйлчилгээний систем" сэдэвт нийтлэлд анхлан гаргасан тасралтгүй багцлах нь энэ хязгаарлалтыг бүхэлд нь эвддэг. Энэ нь хүсэлтийн түвшинд биш давталтын түвшинд ажилладаг. Загвараар дамжин өнгөрөх бүрийн дараа хуваарь гаргагч нь дарааллын төгсгөлийн тэмдэгтэнд хүрсэн эсэхийг шалгадаг. Хэрэв байгаа бол тэр үүрийг нэн даруй эргүүлэн авч, дараалалд орсон хүсэлтэд хуваарилна - хүлээх шаардлагагүй, хог хаягдал байхгүй. Багцын найрлага нь код тайлах алхам бүрт жигд шилжиж, техник хангамжийн ашиглалтыг үргэлж онолын дээд хэмжээнд ойртуулдаг.

КВ кэш нь системийн түвшинд тасралтгүй багцлахтай хэрхэн харьцдаг вэ?

Түлхүүр утгын кэш нь трансформаторын дүгнэлтийг хялбар болгодог санах ойн бүтэц юм. Боловсруулсан токен бүрийн хувьд загвар нь анхаарал хандуулах түлхүүрүүд болон хадгалагдах ёстой утгуудыг тооцдог тул дараагийн жетонууд илүүдэл тооцооллыг давтахгүй. Статик багцын системд КВ кэшийг хуваарилах нь маш энгийн: багц дахь хүсэлт бүрийн хамгийн их дарааллын урттай пропорциональ санах ойг нөөцлөх.

Тасралтгүй багцлах нь үүнийг илүү төвөгтэй болгодог. Хүсэлтүүд багцад урьдчилан таамаглах боломжгүй үед орж, гарах тул систем нь тогтмол залгаа санах ойн блокуудыг урьдчилан хуваарилж чадахгүй. Чухам ийм учраас 2023 онд танилцуулагдсан vLLM-ийн PagedAttention нь үйлдвэрлэлийн байршилд тасралтгүй багцлахаас салшгүй болсон юм. PagedAttention нь үйлдлийн системээс виртуал санах ойн пейжерийн загварыг зээлж авч, КВ кэшийг ижил хэмжээтэй зэргэлдээ бус блокуудад хуваадаг. Виртуал санах ойн хуудсууд физик RAM дээр тархсантай адил дарааллын кэш хуудаснууд нь GPU санах ойд тархаж болно. Үр дүн нь хуваагдалаас болж санах ойн хаягдал бараг тэг болж байгаа бөгөөд энэ нь нэмэлт тоног төхөөрөмжийн хөрөнгө оруулалтгүйгээр шууд илүү өндөр багцын хэмжээ, илүү өндөр дамжуулах чадвар юм.

Тасралтгүй багцын ажлыг хийдэг хуваарийн үндсэн механизмууд юу вэ?

Тасралтгүй багцын систем бүрийг бие биенээсээ хамааралтай хуваарь гаргах гурван шийдвэр зохицуулдаг:

• Урьдчилан ашиглах бодлого: Санах ойн даралт ихсэж, шинэ өндөр ач холбогдолтой хүсэлт ирэх үед төлөвлөгч нь бага ач холбогдолтой дарааллыг урьдчилан сэргийлэх, КВ кэшийг CPU-ийн RAM руу солих эсвэл дараа нь эхнээс нь дахин тооцоолох эсэхээ шийдэх ёстой. Своп дээр суурилсан урьдчилан сэргийлэх нь тооцооллыг хадгалах боловч PCIe зурвасын өргөнийг зарцуулдаг; Дахин тооцоолол нь GPU циклийг үрдэг ч санах ойг цэвэр байлгадаг.
• Элсэлтийн хяналт: Төлөвлөгч нь шинэ хүсэлтийн KV кэш нь түүний бүх үеийн хугацаанд боломжтой санах ойд багтах эсэхийг урьдчилан таамаглах ёстой. Санах ойгүй болсон шалтгааныг дутуу үнэлэх нь дарааллын дундуур эвдрэх; хэтрүүлэн үнэлэх нь дарааллыг шаардлагагүйгээр өлсгөдөг. Орчин үеийн системүүд эдгээр эрсдлийг тэнцвэржүүлэхийн тулд профилжуулсан уртын хуваарилалт болон захиалгын буфер ашигладаг.
• Бөөрөнхий бөглөх: Урьдчилан дүүргэх үе шат — хэрэглэгчийн оруулах хүсэлтийг боловсруулах — тооцоололд хамаарах бөгөөд GPU-г монополь болгож, аль хэдийн ажиллаж байгаа дарааллын код тайлах алхмуудыг хойшлуулдаг. Хэсэгчилсэн урьдчилан дүүргэлт нь урт сануулгыг код тайлах давталтуудтай холбосон тогтмол хэмжээтэй хэсгүүдэд хувааснаар нэгэн зэрэг хэрэглэгчдэд түүхийгээр дүүргэх чадвар нь арай бага байх зардлаар эхний токены хоцролтыг багасгадаг.
• Тэргүүний дараалал: SLA түвшний дагуу аж ахуйн нэгжийн байршуулалтын сегментийн хүсэлт. Хоцролтод мэдрэмтгий API нь хамгийн сайн хүчин чармайлт бүхий багц ажлуудыг урьдчилж дууддаг. Энэ давхарга байхгүй бол нэг урт баримт бичгийг нэгтгэн дүгнэх ажил нь олон зуун зэрэгцсэн сешнүүдийн интерактив хэрэглэгчийн туршлагыг доройтуулж болзошгүй.

"Тасралтгүй багцлах нь зөвхөн дамжуулах чадварыг сайжруулаад зогсохгүй, хиймэл оюун ухааны дүгнэлтийн эдийн засгийн загварыг өөрчлөн зохион байгуулдаг. GPU-г нарийн ширийнийг хүсэхээс илүүтэйгээр давталтын нарийвчлалтайгаар ажиллуулснаар операторууд ижил төрлийн техник хангамжийг 5-10 дахин илүү үр дүнтэй ашиглах боломжийг олгодог. Энэ нь үйлчилгээний зардлыг бууруулах хамгийн том хөшүүрэг юм.

Бодит ертөнцөд байршуулалт нь гүйцэтгэлийн ашгийг хэрхэн хэмждэг вэ?

Anyscale-ийн жишиг үр дүн, 2024 онд олон загварын гэр бүлийн бие даасан хуулбаруудын хамт, бодит замын хөдөлгөөний хэв маягийн дагуу энгийн статик багцтай харьцуулахад 23 × болон 36 × илүү өндөр дамжуулалттай тасралтгүй багцыг тогтмол харуулж байна. Хүсэлтийн уртын зөрүү их байх үед олз нь хамгийн тод илэрдэг. Энэ нь хэрэглэгчийн асуулга нь гурван үгтэй сануулгаас олон хуудас баримт бичиг илгээх хүртэл хэлбэлздэг үйлдвэрлэлийн харилцан ярианы хиймэл оюун ухааны ажлын ачааллыг тодорхойлдог нөхцөлүүд юм.

Хоцролт нь илүү нарийн түүхийг өгүүлдэг. Урьдчилан дүүргэж эхлэхээс өмнө систем бүрэн статик багцыг цуглуулахыг хүлээхээ больсон тул "Эхний токен"-ын хугацаа эрс сайжирдаг. Токен хоорондын хоцрогдол нь дунд зэргийн ачаалалтай үед тогтвортой хэвээр байгаа боловч дараалал гүнзгийрэх үед ч хуваарьлагч бүх идэвхтэй дарааллаар урагш ахисаар байдаг тул уналтанд орохын оронд ханасан үед сайн буурдаг. Бодит цагийн хиймэл оюун ухааны онцлогуудыг бий болгож буй бизнесүүдийн хувьд энэхүү гайхалтай доройтлын муруй нь дамжуулах чадварын дээд тооноос илүү арилжааны хувьд чухал байдаг.

Бизнесүүд хиймэл оюун ухааны дүгнэлтээс гадна тасралтгүй багцлах зарчмуудыг хэрхэн хэрэгжүүлэх вэ?

Тасралтгүй багцын цаадах архитектурын ойлголт - нөөцийг хамгийн сайн нарийвчлалтайгаар эргүүлэн авч, том ширхэгтэй ажлыг дуусгахыг хүлээхээс илүүтэйгээр нэн даруй дахин хуваарилах нь янз бүрийн ажлын ачааллыг зохицуулдаг аливаа системийн ерөнхий зарчим юм. Бизнесийн үйлдлийн системүүд нь ижил сорилттой тулгардаг: CRM ажлын урсгал, маркетингийн автоматжуулалт, аналитик дамжуулах хоолой, цахим худалдааны үйл ажиллагаа зэрэгт хамтран боловсруулах хүчин чадлын төлөө өрсөлддөг тэс өөр хугацаатай ажлууд.

Mewayz нь энэхүү философийг 207 модуль бүхий бизнесийн үйлдлийн системдээ хэрэгжүүлж, дэлхий даяарх 138,000 бизнес эрхлэгчдийн ашигладаг нэгдсэн платформ дээр үйл ажиллагааны ачааллыг динамикаар чиглүүлдэг. Багуудыг багцын тайлагналын мөчлөг, дараалсан зөвшөөрлийн дараалал, багаж хэрэгслийн шилжилтийг хүлээхийг албадахын оронд Mewayz бизнесийн үйл явдлуудыг тасралтгүй боловсруулдаг - тасралтгүй багцлах хуваарьлагч нь чөлөөлөгдсөн GPU слотуудыг хүсэлтийн дараалалд буцааж өгдөг шиг дууссан гаралтыг шууд доод модулиудад нийлүүлдэг. Үр дүн нь жишиг үзүүлэлтээр зогсохгүй бодит бизнесийн үйл ажиллагаанд хэмжигдэхүйц хэмжээний дамжуулалтын сайжруулалт юм.

Байнга асуудаг асуултууд

Тасралтгүй багцлах нь TensorFlow үйлчилгээний динамик багцтай ижил үү?

Үгүй. TensorFlow Serving-ийн динамик багц нь хүсэлтийг цагийн цонх болон дарааллын гүнд үндэслэн хувьсах хэмжээтэй багц болгон цуглуулдаг боловч багц бүрийг эхнээс нь дуустал атомаар боловсруулдаг. Тасралтгүй багцлах нь бие даасан токен үүсгэх үе шатанд ажилладаг бөгөөд багцын бүтцийг урагшлуулах бүрийг өөрчлөх боломжийг олгодог. Бүртгэлийн ялгаа нь яагаад тасралтгүй багцлах нь авторегресс үүсгэх ажлын ачаалалд илүү их дамжуулах чадварыг бий болгодогт оршино.

Тасралтгүй багцлах нь загварын архитектурыг өөрчлөх шаардлагатай юу?

Стандарт трансформаторын архитектурт өөрчлөлт оруулах шаардлагагүй. Үргэлжлүүлэн багцлах нь дүгнэлт төлөвлөгч, санах ойн менежер, анхаарлын цөмд хийсэн өөрчлөлтөөр бүхэлд нь үйлчлэх давхаргад хэрэгждэг. Гэсэн хэдий ч зарим оновчлолд, ялангуяа PagedAttention-д стандарт анхаарлын хэрэгжилтийг орлох захиалгат CUDA цөм шаардлагатай байдаг тул vLLM болон TensorRT-LLM зэрэг үйлдвэрлэлийн түвшний тасралтгүй багцлах хүрээнүүд нь ерөнхий зориулалтын дүгнэлтийн серверүүдийг орлуулах боломжгүй байдаг.

Техник хангамжийн ямар хязгаарлалтууд тасралтгүй багцын үр ашгийг хязгаарладаг вэ?

GPU HBM зурвасын өргөн ба нийт VRAM багтаамж нь үндсэн хязгаарлалт юм. Том КВ кэш нь илүү их санах ой шаарддаг бөгөөд энэ нь хамгийн дээд зэрэглэлийн давтамжийг хязгаарладаг. Өндөр зурвасын өргөнтэй харилцан холболтууд (NVLink, Infiniband) нь КВ кэшийг төхөөрөмжүүдэд түгээх шаардлагатай олон GPU байршуулалтад чухал үүрэг гүйцэтгэдэг. Санах ой хязгаарлагдмал орчинд KV кэшийн утгуудыг (FP16-аас INT8 эсвэл INT4 хүртэл) түрэмгий тоогоор тодорхойлох нь ихэнх арилжааны хэрэглээнд зөвшөөрөгдөх нарийвчлалын бага зэргийн бууралтын зардлаар хүчин чадлыг сэргээдэг.

Та хиймэл оюун ухаанаар ажилладаг функцуудыг бүтээж байгаа эсвэл байгууллагынхаа хэмжээнд бизнесийн нарийн төвөгтэй үйл ажиллагааг зохион байгуулж байгаа эсэхээс үл хамааран үндсэн зарчим нь адилхан: сул зогсолтыг арилгах, хүчин чадлыг тасралтгүй сэргээх, өөрт байгаа нөөцөөрөө илүү олон ажлыг боловсруулах. Mewayz энэ зарчмыг CRM, цахим худалдаанаас эхлээд аналитик болон багийн хамтын ажиллагаа зэрэг 207 нэгдсэн модулиудад сард 19 доллараас эхэлдэг.

Та бизнесээ бүрэн хүчин чадлаар нь явуулахад бэлэн үү? app.mewayz.com сайтаас үнэгүй туршилтаа эхлүүлээд 138,000 бизнес Mewayz-ийг ашиглан хэрхэн илүү ухаалаг ажиллаж байгааг хараарай.