Dufcad joogto ah oo ka timid Mabaadi'da Koowaad (2025)

Dufcaynta joogtada ah waa farsamo jadwal jadwal firfircoon oo kor u qaada wax soo saarka qalabka iyada oo la gelinayo codsiyo cusub dufcada habaynta firfircoon marka boosku xoreeyo, meeshana ka saaraysa wareegyada xisaabinta ee u dhexeeya shaqooyinka. Fahamka mabaadi'da ugu horreeya waxay muujineysaa sababta ay u noqotay qaab-dhismeedka aasaasiga ah ee nidaam kasta oo wax-qabad sare leh ee adeegga AI ee la geeyo qiyaasta 2025.

Waa maxay Dhab ahaan Duubista Joogta ah iyo Maxay u Fashilantay Batching Static?

Si aad u qadariso dufcad joogto ah, waa inaad marka hore fahantaa waxa bedelay. Koox-kooxeedyo dhaqameed tiro go'an oo codsi ah oo wadajira, waxay u habeeyaan sidii hal unug, oo waxay aqbalaan codsiyada cusub ka dib marka dufcaddu dhammaato. Ciladda muhiimka ah ayaa ah in moodooyinka luqadda waaweyn ay abuuraan calaamado dhererkoodu doorsoomayo - hal codsi ayaa laga yaabaa inuu joojiyo 20 calaamadood ka dib halka mid kale oo isla dufcad ah uu socdo 2,000. GPU kasta oo ka mid ah kooxdu waxa uu fadhiyaa shaqo la'aan isagoo sugaya taxanaha ugu dheer in la dhamaystiro ka hor inta aanay shaqo cusub bilaabin.

Dufcad joogto ah, oo horudhac u ah warqadda calaamadda ah ee 2022 "Orca: Nidaamka Adeegga Qaybsan ee Hababka Wax-soo-saarka Ku-saleysan Transformer," waxay jebisaa gebi ahaanba xannibaadda. Waxay ku shaqeysaa heerka soo celcelinta halkii ay ka ahaan lahayd heerka codsiga. Ka dib markii mid kasta oo horudhac ah uu soo maro qaabka, jadwalku waxa uu hubinayaa in wax isku xigxiga ahi uu gaadhay calaamada isku xigxiga. Haddii ay haysato, booskaas isla markiiba waa la soo ceshanaya waxaana lagu meeleeyaa codsi saf ku jira - sugitaan la'aan, qashin la'aan. Halabuurka dufcaddii ayaa si dareere ah u beddesha tillaabo kasta oo go'aaminaysa, iyada oo la ilaalinayo ka faa'iidaysiga qalabka ugu badnaan fikradda mar walba.

Sidee buu kaydka KV ula falgalaa dufaynta joogtada ah ee heerka nidaamka?

Key-qiimaha furaha waa qaab-dhismeedka xusuusta ee ka dhigaya soo-jeedinta beddelka mid la taaban karo. Calaamad kasta oo la farsameeyo, moodeelku waxa uu xisaabiyaa furayaasha dareenka iyo qiyamka ay tahay in la hayo si aanay calaamadaha soo socda u soo celin xisaabinta dheeraadka ah. Nidaamka dufcadda taagan, qoondaynta kaydka KV waa mid toos ah: kaydi xusuusta oo u dhiganta dhererka isku xigxiga ee codsi kasta ee dufcada.

Dufcaynta joogtada ah ayaa tan u adkaynaysa si xarrago leh. Sababtoo ah codsiyadu waxay soo galaan oo ay ka baxaan dufcadda wakhtiyo aan la saadaalin karin, nidaamku horey uma qoondayn karo xannibaadyada xusuusta ee go'an. Tani waa sababta saxda ah ee vLLM's PagedAttention - ee lagu soo bandhigay 2023 - waxay u noqotay mid aan ka go'in dufcadda joogtada ah ee geynta wax soo saarka. PagedAttention wuxuu ka amaahdaa moodalka xusuusta dalwaddii nidaamyada hawlgalka, isagoo u qaybinaya kaydka KV qaybo aan xidhiidhin oo cabbirkoodu siman yahay. Bogagga kaydinta taxanaha ah waxa lagu kala firdhi karaa xusuusta GPU-da si la mid ah boggaga xusuusta dalwaddu ay u kala firdhisan yihiin RAM-ka jireed. Natiijadu waxay ku dhowdahay eber qashinka qashinka ee kala-jajabinta, taas oo si toos ah u tarjumeysa cabbirrada dufcadaha sare iyo wax-soo-saarka sare iyada oo aan la gelin qalab dheeraad ah.

Waa maxay Farsamooyinka Jadwalka Muhiimka ah ee Sameeya Shaqo Duubista Joogta ah?

Saddex go'aanno jadwal oo isku-tiirsanaan ah ayaa xukuma nidaam kasta oo kooxeed oo joogto ah:

• Siyaasadda ka-hortagga: Marka cadaadiska xusuusta sareeyo oo uu yimaado codsi cusub oo mudnaanta sare leh, jadwal-hayehu waa inuu go'aansadaa inuu ka sii hormariyo taxanaha mudnaanta-hooseeya, u beddelo khasnadiisa KV CPU RAM, ama dib uga xisaabiyo xoq mar dambe. Horudhac ku salaysan is-beddelka ayaa ilaaliya xisaabinta laakiin waxay isticmaashaa xawaaraha PCIe; dib u xisaabinta waxay luminaysaa wareegyada GPU laakiin waxay ilaalisaa nadiifinta xusuusta.
• Kontoroolka gelitaanka: Jadwaliyehu waa inuu saadaaliyaa in kaydka KV ee codsiga cusub uu ku habboonaan doono xusuusta la heli karo inta uu nool yahay jiilkiisa oo dhan. Hoos-u-dhigiddu waxay sababtaa shilalka xusuusta-ka-baxsan ee isku-xigta; si xad dhaaf ah u gaajoonaya safka si aan loo baahnayn. Nidaamyada casriga ah waxay isticmaalaan qaybinta dhererka muuqaalka leh iyo kaydinta boos celinta si ay isugu dheelitiraan khatarahaan.
• Pufill horudhac ah oo la jarjaray: Marxaladda hor-u-buuxinta - ka baaraandegidda soo-gelinta degdegga ah ee isticmaalaha - waa mid xisaab-xidhan oo keli-teli kara GPU-ga, dib-u-dhigista tillaabooyinka taxanaha horay u socday. Buuxinta hore ee jeexjeexan waxay u kala qaybisaa soo-jeedinta dheer waxayna u kala qaybisaa qaybo cabbir go'an oo ay ku dhex-jirtay soocaynta koodka, yaraynta wakhtiga-ilaa-koowa-calaamad-latency ee isticmaalayaasha isku midka ah iyadoo qiimihiisu yar yahay ka hooseeya soo-saarka hor-u-buuxinta cayriin.
• Kuuska mudnaanta leh: Shirkaddu waxay geynaysaa codsiyada qaybta SLA. API ee xasaasiga ah ee daahsoon wuxuu ku baaqayaa in laga hormariyo shaqooyinka dufcada dadaalka ugu wanaagsan. Lakabkan la'aanteed, hal hawl oo kooban oo dukumeenti dheer ah waxay hoos u dhigi kartaa khibradda is-dhexgalka ee boqollaal kulan oo isku xigta.

"Duufaan joogto ah kaliya ma wanaajiso wax soo saarka - waxay dib u habaynaysaa qaabka dhaqaale ee fikradda AI. Iyadoo la ilaalinayo GPU-yada lagu mashquulinayo granularity-ka halkii ay ka codsan lahaayeen granularity, hawl-wadeenadu waxay gaadhaan 5-10× ka faa'iidaysi wax ku ool ah oo sarreeya oo ka yimaada qalab isku mid ah, kaas oo ah kabaalka ugu weyn ee la heli karo si loo yareeyo kharashka adeegga ee calaamad kasta."

💡 DID YOU KNOW?

Mewayz replaces 8+ business tools in one platform

CRM · Invoicing · HR · Projects · Booking · eCommerce · POS · Analytics. Free forever plan available.

Start Free →

202

Sidee bay u geynta-dhabta dunidu u cabbiraan faa'iidada waxqabadka?

Natiijooyinka cabbirka ee Anyscale, oo ay weheliso dib-u-soosaar madaxbannaan oo ka jira qoysas badan oo moodal ah sanadka 2024, waxay si joogto ah u muujiyaan soo gudbinta joogtada ah ee soo gudbinta inta u dhaxaysa 23× iyo 36× marka loo eego qaab-dhismeed aan caadi ahayn oo taraafikada ah. Faa'iidooyinka ayaa inta badan lagu dhawaaqaa marka kala duwanaanshaha dhererka codsashada uu sarreeyo - sida saxda ah shuruudaha lagu garto soo saarista wada hadalka AI culeyska shaqada halkaas oo su'aalaha isticmaalaha ay u dhexeeyaan seddex eray oo dareen ah ilaa soo gudbinta dukumeenti bogag badan.

Latency waxay sheegaysaa sheeko ka sii qoto dheer. Waqtiga-ilaa-koowa-calaamadaha si aad ah ayay u horumaraysaa sababtoo ah nadaamku ma sugi doono dufcad buuxda oo taagan in la isu keeno ka hor inta aan la bilaabin buuxinta hore. Latency inter-token ayaa weli ah mid xasiloon oo ku hoos jira culeys dhexdhexaad ah laakiin si xarrago leh ayuu hoos ugu dhigaa buuxinta halkii uu ka dumi lahaa, sababtoo ah jadwaliyuhu waxa uu sii wadaa in uu horumar ka sameeyo dhammaan taxanaha firfircoon xitaa marka safku qoto dheer yahay. Meheradaha dhisaya astaamaha AI-waqtiga-dhabta ah, qaloocan hoos u dhaca ee quruxda badan ayaa inta badan ganacsi ahaan aad uga muhimsan tirooyinka wax soo saarka ugu sarreeya.

Sidee ganacsiyadu ugu dabaqi karaan mabaadi'da Duubista Joogtada ah ee ka baxsan Inference AI?

Aragtida qaabdhismeedka ee ka dambeeya dufcad joogto ah - dib u soo cesho agabka sida ugu wanaagsan ee suurtogalka ah isla markaaba dib ugu beddel halkii aad sugi lahayd qayb shaqo oo aan dhab ahayn si ay u dhammayso - waa mabda' guud oo nidaam kasta oo maamula culaysyo shaqo oo kala duwan. Nidaamyada hawlgalka ganacsigu waxa ay wajahayaan caqabad isku mid ah: hawlaha muddado kala duwan oo u tartamaya awoodda wax qabad ee la wadaago dhammaan qulqulka shaqada ee CRM, suuq geynta, dhuumaha falanqaynta, iyo hawlgallada ganacsiga e-commerce.

Mewayz waxay khusaysaa falsafadan guud ahaan 207-module-ga ganacsi ee OS, iyada oo si firfircoon u hagaya culaysyada shaqada ee madal isku dhafan oo ay isticmaalaan 138,000 ganacsiyo adduunka oo dhan ah. Halkii lagu qasbi lahaa kooxaha inay sugaan wareegyada warbixinta dufcadda, safafka oggolaanshaha ee isdaba jooga ah, ama gacan-ku-haynta aaladaha aamusan, Mewayz waxay si joogto ah u socodsiisaa dhacdooyinka ganacsiga - quudinta wax soo saarka la dhammeeyey isla markaaba qaybaha hoose si ay jadwal dufsi joogto ah u quudiyo boosaska GPU-da ee dib loogu celiyo safka codsiga. Natiijadu waa mid la qiyaasi karo oo la qiyaasi karo hagaajinta wax soo saarka ee hawlgallada ganacsiga dhabta ah, ma aha oo kaliya halbeegyada.

Su'aalaha Inta badan La Isweydiiyo

Dufcaynta joogtada ah miyay la mid tahay dufcada firfircoon ee TensorFlow Serving?

Maya. Dufcaynta firfircoon ee TensorFlow Serving waxay soo ururisaa codsiyada dufcadaha cabbirka doorsooma ee ku salaysan wakhtiga daaqadaha iyo qoto dheeraanta safka, laakiin wali waxay u socodsiisaa qayb kasta si atomi ah bilaw ilaa dhamaad. Dufcaynta joogtada ahi waxay ku shaqaysaa tallaabada jiilka calaamadda, taasoo u oggolaanaysa halabuurka dufcadda inuu beddelo baas kasta oo hore loo qaado. Farqiga weynaanta ayaa ah sababta dufcadda joogtada ah ay u gaarto wax soo saar aad u sarreeya oo loogu talagalay culeysyada shaqada ee jiilka autoregressive gaar ahaan.

Dufcaynta joogtada ahi miyay u baahan tahay isbedel qaab dhismeedka qaabdhismeedka?

Qaab dhismeedka is beddelka caadiga ah uma baahna wax ka beddel. Dufcaynta joogtada ah ayaa gabi ahaanba laga hirgaliyay lakabka adeega iyada oo loo marayo isbedelada jadwalaha soo jeedinta, maareeyaha xusuusta, iyo kernel dareenka. Si kastaba ha ahaatee, qaar ka mid ah hagaajinta - gaar ahaan PagedAttention - waxay u baahan yihiin kernels CUDA caadadii oo beddelaya fulinta dareenka caadiga ah, taas oo ah sababta qaab-dhismeedka wax-soo-saarka ee joogtada ah sida vLLM iyo TensorRT-LLM aysan ahayn beddelka beddelka adeegayaasha ujeeddooyinka guud.

Waa maxay caqabadaha qalabka xaddidaya waxtarka dufanka joogtada ah?

GPU HBM bandwidth iyo wadarta awooda VRAM waa caqabadaha aasaasiga ah. Kaysyada waaweyn ee KV waxay u baahan yihiin xasuus badan, xaddidaysa inta ugu badan ee la isku dhaafsado. Isku xirka bandwidth-sare (NVLink, Infiniband) wuxuu noqdaa mid muhiim u ah meelaynta GPU-da badan halkaas oo khasnadda KV ay tahay in lagu qaybiyo qalabka. Deegaannada xusuusta xaddidan, cabbirka xoogga leh ee qiyamka khasnadaha KV (laga bilaabo FP16 illaa INT8 ama INT4) waxay dib u soo ceshataa awoodda iyadoo qiimihiisu yahay hoos u dhac yar oo sax ah oo la aqbali karo badi codsiyada ganacsiga.

---

Haddii aad dhisayso sifooyin ku shaqeeya AI ama abaabulka hawlgallada ganacsi ee kakan guud ahaan ururkaaga oo dhan, mabda'a hoose waa isku mid: baabi'inta wakhtiga shaqo la'aanta, dib u soo ceshad awoodda si joogto ah, oo ka baaraandegto shaqo dheeraad ah kheyraadka aad hore u haysatid. Mewayz wuxuu dhigayaa mabda'a ficil ahaan 207 qaybood oo isku dhafan - laga bilaabo CRM iyo e-commerce ilaa falanqaynta iyo iskaashiga kooxda - laga bilaabo $19 bishii.

Diyaar ma u tahay in aad ku socodsiiso meheraddaada si buuxda?