"Batching walitti fufiinsaan bu'aa fooyyessuu qofa miti — moodeela dinagdee AI inference irra deebi'ee gurmaa'a. GPUs granularity gaafachuu caalaa iteration granularity irratti dhuunfachuudhaan, opereetoroonni itti fayyadama bu'a qabeessa 5–10× ol'aanaa haardwaara walfakkaataa irraa galmaan ga'u, kunis lever guddaa tokkicha baasii tajaajila token tokkoof bara 2025 hir'isuuf argamudha."

Bobba'iinsi Addunyaa Dhugaa Akkamitti Bu'aa Raawwii Hojii Safara?

Bu’aan madaallii Anyscale irraa argame, bara 2024tti maatii moodeela hedduu keessatti walhormaata of danda’e waliin, wal irraa hin cinne kan agarsiisu, batching walitti fufiinsa qabu kan 23× fi 36× gidduutti bu’aa olaanaa kan kennu yoo ta’u, naïve static batching wajjin wal bira qabamee yoo ilaalamu, haala tiraafikaa qabatamaa jalatti. Bu'aan baay'ee kan mul'atu yeroo garaagarummaan dheerina gaaffii ol'aanaa ta'e — sirritti haalawwan fe'iinsa hojii AI haasawa oomishaa amala agarsiisan bakka gaaffiiwwan fayyadamaa kaka'umsa jechoota sadii irraa kaasee hanga galmee galmee fuula hedduutti ta'u.

Latency seenaa caalaatti nuanced ta'e hima. Yeroon-to-jalqaba-token haalaan fooyya'a sababiin isaas sirnichi kana booda dursee guutuu jalqabuu dura tuuta istaatiksii guutuu walitti qabamuu hin eegu. Inter-token latency fe'iinsa giddu galeessaa jalatti tasgabbaa'aa ta'ee hafa garuu kufaatii osoo hin taane saturation jalatti gracefully gadi bu'a, sababni isaas sagantaa qopheessaan yeroo tarreen gadi fageenyaan guddatullee tartiiba sochii qabu hunda irratti tarkaanfii fuulduraa gochuu itti fufa. Daldaltoota amala AI yeroo dhugaa ijaaraniif, kaarviin gadi bu'iinsa miidhagaa kun yeroo baay'ee lakkoofsa bu'aa olka'aa caalaa daldalaaf barbaachisaa dha.

Daldaltoonni Akkamitti Dudhaalee Batching Itti Fufiinsa Qaban AI Inference Irra darbee Hojiirra Oolchuu Danda’u?

Hubannoon ijaarsaa batching walitti fufiinsa qabu duuba jiru — qabeenya granularity isa gaarii ta’een deebifachuu fi yuunitii hojii midhaan gurguddaa qabu akka xumuramu eeguu caalaa battalumatti irra deebi’anii ramaduu — sirna fe’iinsa hojii heterogeneous bulchu kamiyyuu seera waliigalaa dha. Sirnoonni hojii daldalaa qormaata walfakkaataa isaan mudata: hojiiwwan yeroo baay’ee adda ta’an dandeettii adeemsa waliinii adeemsa hojii CRM, otoomaatikii gabaa, sarara xiinxala, fi hojiiwwan daldala elektirooniksii hunda keessatti dorgoman.

Mewayz falaasama kana OS daldalaa isaa kan moojuulii 207 qabu keessatti hojiirra oolcha, fe’iinsa hojii hojii waltajjii walitti makame kan daldaltoonni 138,000 addunyaa guutuutti fayyadaman irratti daayinamiikiin qajeelcha. Gareen marsaa gabaasa tuuta, tarreewwan raggaasifama tartiiba, ykn harka namaa siloed akka eegan dirqisiisuu irra, Mewayz taateewwan daldalaa walitti fufiinsaan adeemsisa — firiiwwan xumuraman battalumatti gara moojuulota gara gadiitti akkaataa sagantaa tuuta walitti fufiinsa qabu bakka GPU bilisa ta'e gara tarree gaaffiitti deebisee nyaachisu. Bu'aan isaas fooyya'iinsa bu'aa safaramuu danda'u hojii daldalaa qabatamaa keessatti malee madaallii qofa miti.

Gaaffilee Irra Deddeebiin Gaafataman

Tuuta walitti fufiinsa qabuu fi tuuta daayinamikii TensorFlow Serving keessatti walfakkaataa?

Lakk. TensorFlow Serving's daayinamiik tuuta gaaffiiwwan gara tuuta guddina jijjiiramaa foddaa yeroo fi gad fageenya tarree irratti hundaa'uun walitti qaba, garuu ammas tokkoon tokkoon tuuta jalqabaa hanga dhumaatti atoomiin adeemsisa. Tuuta walitti fufiinsaan tarkaanfii dhaloota mallattoo dhuunfaa irratti hojjeta, walnyaatinsi tuuta dabarsoo fuulduraa hunda akka jijjiiru hayyama. Garaagarummaan granularity maaliif batching walitti fufiinsaan fe'iinsa hojii dhaloota autoregressive addatti bu'aa olaanaa guddaa galmaan ga'a.

Tuuta walitti fufiinsa qabu jijjiirama ijaarsa moodeela barbaada?

Arkiteektaroonni tiraansifoormara istaandaardii fooyya'iinsa hin barbaadan. Tuuta walitti fufiinsaan guutummaatti laayibara tajaajilaa irratti jijjiirama sagantaa yaada xumuraa, bulchaa yaadannoo, fi kernel xiyyeeffannootiin hojiirra oola. Haa ta'u malee, fooyya'iinsi tokko tokko — keessumaa PagedAttention — kernels CUDA amala kanneen hojiirra oolmaa xiyyeeffannoo istaandaardii bakka bu'an barbaadu, kanaafidha unkaalee tuuta walitti fufiinsa qaban sadarkaa oomishaa kan akka vLLM fi TensorRT-LLM bakka bu'iinsa kufaatii sarvaroota yaada waliigalaa kaayyoo waliigalaa miti.

Daangaaleen haardwaaraa maaltu bu'a qabeessummaa tuuta walitti fufiinsa qabu daangessu?

GPU HBM bandwidth fi dandeettii VRAM waliigalaa danqaawwan jalqabaati. Kaachoonni KV gurguddoon yaadannoo baay'ee barbaadu, walfakkeenya guddaa daangeessa. Walqunnamtiin baandii olaanaa (NVLink, Infiniband) bobbii GPU hedduu bakka kaacheen KV meeshaalee irratti raabsamuu qabuuf murteessaa ta'a. Naannoo yaadannoo-daangaa ta'e keessatti, gatiiwwan kaachota KV (FP16 irraa hanga INT8 ykn INT4) kuwantiinsi aggaammii qabu baasii gadi bu'iinsa sirrii xiqqaa kan hojiiwwan daldalaa baay'eedhaaf fudhatama qabuun dandeettii deebisa.

Amaloota AIn hojjetan ijaaruus ta'e hojiiwwan daldalaa walxaxaa dhaabbata kee guutuu keessatti qindeessuu yoo ta'e, qajeelfamni bu'uuraa walfakkaataadha: yeroo hojii malee jiru dhabamsiisuu, dandeettii walitti fufiinsaan deebisuu, fi qabeenya duraan qabduun hojii dabalataa adeemsi. Mewayz qajeelfama sana moojuulota walitti makaman 207 keessatti hojiirra oolcha — CRM fi daldala elektirooniksii irraa kaasee hanga xiinxalaafi tumsa gareetti — ji’atti $19 irraa eegalee.

Daldala kee bu'aa guutuudhaan gaggeessuuf qophiidhaa? Yaalii bilisaa kee app.mewayz.com irraa jalqabi akkamitti daldaltoonni 138,000 Mewayz waliin caalaatti ogummaadhaan hojjechaa akka jiran ilaali.