Fa'au'u Fa'aauau mai Mataupu Faavae Muamua (2025)

O le fa'aputuga faifaipea ose faiga fa'atulagaina fa'atonuga e fa'asilisili ai le fa'aogaina o masini e ala i le fa'aofiina o talosaga fou i totonu o se vaega galue malosi i le taimi lava e fa'asa'oloto ai le avanoa, fa'ate'a ai ta'amilosaga fa'aletonu i le va o galuega. O le malamalama i ai mai ulua'i mataupu faavae e fa'aalia ai le mafua'aga ua avea ai ma fa'avae fa'avae mo so'o se faiga fa'atino auaunaga AI maualuga fa'atinoina i le fua i le 2025.

O le a tonu le fa'aputuga faifaipea ma aisea na le manuia ai le fa'aputuga fa'atutu?

Ina ia talisapaia le fa'aputuga faifaipea, e tatau ona e malamalama muamua i le mea na suitulaga ai. Tu'ufa'atasi tu'ufa'atasiga tu'ufa'atasiga fa'atasi se numera fa'aopoopo o talosaga fa'atasi, fa'agaoioi i latou o se iunite e tasi, ma na'o le taliaina o talosaga fou pe a mae'a le vaega atoa. O le fa'aletonu mata'utia, o fa'ata'ita'iga gagana lapopo'a e maua mai ai fa'ailoga e fesuisuia'i le umi - e tasi le talosaga e mafai ona fa'amuta pe a uma le 20 fa'ailoga ae o le isi i le vaega lava e tasi e alu mo le 2,000. O GPU uma lava i totonu o le fuifui e nofonofo fa'atalitali mo le fa'asologa umi e fa'amae'a a'o le'i amataina se galuega fou.

Fa'aauau le fa'aputuga, paionia i le pepa mata'ina 2022 "Orca: A Distributed Serving System for Transformer-Based Generative Models," ua motusia atoa ai lenei tapula'a. O lo'o fa'agaoioi i le ituration levelnai lo le tulaga talosaga. A mae'a uma le aga'i i luma i le fa'ata'ita'iga, e siaki e le tagata fa'atulagaina pe o iai se fa'asologa ua o'o i lona fa'ai'uga o le fa'asologa. Afai ei ai, o lena avanoa e vave ona toe maua ma tuʻuina atu i se faʻatonuga faʻatonu - leai se faʻatali, leai se faʻaumatia. O le fa'aputuga fa'aputuga e fealua'i solo i laasaga ta'itasi uma e fa'aliliu ai, fa'atumauina le fa'aogaina o meafaigaluega e latalata ile maualuga fa'ata'ita'i i taimi uma.

E Fa'afefea ona Fegalegaleai le KV Cache ma Fa'aputuga Fa'aauau i le Tulaga Fa'atonu?

O le fa'amaufa'ailoga autu-taua o le fa'atulagaga manatua lea e mafai ai ona va'aia le fa'ai'uga o le transformer. Mo fa'ailoga uma e fa'agaioia, e fa'atatau e le fa'ata'ita'iga ki fa'alogo ma fa'atauga e tatau ona fa'atumauina ina ia aua ne'i toe faia e fa'ailoga mulimuli ane le toe fa'aopoopoina. I se faiga fa'atutusa, o le fa'asoaina o le KV cache e faigofie lava: fa'aagaga fa'aagaga e fa'atatau i le maualuga o le fa'asologa umi mo talosaga uma i totonu o le fa'aputuga.

O le fa'aputuga faifaipea e fa'afaigata ai lenei mea. Talu ai ona o talosaga e ulufale ma alu ese mai le vaega i taimi e leʻi fuafuaina, e le mafai e le faiga ona faʻavasega muamua poloka manatua vavalalata. O le mea tonu lea na mafua ai le vLLM's PagedAttention - na faʻalauiloaina i le 2023 - na le mafai ona tuʻueseeseina mai le faʻaauauina o le faʻapipiʻiina o gaosiga. PagedAttention e fa'ameamea le fa'ata'ita'iga fa'ata'ita'i fa'ata'ita'iga fa'ata'ita'i mai faiga fa'aogaina, vaevae le KV cache i poloka e le soso'o tutusa le lapopoa. E mafai ona fa'asalalau itulau fa'amaufa'ailoga a le fa'asologa i luga o le GPU manatua e pei lava ona fa'asalalau itulau manatua fa'amalama i le RAM faaletino. O le i'uga e latalata i-zero manatua otaota mai vaevaega, lea e fa'aliliu sa'o i lapo'a maualuluga ma maualuga atu le gaosiga e aunoa ma se fa'aagaga fa'aopoopo o meafaigaluega.

O a Faiga Autu o le Fa'atulagaina e Fa'aauau ai Galuega Fa'aopoopo?

E tolu fa'ai'uga fa'atulaga fa'atasi e pulea so'o se faiga fa'aputuga fa'aauau:

• Preemption policy: A maualuga le mamafa o manatua ma o'o mai se mana'oga maualuga-fa'amuamua fou, e tatau i le tagata fa'atonu ona filifili pe fa'ata'ita'i se fa'asologa e maualalo le fa'amuamua, sui lona KV cache i le CPU RAM, pe toe fa'aopoopo mai le amataga mulimuli ane. O le fa'atauva'a fa'avae e fa'asaoina le fa'atusatusaga ae fa'aaoga le bandwidth PCIe; le toe fa'atulagaina e fa'amama'i ta'amilosaga GPU ae fa'amama le manatua.
• Fa'atonu le ulufale: E tatau i le tagata fa'atulagaina ona va'ai pe o le a ofi le KV cache ole talosaga fou ile manatua avanoa i lona olaga atoa. Fa'atauva'a fa'atupu fa'alavelave fa'aletonu i le ogatotonu o le fa'asologa; overestimating matelaina le laina le tatau. O faiga fa'aonaponei o lo'o fa'aogaina fa'asoa fa'asalalau umi ma fa'apolopolo fa'apolopolo e fa'apaleni ai nei lamatiaga.
• Chunked prefill: Ole la'asaga mua'i fa'atumu - fa'agaioiina le fa'aulufalega a le tagata fa'aoga - o lo'o fa'amauina ma e mafai ona fa'apulepule le GPU, fa'atuai ai le fa'avasegaina o la'asaga mo fa'asologa ua uma ona tamo'e. Fa'ato'a fa'atumu fa'aputu e vaevae fa'avavega uumi i ni pusi lapopo'a fa'apipi'i fa'atasi ma fa'asolo fa'ailoga, fa'aitiitia ai le taimi-i-muamua-fa'ailoga fa'agaoioiga mo tagata fa'aoga fa'atasi i le tau o le fa'atauva'a maualalo fa'aulu.
• Tili fa'amuamua: Talosaga vaega ole fa'atinoga ole atina'e ile vaega ole SLA. Latency-sensitive API vala'au muamua galuega fa'ato'a sili ona lelei. A aunoa ma lenei vaega, e mafai e se galuega aoteleina o pepa umi e tasi ona fa'aleagaina le poto masani o tagata fa'aoga mo le faitau selau o vasega fa'atasi.

"E le na'o le fa'aleleia o le fa'aogaina o le fa'aputuga fa'aauau - e toe fa'aleleia ai le fa'ata'ita'iga tau tamaoaiga o le fa'ailoga AI. E ala i le fa'atumauina o GPU o lo'o nofoia i le fa'asologa o le fa'asologa nai lo le fa'atonuina o le fa'asili, e ausia e le au fa'agaioia le 5-10x sili atu le fa'aoga lelei mai meafaigaluega tutusa, o le tasi lea o le lever aupito sili e avanoa e fa'aitiitia ai tau o le tautua ta'itasi i le 2025."

E Fa'afefea ona Fuaina e Fa'alapotopotoga Moni a le Lalolagi le Fa'amanuiaga o Fa'atinoga?

Fa'ailoga fa'ai'uga mai Anyscale, fa'atasi ai ma kopi tuto'atasi i le tele o aiga fa'ata'ita'iga i le 2024, fa'aalia pea le fa'aputuga fa'aauau i le va o le 23× ma le 36× maualuga le gaosiga fa'atusatusa i le fa'aputuga fa'ata'ita'i i lalo o le fa'asologa moni o feoaiga. O tupe maua e sili ona fa'ailoa pe a maualuga le umi ole talosaga - o tulaga tonu lava e fa'ailoa ai le gaosiga o galuega fa'atalanoaga AI lea e fa'atatau ai fesili a tagata fa'aoga e amata mai i upu e tolu-upu e tu'uina atu ai pepa e tele itulau.

Latency o lo'o fa'ailoa mai ai se tala e sili atu ona fa'anu'u. O le taimi-i-muamua-fa'ailoga e fa'aleleia tele ona e le o toe fa'atali le faiga mo se fa'aputuga atoa e fa'apotopoto a'o le'i amataina le fa'atumu. E tumau pea le tumau o le latency inter-token i lalo o le uta feololo ae e fa'aleagaina i lalo o le saturation nai lo le pa'u, aua o lo'o fa'aauau pea le alualu i luma o le fa'asologa i fa'asologa o gaioiga uma e tusa lava pe loloto le laina. Mo pisinisi o lo'o fa'atupuina fa'ailoga AI i taimi moni, o lenei pupuni fa'aleagaina e masani ona sili atu le taua fa'apisinisi nai lo numera pito i luga.

E Fa'afefea ona Fa'aaogā e Pisinisi Fa'avae Fa'a'au'au Fa'aauau I tua atu o Fa'amatalaga AI?

O le malamalama faufale i tua o le fa'aputuga faifaipea - toe fa'afo'i puna'oa i se tulaga sili ona lelei ma toe tu'u vave atu nai lo le fa'atalitali mo se fa'amae'a o se vaega o galuega - o se ta'iala lautele mo so'o se faiga e fa'afoeina ai galuega eseese. O faiga fa'apisinisi e feagai ma le lu'itau lava e tasi: o galuega e matua'i 'ese'ese le umi o lo'o tauva mo le fefa'asoaa'i o le gafatia e fa'agaoioiga i luga ole CRM, fa'aautomatika fa'atau, au'ili'ili paipa, ma fa'agaioiga e-pisinisi.

Mewayz fa'aogaina lenei filosofia i lana 207-module pisinisi OS, fa'agasolo fa'agaoioia galuega fa'atino i luga o se fa'avae tu'ufa'atasi o lo'o fa'aogaina e le 138,000 pisinisi i le lalolagi atoa. Nai lo le fa'amalosia o 'au e fa'atali mo ta'amilosaga o lipoti, fa'asologa fa'asologa, po'o le tu'uina atu o meafaigaluega, e fa'aauau pea ona fa'agasolo e Mewayz mea fa'apisinisi - fafaga fa'auma mae'a i le taimi lava lea e tu'uina atu ai i lalo le auala e fafaga ai e le fa'atonu fa'aputuga faifaipea avanoa GPU fa'asaoloto i le laina talosaga. O le i'uga o le fuaina lea o le fa'aleleia atili o galuega fa'atino pisinisi, ae le na'o fa'ailoga.

Fesili e Fai soo

E tutusa le fa'aputuga faifaipea ma le fa'aputuga malosi i le TensorFlow Serving?

Leai. O le fa'aputuga malosi a TensorFlow Serving e fa'apotopotoina talosaga i vaega e fesuisuia'i le lapopo'a e fa'atatau ile taimi fa'amalama ma le loloto o le laina, ae o lo'o fa'agasolo pea vaega ta'itasi mai le amataga e o'o i le fa'ai'uga. Fa'aauau le fa'aputuga o lo'o fa'agaoioi i le la'asaga o fa'ailoga ta'ito'atasi, e fa'ataga ai le fa'aputuga fa'aputuga e sui uma pasi agai i luma. O le ese'esega fa'apitoa o le mafua'aga lea e maua ai e le fa'aputuga faifaipea le fa'atupuina maualuga maualuga mo galuega fa'atupu fa'a-autoregressive fa'apitoa.

E mana'omia ea le fa'aputuga faifaipea suiga fa'ata'ita'iga?

E le mana'omia se suiga o fausaga fa'a transformer masani. Fa'aauau le fa'aputuina o lo'o fa'atinoina atoa ile vaega ole tautua e ala i suiga ile fa'asologa o fa'asologa, pule manatua, ma le fatu fa'alogo. Peita'i, o nisi fa'ata'ita'iga - ae maise le PagedAttention - e mana'omia ai fatu CUDA fa'apitoa e suitulaga i fa'atinoga masani, ma o le mea lea e le o fa'ato'a fa'ato'a ai fa'aputuga fa'apipi'i fa'aauau le gaosiga e pei o le vLLM ma le TensorRT-LLM mo 'au'aunaga fa'amoemoe lautele.

O a mea fa'apolokalame fa'atapula'a fa'atapula'aina le fa'aauauina o le fa'aputuga lelei?

GPU HBM bandwidth ma le aofa'i atoa o le VRAM o fa'alavelave fa'apitoa. Ole tele ole KV caches e mana'omia ai le tele o manatuaga, fa'atapula'aina le fa'atasiga maualuga. O feso'ota'iga feso'ota'iga maualuga-bandwidth (NVLink, Infiniband) e fa'atauaina mo fa'agaioiga tele-GPU lea e tatau ona tufatufaina atu le KV cache i masini. I si'osi'omaga fa'agata-mafaufau, fa'ata'atitia fa'atauva'a o tau fa'aoga KV (mai le FP16 i le INT8 po'o le INT4) e toe fa'aleleia ai le malosi i le tau o se fa'aletonu la'ititi sa'o e talia mo le tele o talosaga fa'apisinisi.

Pe o lo'o e fausia ni fa'aoga fa'amalosi AI po'o le fa'atulagaina o galuega fa'apisinisi lavelave i lau fa'alapotopotoga atoa, o le fa'avae autu e tutusa lava: fa'ate'a le taimi fa'aletonu, toe fa'aauau le gafatia, ma fa'agasolo atili galuega ma punaoa ua uma ona e maua. Ua fa'atino e Mewayz lena mataupu faavae i luga o le 207 modules tu'ufa'atasia - mai le CRM ma le e-commerce i au'ili'iliga ma le galulue fa'atasi - amata i le $19 i le masina.

Sauni e fa'atino lau pisinisi i le aofa'iga atoa? Amata lau su'ega fua ile app.mewayz.com ma va'ai pe fa'apefea ona fa'agaoioi le 138,000 pisinisi ma Mewayz.