Ku sindzisa Nyingiso wa Flash eka TPU na ku Dyondza Hi Ndlela yo Tika
Ku hlongorisa ku antswisiwa i risimu ra sayirini eka vanjhiniyara. A yi tshembisi ntsena ku vuyeriwa loku engetelekaka, kambe ku nyanyuka ka ku gombonyokisa tihardware hi ku ya hi ku navela ka wena. Odyssey ya mina ya sweswinyana yo sindzisa ku tirhisiwa ka Flash Attention ya xiyimo xa le henhla—leyi endleriweke ti-GPU ta NVIDIA—eka TPU ya Google yi velekiwile hi ku koka rinoko loku. Xikongomelo a xi ri xa xiyimo xa le henhla: ku hatlisisa phayiphi ya xiringanyeto xa nkoka. Hambiswiritano, riendzo leri a ri ri ra vutshila eka mintiyiso yo tika ya pulani ya fambiselo ra modula. I ntsheketo lowu kandziyisaka leswaku hikokwalaho ka yini tipulatifomo to fana na Mewayz, leti amukelaka na ku lawula ku hambana ka thekinoloji, ti ri ta nkoka eka matirhelo ya bindzu lama nga ta tshama nkarhi wo leha.
Risimu ra Siren ra Matirhelo ya le Henhla
Flash Attention i algorithm ya nhluvukiso leyi hatlisisaka swinene timodeli ta Transformer hi ku antswisa mfikelelo wa memori. Eka ti GPU leti yi endleriweke tona, i masalamusi yo basa. Xitirhisiwa xa hina xa nkoka, njhini yo lulamisa matsalwa, yi titshege ngopfu hi timodeli leti. Loko hi vona tinomboro ta benchmark, xiringaniso a xi vonaka xi olova: Flash Attention + quota ya hina ya TPU = ku hatlisa ku lulamisiwa na ku durha ka le hansi. Ndzi nghene hi mati, ndzi tiyiseka leswaku hi ku tinkering loku eneleke ka xiyimo xa le hansi—ku lwisana na maendlelo ya kernel, tindhawu ta memori, na muhlengeleti wa XLA—ndzi nga endla leswaku xipikiri lexi xa xikwere xi nghena eka xirhendzevutani, xa xivumbeko xa tensor-processing. Ku kongomisiwa ko sungula a ku ri ntsena eka ku hlula ka xithekiniki, ku nga ri eka ku ba ka mbilu ka nkarhi wo leha ka sisiteme.
Xihlovo xa Swilo leswi rharhanganeke leswi nga voniwiki
"Ku humelela" ko sungula a ku dakwa. Endzhaku ka mavhiki, ndzi kume model yo tsutsuma. Kambe ku hlula a ku ri loku nga riki na nchumu. Hack a yi tsanile, yi tshoveka hi ku pfuxetiwa kun’wana ni kun’wana lokutsongo ka layiburari. Lexi biheke ngopfu, yi endle ku koka loku nga vonakiki eka phayiphi hinkwayo. Ndlela ya khodi ya TPU leyi endliweke hi ku landza swilaveko swa wena yi hundzuke silo, yi hi sindzisa ku hlayisa swikripti swo hambana swa ku tirhisiwa, ku veka tihlo eka swikhomo, hambi ku ri logic yo layicha data. Leswi a swi endleriwe ku va modula leyi antswisiweke swi hundzuke bokisi ra ntima leri nga ni brittle. Hi vile na ku tsandzeka loku vavaka:
Ku lulamisa swihoxo Tihele: Switirhisiwa swa ntolovelo swa vufambisi a swi nga voni eka kernel ya hina ya ntolovelo, leswi endlaka leswaku ku tlhelela endzhaku ka matirhelo ku va norho wo biha ku kambela.
Xipano xa Bottleneck: I mina ntsena ndzi twisisile khodi ya labyrinthine, ndzi yimisa nhluvukiso loko ndzi nga kumeki.
Xikweleti xa Nhlanganiso: Ku antswisiwa ka le henhla eka modele lowukulu a swi nga ta yisiwa hi ku olova eka foroko ya hina ya frankenstein TPU.
Ku tlakuka ka ntsengo: Ku vupfa ka memori loku nga twisisekiki eka TPU, loku velekiweke ku suka eka vulawuri bya hina bya memori lebyi nga tolovelekangiki, ku tshame ku yisa eka ku tlula ka ntsengo hi 40% hi nga si yi khoma.
Miehleketo ya Modyuli: Ku Hlanganisiwa Ehenhla ka Ku Fana ka Matimba
Dyondzo ya nkoka a yi nga ri hi ti-TPU kumbe tialgorithm ta nyingiso. A ku ri mayelana na modularity. A hi tlule nsinya wa nawu wa xisekelo: swiphemu swa fambiselo swi fanele swi cincana naswona swi tirhisana, ku nga ri ku welderiwa swin’we. Hi ku sindzisa xiphemu lexi nga riki xa ntumbuluko eka xithaki xa hina, hi nyikerile hi ku tshamiseka, ku va erivaleni, na ku hatlisa eka matirhelo ya nhlohlorhi ya xiringanyeto leyi a yi nga tali ku humelela eka vuhumelerisi. Laha hi laha filosofi ya OS ya bindzu ra modular yo fana na Mewayz yi vaka ya nkoka swinene. Mewayz a hi ku ku pfalela eka xirhundzu xin’we; i ku nyika leyara ya orchestration leyi ku pfumelelaka ku tirhisa xitirhisiwa lexinene xa ntirho—ku nga va ku antswisiwa loku kongomeke ka GPU kumbe modele wa TPU-native—handle ko boheka ku aka no hlayisa tinyama to hlanganisa hi wexe.
"Ku antswisiwa loku engetelaka ku rharhangana ka sisiteme hakanyingi i ntsena xikweleti xa xithekiniki xa nkarhi lowu taka lexi fihliweke tanihi nhluvuko. Ku tirha kahle ka ntiyiso ku huma eka swihlanganisi leswi tengeke na swiphemu leswi cinciwaka, ku nga ri ku hlanganisiwa ka vunhenha ka kan'we."
Ku Dyondza na ku Pivota eka Rivilo leri nga heriki
Hi hetelele hi shelve xikambelo xa Flash Attention lexi sindzisiweke. Ematshan’wini ya sweswo, hi pivoted eka ku tirhisiwa ka nyingiso wa TPU-native lowu, hambi leswi hi tlhelo ra thiyori wu nga nonoka ephepheni, wu tikombiseke wu tshembheka swinene naswona wu hlayisiwa. Ku hundza ka sisiteme hinkwayo entiyisweni ku antswisiwile hikwalaho ka ku tshamiseka ka yona. Xa nkoka swinene, hi sungurile ku aka vukorhokeri bya hina bya AI tanihi mimojula leyi hambaneke, leyi hlamuseriweke kahle. Ku cinca loku ka miehleketo—ku rhangisa tikontraka leti tengeke exikarhi ka swiphemu ku tlula matirhelo lama nga si swekiwaka, ya ndhawu—hi swona leswi pfumelelaka mabindzu ku ringanisa hi vutlhari. Emisaveni ya hardware leyi cincaka hi xihatla, pulatifomo yo fana na Mewayz yi nyika rimba ro nghenisa vuswikoti lebyintshwa handle ko pfuxeta vhilwa, kumbe eka hina, handle ko ringeta ku tlhela hi tumbuluxa phurosesa. Ndlela yo tika yi hi dyondzisile leswaku rivilo leri nga heriki a hi ku hlula eka nyimpi yin’wana na yin’wana ya micro, kambe i ku tiyisisa leswaku vuthu ra wena hinkwaro ri nga macha hi vun’we.
Ku sindzisa Nyingiso wa Flash eka TPU na ku Dyondza Hi Ndlela yo Tika
Ku hlongorisa ku antswisiwa i risimu ra sayirini eka vanjhiniyara. A yi tshembisi ntsena ku vuyeriwa loku engetelekaka, kambe ku nyanyuka ka ku gombonyokisa tihardware hi ku ya hi ku navela ka wena. Odyssey ya mina ya sweswinyana yo sindzisa ku tirhisiwa ka Flash Attention ya xiyimo xa le henhla—leyi endleriweke ti-GPU ta NVIDIA—eka TPU ya Google yi velekiwile hi ku koka rinoko loku. Xikongomelo a xi ri xa xiyimo xa le henhla: ku hatlisisa phayiphi ya xiringanyeto xa nkoka. Hambiswiritano, riendzo leri a ri ri ra vutshila eka mintiyiso yo tika ya pulani ya fambiselo ra modula. I ntsheketo lowu kandziyisaka leswaku hikokwalaho ka yini tipulatifomo to fana na Mewayz, leti amukelaka na ku lawula ku hambana ka thekinoloji, ti ri ta nkoka eka matirhelo ya bindzu lama nga ta tshama nkarhi wo leha.
Risimu ra Siren ra Matirhelo ya le Henhla
Flash Attention i algorithm ya nhluvukiso leyi hatlisisaka swinene timodeli ta Transformer hi ku antswisa mfikelelo wa memori. Eka ti GPU leti yi endleriweke tona, i masalamusi yo basa. Xitirhisiwa xa hina xa nkoka, njhini yo lulamisa matsalwa, yi titshege ngopfu hi timodeli leti. Loko hi vona tinomboro ta benchmark, xiringaniso a xi vonaka xi olova: Flash Attention + quota ya hina ya TPU = ku hatlisa ku lulamisiwa na ku durha ka le hansi. Ndzi nghene hi mati, ndzi tiyiseka leswaku hi ku tinkering loku eneleke ka xiyimo xa le hansi—ku lwisana na maendlelo ya kernel, tindhawu ta memori, na muhlengeleti wa XLA—ndzi nga endla leswaku xipikiri lexi xa xikwere xi nghena eka xirhendzevutani, xa xivumbeko xa tensor-processing. Ku kongomisiwa ko sungula a ku ri ntsena eka ku hlula ka xithekiniki, ku nga ri eka ku ba ka mbilu ka nkarhi wo leha ka sisiteme.
Xihlovo xa Swilo leswi rharhanganeke leswi nga voniwiki
"Ku humelela" ko sungula a ku dakwa. Endzhaku ka mavhiki, ndzi kume model yo tsutsuma. Kambe ku hlula a ku ri loku nga riki na nchumu. Hack a yi tsanile, yi tshoveka hi ku pfuxetiwa kun’wana ni kun’wana lokutsongo ka layiburari. Lexi biheke ngopfu, yi endle ku koka loku nga vonakiki eka phayiphi hinkwayo. Ndlela ya khodi ya TPU leyi endliweke hi ku landza swilaveko swa wena yi hundzuke silo, yi hi sindzisa ku hlayisa swikripti swo hambana swa ku tirhisiwa, ku veka tihlo eka swikhomo, hambi ku ri logic yo layicha data. Leswi a swi endleriwe ku va modula leyi antswisiweke swi hundzuke bokisi ra ntima leri nga ni brittle. Hi vile na ku tsandzeka loku vavaka:
Miehleketo ya Modyuli: Ku Hlanganisiwa Ehenhla ka Ku Fana ka Matimba
Dyondzo ya nkoka a yi nga ri hi ti-TPU kumbe tialgorithm ta nyingiso. A ku ri mayelana na modularity. A hi tlule nsinya wa nawu wa xisekelo: swiphemu swa fambiselo swi fanele swi cincana naswona swi tirhisana, ku nga ri ku welderiwa swin’we. Hi ku sindzisa xiphemu lexi nga riki xa ntumbuluko eka xithaki xa hina, hi nyikerile hi ku tshamiseka, ku va erivaleni, na ku hatlisa eka matirhelo ya nhlohlorhi ya xiringanyeto leyi a yi nga tali ku humelela eka vuhumelerisi. Laha hi laha filosofi ya OS ya bindzu ra modular yo fana na Mewayz yi vaka ya nkoka swinene. Mewayz a hi ku ku pfalela eka xirhundzu xin’we; i ku nyika leyara ya orchestration leyi ku pfumelelaka ku tirhisa xitirhisiwa lexinene xa ntirho—ku nga va ku antswisiwa loku kongomeke ka GPU kumbe modele wa TPU-native—handle ko boheka ku aka no hlayisa tinyama to hlanganisa hi wexe.
Ku Dyondza na ku Pivota eka Rivilo leri nga heriki
Hi hetelele hi shelve xikambelo xa Flash Attention lexi sindzisiweke. Ematshan’wini ya sweswo, hi pivoted eka ku tirhisiwa ka nyingiso wa TPU-native lowu, hambi leswi hi tlhelo ra thiyori wu nga nonoka ephepheni, wu tikombiseke wu tshembheka swinene naswona wu hlayisiwa. Ku hundza ka sisiteme hinkwayo entiyisweni ku antswisiwile hikwalaho ka ku tshamiseka ka yona. Xa nkoka swinene, hi sungurile ku aka vukorhokeri bya hina bya AI tanihi mimojula leyi hambaneke, leyi hlamuseriweke kahle. Ku cinca loku ka miehleketo—ku rhangisa tikontraka leti tengeke exikarhi ka swiphemu ku tlula matirhelo lama nga si swekiwaka, ya ndhawu—hi swona leswi pfumelelaka mabindzu ku ringanisa hi vutlhari. Emisaveni ya hardware leyi cincaka hi xihatla, pulatifomo yo fana na Mewayz yi nyika rimba ro nghenisa vuswikoti lebyintshwa handle ko pfuxeta vhilwa, kumbe eka hina, handle ko ringeta ku tlhela hi tumbuluxa phurosesa. Ndlela yo tika yi hi dyondzisile leswaku rivilo leri nga heriki a hi ku hlula eka nyimpi yin’wana na yin’wana ya micro, kambe i ku tiyisisa leswaku vuthu ra wena hinkwaro ri nga macha hi vun’we.
Switirhisiwa swa Wena Hinkwaswo swa Mabindzu eka Ndhawu yin’we
Tshika ku juggle ti-app to tala. Mewayz yi hlanganisa switirhisiwa swa 208 hi $49/n’hweti ntsena — ku suka eka nhundzu ku ya eka HR, ku bukuta ku ya eka vuxopaxopi. Ku hava khadi ra xikweleti leri lavekaka ku sungula.