A’ toirt aire do Flash air TPU agus ag ionnsachadh an t-slighe chruaidh

A’ toirt aire do Flash air TPU agus ag ionnsachadh an t-slighe chruaidh

’S e òran dùdach dha innleadairean a th’ ann an tòir optimization. Tha e a’ gealltainn chan e a-mhàin buannachdan mean air mhean, ach an tlachd bho bhith a’ lùbadh bathar-cruaidh ri do thoil. Rugadh an odyssey agam o chionn ghoirid a thaobh a bhith a’ toirt a-steach buileachadh ùr-nodha Flash Attention - air a dhealbhadh airson NVIDIA GPUs - air TPU Google bhon fhìor tharraing seo. Bha an amas uasal: luathaich loidhne-phìoban co-dhùnaidh èiginneach. Bha an turas, ge-tà, na shàr-chlas ann am fìrinnean cruaidh dealbhadh siostam modular. Is e sgeulachd a th’ ann a tha a’ daingneachadh carson a tha àrd-ùrlaran mar Mewayz, a tha a’ gabhail ri agus a’ riaghladh ioma-ghnèitheachd teicneòlach, deatamach airson gnìomhachd gnìomhachais seasmhach.

Òran Siren na h-Àrd-Choileanaidh

Is e algairim rèabhlaideach a th’ ann am Flash Attention a luathaicheas gu mòr modalan Transformer le bhith a’ dèanamh an fheum as fheàrr de ruigsinneachd cuimhne. Air na GPUs a chaidh a dhealbhadh airson, is e fìor dhraoidheachd a th’ ann. Tha ar prìomh thagradh, einnsean giullachd sgrìobhainnean, gu mòr an urra ris na modalan sin. A’ faicinn nan àireamhan slat-tomhais, bha coltas sìmplidh air a’ cho-aontar: aire Flash + ar cuota TPU = giollachd nas luaithe agus cosgaisean nas ìsle. Bidh mi a’ dol a-steach, le misneachd, le gu leòr tinkering aig ìre ìosal - a’ carachd le dealbhadh kernel, àiteachan cuimhne, agus an compiler XLA - b’ urrainn dhomh am peg ceàrnagach seo a thoirt a-steach do tholl cruinn ann an cumadh tensor. Bha am fòcas tùsail dìreach air a’ cheannsachadh theicnigeach, chan ann air buille cridhe fad-ùine an t-siostaim.

Cascade de iom-fhillteachd nach fhacas

Bha a’ chiad “soirbheachas” deoch làidir. Às deidh seachdainean, fhuair mi modal airson a ruith. Ach bha a’ bhuaidh lag. Bha an hack cugallach, a’ briseadh leis a h-uile ùrachadh beag den leabharlann. Nas miosa, chruthaich e slaodadh do-fhaicsinneach air an loidhne-phìoban gu lèir. Thàinig an t-slighe còd TPU sònraichte gu bhith na silo, a’ toirt oirnn sgriobtaichean cleachdaidh fa leth a chumail, dubhan sgrùdaidh, agus eadhon loidsig luchdachadh dàta. Thàinig an rud a bhathas an dùil a bhith na mhodal làn-leasaichte gu bhith na bhogsa dubh brisg. Fhuair sinn fàilligidhean goirt:

• Debugging Ifrinn: Bha innealan pròifil àbhaisteach dall don kernel àbhaisteach againn, a’ fàgail ais-thionndaidhean dèanadais na trom-laighe airson a dhearbhadh.
• Bottleneck Sgioba: Cha do thuig mi ach an còd labyrinthine, a’ cur stad air leasachadh mura robh mi ri fhaighinn.
• Fiachan Amalachaidh: Cha b' urrainn dhuinn leasachaidhean shuas an abhainn air a' phrìomh mhodail a ghluasad gu forc Frankenstein TPU againn gu furasta.
• Spìcean cosgais: Mar thoradh air aodion cuimhne dìomhair air an TPU, a rugadh bhon stiùireadh cuimhne neo-chumhachdach againn, thàinig sinn thairis air cosgais 40% mus do ghlac sinn e.

An Inntinn Modular: Amalachadh thairis air uidheamachadh feachd

Cha b’ ann mu dheidhinn TPUn no algoirmean aire a bha am prìomh leasan. Bha e mu dheidhinn modularity. Bha sinn air prionnsapal bunaiteach a bhriseadh: bu chòir co-phàirtean siostam a bhith so-ghluasadach agus eadar-obrachail, gun a bhith air an tàthadh ri chèile. Le bhith a’ sparradh pàirt neo-dhùthchasach a-steach don chruaich againn, dh’ ìobr sinn seasmhachd, soilleireachd agus sùbailteachd airson àrd-choileanadh beachd-bharail nach deach a thoirt gu buil ach ainneamh ann an cinneasachadh. Seo far a bheil feallsanachd gnìomhachas modular OS mar Mewayz a’ fàs deatamach. Chan eil Mewayz mu dheidhinn do ghlasadh ann an aon stac; tha e mu dheidhinn a bhith a’ toirt seachad an ìre orcastra a leigeas leat an inneal as fheàrr a chleachdadh airson na h-obrach - biodh e na optimization sònraichte GPU no na mhodal dùthchasach TPU - gun a bhith agad an inneal ceangail a thogail agus a chumail suas thu fhèin.

"Gu tric chan eil ann an àrdachadh iom-fhillteachd siostamach ach fiachan teicnigeach san àm ri teachd air am falach mar adhartas. Tha fìor èifeachd a' tighinn bho eadar-aghaidh ghlan agus pàirtean a ghabhas an cur nan àite, chan e aonachadh gaisgeil."

Ionnsachadh agus Pivoting gu astar seasmhach

Chuir sinn stad air an deuchainn Flash Attention co-èignichte aig a’ cheann thall. An àite sin, thionndaidh sinn gu gnìomhachadh aire TPU-dùthchasach a bha, ged a bha e nas slaodaiche gu teòiridheach air pàipear, fada nas earbsaiche agus nas seasmhaiche. Thàinig piseach air an t-siostam iomlan air sgàth cho seasmhach sa bha e. Nas cudromaiche, thòisich sinn ag ailtireachd ar seirbheisean AI mar mhodalan air leth, air an deagh mhìneachadh. Is e an gluasad smaoineachaidh seo - a’ toirt prìomhachas do chùmhnantan glan eadar phàirtean thairis air coileanadh amh, ionadail - dìreach a leigeas le gnìomhachasan sgèile gu tuigseach. Ann an saoghal de bhathar-cruaidh a tha ag atharrachadh gu luath, tha àrd-ùrlar mar Mewayz a’ toirt seachad frèam gus comasan ùra a chuir a-steach gun a bhith ag ath-thogail a’ chuibhle, no anns a’ chùis againn, gun a bhith a’ feuchainn ris a’ phròiseasar ath-thòiseachadh. Dh’ ionnsaich an dòigh chruaidh dhuinn nach ann mu dheidhinn a bhith a’ buannachadh a h-uile meanbh-bhlàr a tha astar seasmhach, ach mu dheidhinn dèanamh cinnteach gun urrainn don arm agad gu lèir caismeachd còmhla.