Te Whakakaha i te Atawhai Kohiko ki runga i te TPU me te ako i te ara uaua

Te Whakakaha i te Atawhai Kohiko ki runga i te TPU me te ako i te ara pakeke

Ko te whai i te arotautanga he waiata tangi mo nga miihini. Ehara i te mea ko nga hua piki noa, engari ko te harikoa o te whakapiko taputapu ki to hiahia. Ko taku odyssey tata nei ki te akiaki i te whakatinanatanga Flash Attention hou—i hangaia mo NVIDIA GPUs—ki te Google TPU i whanau mai i tenei tino whakapohehe. He rangatira te whainga: kia tere ake te paipa whakaaro nui. Heoi, ko te haerenga, he tino karaehe i roto i nga pono uaua o te hoahoa punaha modular. He korero e tohu ana he aha te take e awhi ai, e whakahaere ana i te rereketanga o te hangarau, he mea nui mo nga mahi pakihi taumau.

Te Waiata Siren of Peak Performance

Ko Flash Attention he hātepe huringa hurihuri e tere tere ana i nga tauira Transformer ma te arotau i te uru mahara. I runga i nga GPU i hangaia mo, he makutu parakore. Ko ta maatau tono matua, he miihini tukatuka tuhinga, ka whakawhirinaki nui ki enei tauira. I te kite i nga nama tohu, he ahua ngawari te wharite: Flash Attention + to tatou motunga TPU = tere ake te tukatuka me te iti o nga utu. Ka kupa ahau, me te maia ma te nui o te tiihi taumata-iti—te mamau me nga whakatakotoranga kakano, nga waahi mahara, me te whakahiato XLA—ka taea e au te whakauru i tenei titi tapawha ki roto i te kohao porowhita-tukatuka. Ko te tino aro tuatahi ki te raupatu hangarau, kaua ki te paheketanga o te manawa roa o te punaha.

Ko te Rirohanga o nga Matatini Kare e kitea

Ko te "angitu" tuatahi he haurangi. Whai muri i nga wiki, ka whiwhi au i tetahi tauira hei whakahaere. Engari he horihori te wikitoria. He pakarukaru te hack, ka pakaru me nga whakahou whare pukapuka iti. Ko te mea kino rawa atu, i hanga e ia te toia e kore e kitea i runga i te paipa katoa. Ko te ara tohu tohu TPU kua noho hei silo, e akiaki ana i a maatau ki te pupuri i nga tuhinga whakatakotoranga motuhake, nga matau tirotiro, tae atu ki te arorau uta-raraunga. Ko te tikanga he kōwae kua arotauhia ka huri hei pouaka pango pakarukaru. I pa ki a matou nga rahunga mamae:

• Patuiro Reinga: He matapo nga taputapu whakatakotoranga paerewa ki to tatou ake pata, na te mea he moemoea nga mahi whakamuri ki te tirotiro.
• Te Tiima Bottleneck: Ko ahau anake i mohio ki te waehere labyrinthine, ka aukati i te whanaketanga mena kaore au i te waatea.
• Tarewa Whakakotahi: Ko nga whakapainga whakarunga ki te tauira matua kare e taea te kawe ngawari ki to maatau marau TPU frankenstein.
• Te Utu Utu: He reinga mahara ngaro i runga i te TPU, i whanau mai i a maatau whakahaere mahara koretake, i tetahi wa ka 40% te nui o te utu i mua i te hopukina.

Ko te Hinengaro Whakatauira: Te Whakakotahi I runga i te Whakatau-a-te-Hana

Ko te akoranga matua ehara i te korero mo nga TPU me nga algorithm aro. I korero mo te modularity. I takahia e matou tetahi kaupapa matua: ko nga waahanga o te punaha me whakawhiti me te mahi tahi, kaua e paiherea. Na roto i te akiaki i tetahi waahanga ehara i te tangata whenua ki roto i ta maatau puranga, i whakaekea e matou te pumau, te marama, me te ngawari mo te mahi teitei o te whakaaro kaore i tino kitea i roto i te mahi. Koinei te kaupapa o te OS pakihi modular penei i a Mewayz ka tino nui. Ehara a Mewayz mo te kati i a koe ki roto i te puranga kotahi; e pa ana ki te whakarato i te paparanga orchestration e taea ai e koe te whakamahi i te taputapu pai rawa atu mo te mahi—ahakoa he tino arotautanga GPU-motuhake, he tauira TPU-maori ranei—kaore koe e hanga me te pupuri tonu i te kiko hono.

"Ko te arotautanga e whakanui ana i te uauatanga o te punaha he maha nga nama hangarau a muri ake nei e huna ana hei ahunga whakamua. Ko te tino pai ka ahu mai i nga atanga maamaa me nga waahanga whakakapi, ehara i te whakauru maia."

Te Ako me te Pivoting ki te Tere Tonu

I te mutunga ka whakakorehia e matou te whakamatautau Flash Attention. Engari, i huri matou ki tetahi whakatinanatanga aro-a-taketake o te TPU, ahakoa he puhoi ki runga pepa, ka tino pono, ka taea te pupuri. I tino pai ake te whakaputanga o te punaha na tona pumau. Ko te mea nui ake, i timata matou ki te hanga i o maatau ratonga AI hei waahanga motuhake, kua tino tautuhia. Ko tenei nekehanga o te whakaaro—ko te whakarite i nga kirimana ma i waenga i nga waahanga i runga i te mata, te mahi a-rohe—koinei te mea e taea ai e nga pakihi te awhi ma te mohio. I roto i te ao o nga taputapu e tere haere ana, ko te papaaho pera i a Mewayz e whakarato ana i te anga ki te whakauru i nga kaha hou me te kore e hanga ano i te wira, i roto ranei i a maatau, me te kore e ngana ki te whakahou i te tukatuka. Ko te huarahi uaua i ako mai ko te tere toiwhina ehara i te wikitoria i nga whawhai moroiti katoa, engari ko te whakarite kia taea e to ope ope katoa te hikoi kotahi.