Tilasta Hankalin Filasha akan TPU da Koyan Hard Way

Tilasta Hankalin Filasha akan TPU da Koyan Hard Way

Neman ingantawa wata waƙa ce ga injiniyoyi. Yana yin alƙawarin ba kawai ƙarin riba ba, amma jin daɗin lanƙwasa kayan aiki zuwa ga nufin ku. Odyssey na na baya-bayan nan don tilasta aiwatar da aikin Hannun Flash na zamani-wanda aka ƙera don NVIDIA GPUs-a kan Google TPU an haife shi daga wannan ɗanɗano. Manufar ta kasance mai daraja: haɓaka bututu mai mahimmanci. Tafiyar, duk da haka, babban darasi ne a cikin ƙwaƙƙwaran gaskiya na ƙirar tsarin zamani. Labari ne da ke nuna dalilin da yasa dandamali kamar Mewayz, waɗanda ke runguma da sarrafa nau'ikan fasaha, suna da mahimmanci don ci gaba da ayyukan kasuwanci.

Waƙar Siren na Ƙwararriyar Ƙwararru

Harkokin Flash shine algorithm na juyin juya hali wanda ke saurin haɓaka samfuran Transformer ta haɓaka damar ƙwaƙwalwar ajiya. A kan GPUs an tsara shi don, sihiri ne tsantsa. Babban aikace-aikacen mu, injin sarrafa daftarin aiki, ya dogara sosai akan waɗannan samfuran. Ganin lambobin maƙasudin, lissafin ya yi kama da sauƙi: Hankalin Filashi + ƙimar mu ta TPU = sarrafa sauri da ƙananan farashi. Na yi kurciya, ina da kwarin gwiwa cewa tare da isassun tinkering-ƙananan kokawa tare da shimfidar kernel, wuraren ƙwaƙwalwar ajiya, da mai tarawa XLA—Zan iya sanya wannan peg ɗin murabba'in ya dace da rami mai siffa mai siffar tensor. Farkon abin da aka fi mayar da hankali a kai shi ne kawai kan cin nasara na fasaha, ba akan bugun zuciya na dogon lokaci na tsarin ba.

Gabatar Rukunin Gaibu

Nasarar farko ta kasance mai maye. Bayan makonni, na sami samfurin da zan gudu. Amma nasarar ta kasance a sarari. Hack ɗin ya kasance mai rauni, ya karye tare da kowane ƙarami sabunta ɗakin karatu. Mafi muni, ya haifar da ja da baya ganuwa akan dukkan bututun. Hanyar lambar TPU da aka ba da izini ta zama silo, tana tilasta mana mu kula da rubutun turawa daban, ƙugiya masu saka idanu, har ma da dabaru na loda bayanai. Abin da ake nufi ya zama ingantaccen module ya zama akwatin baƙar fata. Mun fuskanci kasawa mai raɗaɗi:

• Debugging Jahannama: Daidaitaccen kayan aikin bayanan sun makance ga kwayayen mu na al'ada, suna mai da koma bayan aikin ya zama mafarki mai ban tsoro don ganowa.
• Kungiyar Bottleneck: Ni kaɗai na fahimci lambar labyrinthine, dakatar da ci gaba idan babu ni.
• Bashin Haɗin Kai: Abubuwan haɓakawa na sama zuwa babban ƙirar ba za a iya aikawa cikin sauƙi zuwa cokali mai yatsu na frankenstein TPU ba.
• Kudirin Kuɗi: Wani ɓoyayyen ƙwaƙwalwar ajiya a kan TPU, wanda aka haife shi daga sarrafa ƙwaƙwalwar ajiyar mu marar al'ada, sau ɗaya ya haifar da tsadar 40% kafin mu kama shi.

Tsarin Tunani: Haɗuwa Kan Ƙarfin Ƙarfi

"Ƙara haɓakawa wanda ke haɓaka rikitaccen tsarin yawanci shine kawai bashin fasaha na gaba wanda aka canza a matsayin ci gaba. Haƙiƙa na gaskiya yana fitowa daga wurare masu tsabta da sassa masu maye gurbin, ba haɗin kai na lokaci-lokaci ba."

Koyo da Pivoting zuwa Dorewa Gudun

A ƙarshe mun ajiye gwajin da aka tilastawa Flash Attention. Madadin haka, mun ƙaddamar da aiwatar da kulawar ɗan ƙasa na TPU wanda, yayin da a ka'idar a hankali a hankali akan takarda, ya tabbatar da ingantaccen abin dogaro da kiyayewa. Gabaɗaya kayan aikin tsarin a zahiri ya inganta saboda kwanciyar hankali. Mafi mahimmanci, mun fara keɓance ayyukan AI ɗinmu a matsayin madaidaitan ƙayyadaddun ƙayyadaddun kayayyaki. Wannan canjin tunani-ba da fifikon kwangiloli masu tsafta tsakanin abubuwan da aka gyara akan danyen aiki, wanda aka keɓance-shine ainihin abin da ke ba kasuwancin damar haɓaka cikin hankali. A cikin duniyar kayan aikin da ke haɓaka cikin sauri, dandamali kamar Mewayz yana ba da tsarin toshe sabbin abubuwa ba tare da sake gina dabaran ba, ko kuma a cikin yanayinmu, ba tare da ƙoƙarin sake ƙirƙira na'urar ba. Hanya mai wahala ta koya mana cewa saurin ɗorewa ba wai don cin nasara a kowane ƙaramin yaƙi ba ne, amma game da tabbatar da cewa sojojin ku duka za su iya tafiya tare.

Tambayoyin da ake yawan yi

Tilasta Hankalin Filasha akan TPU da Koyan Hard Way

Neman ingantawa wata waƙa ce ga injiniyoyi. Yana yin alƙawarin ba kawai ƙarin riba ba, amma jin daɗin lanƙwasa kayan aiki zuwa ga nufin ku. Odyssey na na baya-bayan nan don tilasta aiwatar da aikin Hannun Flash na zamani-wanda aka ƙera don NVIDIA GPUs-a kan Google TPU an haife shi daga wannan ɗanɗano. Manufar ta kasance mai daraja: haɓaka bututu mai mahimmanci. Tafiyar, duk da haka, babban darasi ne a cikin ƙwaƙƙwaran gaskiya na ƙirar tsarin zamani. Labari ne da ke nuna dalilin da yasa dandamali kamar Mewayz, waɗanda ke runguma da sarrafa nau'ikan fasaha, suna da mahimmanci don ci gaba da ayyukan kasuwanci.

Waƙar Siren na Ƙwararriyar Ƙwararru

Harkokin Flash shine algorithm na juyin juya hali wanda ke saurin haɓaka samfuran Transformer ta haɓaka damar ƙwaƙwalwar ajiya. A kan GPUs an tsara shi don, sihiri ne tsantsa. Babban aikace-aikacen mu, injin sarrafa daftarin aiki, ya dogara sosai akan waɗannan samfuran. Ganin lambobin maƙasudin, lissafin ya yi kama da sauƙi: Hankalin Filashi + ƙimar mu ta TPU = sarrafa sauri da ƙananan farashi. Na yi kurciya, ina da kwarin gwiwa cewa tare da isassun tinkering-ƙananan kokawa tare da shimfidar kernel, wuraren ƙwaƙwalwar ajiya, da mai tarawa XLA—Zan iya sanya wannan peg ɗin murabba'in ya dace da rami mai siffa mai siffar tensor. Farkon abin da aka fi mayar da hankali a kai shi ne kawai kan cin nasara na fasaha, ba akan bugun zuciya na dogon lokaci na tsarin ba.

Gabatar Rukunin Gaibu

Nasarar farko ta kasance mai maye. Bayan makonni, na sami samfurin da zan gudu. Amma nasarar ta kasance a sarari. Hack ɗin ya kasance mai rauni, ya karye tare da kowane ƙarami sabunta ɗakin karatu. Mafi muni, ya haifar da ja da baya ganuwa akan dukkan bututun. Hanyar lambar TPU da aka ba da izini ta zama silo, tana tilasta mana mu kula da rubutun turawa daban, ƙugiya masu saka idanu, har ma da dabaru na loda bayanai. Abin da ake nufi ya zama ingantaccen module ya zama akwatin baƙar fata. Mun fuskanci kasawa mai raɗaɗi:

Tsarin Tunani: Haɗuwa Kan Ƙarfin Ƙarfi

Koyo da Pivoting zuwa Gudun Dorewa

A ƙarshe mun ajiye gwajin da aka tilastawa Flash Attention. Madadin haka, mun ƙaddamar da aiwatar da kulawar ɗan ƙasa na TPU wanda, yayin da a ka'idar a hankali a hankali akan takarda, ya tabbatar da ingantaccen abin dogaro da kiyayewa. Gabaɗaya kayan aikin tsarin a zahiri ya inganta saboda kwanciyar hankali. Mafi mahimmanci, mun fara keɓance ayyukan AI ɗinmu a matsayin madaidaitan ƙayyadaddun ƙayyadaddun kayayyaki. Wannan canjin tunani-ba da fifikon kwangiloli masu tsafta tsakanin abubuwan da aka gyara akan danyen aiki, wanda aka keɓance-shine ainihin abin da ke ba kasuwancin damar haɓaka cikin hankali. A cikin duniyar kayan aikin da ke haɓaka cikin sauri, dandamali kamar Mewayz yana ba da tsarin toshe sabbin abubuwa ba tare da sake gina dabaran ba, ko kuma a cikin yanayinmu, ba tare da ƙoƙarin sake ƙirƙira na'urar ba. Hanya mai wahala ta koya mana cewa saurin ɗorewa ba wai don cin nasara a kowane ƙaramin yaƙi ba ne, amma game da tabbatar da cewa sojojin ku duka za su iya tafiya tare.