Rodyti HN: modelio mokymo atminties simuliatorius – kodėl GPU atminties planavimas yra svarbesnis nei bet kada

GPU atminties poreikių įvertinimas prieš pradedant modelio mokymo paleidimą yra vienas iš labiausiai nepastebėtų, tačiau brangių mašininio mokymosi darbo eigos kliūčių. Naujas atvirojo kodo Modelio mokymo atminties simuliatorius, neseniai pristatytas „Hacker News“, sprendžia šią problemą tiesiogiai, leisdamas inžinieriams numatyti VRAM naudojimą, nustatyti atminties kliūtis ir optimizuoti treniruočių konfigūracijas – visa tai prieš vienam tenzoriui pasiekiant GPU.

Kas yra modelio treniruočių atminties simuliatorius ir kodėl jums tai turėtų rūpėti?

Modelio mokymo atminties simuliatorius yra įrankis, apskaičiuojantis numatomą GPU atminties pėdsaką atliekant gilaus mokymosi treniruotes, remiantis modelio architektūra, paketo dydžiu, tikslumo formatu, optimizatoriaus pasirinkimu ir lygiagretumo strategija. Užuot sukūrę brangių debesies egzempliorių, kad vos per kelias minutes aptiktų klaidą CUDA baigiasi, inžinieriai gali iš anksto imituoti visą atminties profilį.

Projekte „Show HN“ šiai problemai spręsti taikomas atvirojo kodo metodas, nes tai yra skaidri, bendruomenės skatinama alternatyva patentuotiems profiliavimo įrankiams. Jame atsižvelgiama į parametrus, gradientus, optimizavimo būsenas, aktyvacijas ir sistemos pridėtines išlaidas – penkis pagrindinius GPU atminties suvartojimo treniruočių metu veiksnius. Komandoms, dirbančioms NVIDIA A100s, H100s ar net vartotojų klasės RTX kortelėmis, toks išankstinis planavimas gali sutaupyti tūkstančius dolerių veltui skaičiuojant ir valandų derinimo metu.

Kaip išeikvojama GPU atmintis modelio mokymo metu?

Kiekvienam ML inžinieriui labai svarbu suprasti, kur eina atmintis treniruotės metu. Modeliuoklis suskirsto suvartojimą į skirtingas, nuspėjamas kategorijas:

• Modelio parametrai: neapdoroti neuroninio tinklo svoriai. 7B parametrų modelis FP32 sunaudoja maždaug 28 GB vien dėl svorio, o FP16 arba BF16 nukrenta iki 14 GB.
• Gradientai: gradientai, saugomi platinant atgal, paprastai atspindi pačių parametrų atmintį.
• Optimizatoriaus būsenos: „Adam“ ir „AdamW“ kiekvienam parametrui išlaiko du papildomus būsenos įtempiklius (pirmą ir antrą momentą), o naudojant FP32 optimizavimo būsenas, parametrų atmintis efektyviai padidinama tris kartus.
• Suaktyvinimai: tarpiniai išėjimai išsaugoti atgaliniam leidimui. Jie keičiasi pagal partijos dydį ir sekos ilgį, todėl yra labiausiai kintami ir dažnai didžiausi atminties vartotojai.
• Pagrindų sąnaudos: CUDA kontekstas, atminties susiskaidymas, komunikacijos buferiai paskirstytiems mokymams ir laikini paskirstymai, kuriuos sunku numatyti be modeliavimo.

Pagrindinė įžvalga: atliekant daugumą didelių kalbos modelių mokymo paleidimų, optimizavimo būsenos ir aktyvinimai, o ne patys modelio svoriai, yra dominuojantys atminties vartotojai. Atminties modeliuoklis atskleidžia šį gedimą prieš jums įsipareigodamas naudoti brangią aparatinę įrangą, spėliones paverčiant inžinerija.

Kuo šis atvirojo kodo modeliuoklis išsiskiria iš esamų įrankių?

Hacker News bendruomenė sureagavo į šį projektą, nes jame sprendžiamos tikros problemos, dėl kurių esami sprendimai lieka neišspręsti. Dauguma debesų paslaugų teikėjų siūlo pagrindinius GPU atminties skaičiuotuvus, tačiau jie retai atsižvelgia į mišrias tikslumo mokymo strategijas, gradiento kontrolinį tašką, tenzorinį lygiagretumą arba nulio etapo optimizavimą iš tokių sistemų kaip „DeepSpeed“ ir FSDP.

Šis modeliuoklis aiškiai modeliuoja tas išplėstines konfigūracijas. Inžinieriai gali įvesti savo konkrečią sąranką – tarkime, 13B modelį su ZeRO Stage 3, įjungtu gradiento tikrinimo tašku, BF16 mišriu tikslumu ir 4 mikropaketų dydį 8 GPU – ir gauti išsamų kiekvieno įrenginio atminties suskirstymą. Toks konkretumo lygis atskiria naudingą planavimo įrankį nuo voko nugarėlės įvertinimo.

Atvirojo kodo pobūdis taip pat reiškia, kad bendruomenė gali jį išplėsti. Tinkintos architektūros, naujos optimizavimo priemonės ir atsirandantys aparatinės įrangos profiliai gali būti grąžinti, todėl įrankis išlieka aktualus, nes ML kraštovaizdis vystosi nepaprastai greitai.

Kaip verslo komandos gali gauti naudos iš pažangesnio infrastruktūros planavimo?

Nors simuliatorius sukurtas ML inžinieriams, jo pasekmės apima bet kurią organizaciją, investuojančią į AI galimybes. Per didelis GPU egzempliorių aprūpinimas dėl neapibrėžtų atminties reikalavimų padidina debesų sąskaitas. Dėl nepakankamo aprūpinimo gali nepavykti treniruočių, švaistomos inžinerijos valandos ir atidėtas modelio diegimas.

Augančios įmonės, valdančios kelias darbo eigas – nuo projektų valdymo iki finansinio planavimo iki klientų analizės – principas yra identiškas: imituokite prieš skirdami išteklius. Nesvarbu, ar ruošiate GPU grupes, ar pasirenkate, kuriuos verslo modulius suaktyvinti savo komandai, aiškus išteklių poreikių vaizdas prieš mastelį apsaugo nuo švaistymo ir pagreitina rezultatus.

Tai yra ta pati filosofija, grindžiama tokiomis platformomis kaip Mewayz, kuri siūlo 207 integruotus verslo modulius, kad komandos galėtų planuoti, imituoti ir išplėsti savo darbo eigą, pernelyg neįsipareigodamos naudoti fragmentiškų įrankių. Idėja modeliuoti išteklių poreikius prieš diegiant taikoma tiek verslo operacijoms, tiek modelių mokymams.

Dažniausiai užduodami klausimai

Ar atminties simuliatorius gali visiškai užkirsti kelią atminties trūkumo klaidoms treniruotės metu?

Modeliatorius žymiai sumažina riziką, nes pateikia tikslius įvertinimus pagal jūsų konfigūraciją, tačiau jis negali atsižvelgti į kiekvieną vykdymo laiko kintamąjį. Dinaminiai skaičiavimo grafikai, kintamo ilgio įvestis ir trečiosios šalies bibliotekos atminties nutekėjimas gali sukelti nenuspėjamų papildomų išlaidų. Treniruoklio išvestį vertinkite kaip patikimą planavimo pagrindą – skirkite papildomų 10–15 % laisvos vietos gamybos mokymams, kad būtų atsižvelgta į vykdymo laiko kintamumą.

Ar šis treniruoklis naudingas norint tiksliai sureguliuoti, ar tik bėgti prieš treniruotę?

Tai labai naudinga abiem. Tikslus derinimas naudojant tokius metodus kaip LoRA arba QLoRA labai pakeičia atminties profilį, nes tik daliai parametrų reikia gradientų ir optimizavimo būsenų. Geras modeliuoklis leidžia aiškiai modeliuoti šiuos parametrų požiūriu efektyvius metodus, padedančius nustatyti, ar tikslaus derinimo užduotis tinka vienam vartotojo GPU, ar reikia kelių GPU infrastruktūros.

Kaip tai susiję su verslo įrankių ir „SaaS“ prenumeratų išlaidų valdymu?

Pagrindinis principas – modeliuoti ir planuoti išteklių paskirstymą prieš išleidžiant išlaidas – taikomas visuotinai. Lygiai taip pat, kaip ML komandos eikvoja tūkstančius per daug aprūpintų GPU, verslo komandos iššvaisto tūkstančius sutampančių SaaS prenumeratų ir suskaidytų įrankių grandinių. Sujungus jūsų operacinę krūvą į vieningą platformą su moduliniu aktyvinimu, tai, kaip „Mewayz“ kreipiasi į verslo įrankius su savo 207 modulių OS, atspindi efektyvumo padidėjimą, kai prieš prasidedant mokymui bus tinkamai paskirstytas GPU atminties dydis.

Pasiruošę taikyti tą patį išteklių optimizavimo mąstymą savo verslo operacijoms? „Mewayz“ suteikia daugiau nei 138 000 komandų galimybę suaktyvinti tik joms reikalingus modulius, pradedant nuo 19 USD per mėnesį – jokio perteklinio aprūpinimo, be švaistymo. Pradėkite nemokamą bandomąją versiją adresu app.mewayz.com ir sukurkite tikslią operacinę grupę, kurios reikia jūsų komandai.