Паказаць HN: сімулятар памяці для навучання мадэлі — чаму планаванне памяці графічнага працэсара важна больш, чым калі-небудзь

Ацэнка патрабаванняў да памяці графічнага працэсара перад запускам навучальнага запуску мадэлі з'яўляецца адным з найбольш ігнаруемых, але дарагіх вузкіх месцаў у працоўных працэсах машыннага навучання. Новы Model Training Memory Simulator з адкрытым зыходным кодам, нядаўна прадстаўлены на Hacker News, вырашае гэтую праблему непасрэдна, дазваляючы інжынерам прагназаваць выкарыстанне відэапамяці, вызначаць вузкія месцы ў памяці і аптымізаваць канфігурацыі навучання — усё да таго, як адзін тэнзар трапіць у графічны працэсар.

Што такое мадэляванне сімулятара трэніроўкі памяці і навошта гэта вам?

Сімулятар трэніровачнай памяці мадэлі - гэта інструмент, які разлічвае чаканы аб'ём памяці графічнага працэсара для задання глыбокага навучання на аснове архітэктуры мадэлі, памеру пакета, дакладнага фармату, выбару аптымізатара і стратэгіі паралелізму. Замест таго, каб запускаць дарагія воблачныя інстансы толькі для таго, каб сутыкнуцца са страшнымі памылкамі CUDA Out of Memory у некалькіх хвілінах навучання, інжынеры могуць змадэляваць увесь профіль памяці загадзя.

Праект Show HN выкарыстоўвае падыход з адкрытым зыходным кодам да гэтай праблемы, забяспечваючы празрыстую, кіраваную супольнасцю альтэрнатыву прапрыетарным інструментам прафілявання. Ён улічвае параметры, градыенты, стану аптымізатара, актывацыі і накладныя выдаткі на структуру — пяць асноўных фактараў спажывання памяці GPU падчас навучання. Для каманд, якія выконваюць працоўныя нагрузкі на NVIDIA A100s, H100s або нават спажывецкіх картах RTX, гэты від папярэдняга планавання можа зэканоміць тысячы долараў на страчаных вылічэннях і гадзінах часу на адладку.

Як выкарыстоўваецца памяць GPU падчас навучання мадэлі?

Разуменне таго, куды ідзе памяць падчас навучання, вельмі важна для любога інжынера ML. Сімулятар разбівае спажыванне на розныя прадказальныя катэгорыі:

• Параметры мадэлі: неапрацаваныя вагі нейронавай сеткі. Мадэль з параметрам 7B у FP32 спажывае прыкладна 28 ГБ толькі для вагі, зніжаючыся да 14 ГБ у FP16 або BF16.
• Градыенты: градыенты, якія захоўваюцца падчас зваротнага распаўсюджвання, звычайна адлюстроўваюць адбітак памяці саміх параметраў.
• Станы аптымізатара: Adam і AdamW падтрымліваюць два дадатковыя тэнзары стану на параметр (першы і другі моманты), фактычна патройваючы памяць параметраў пры выкарыстанні станаў аптымізатар FP32.
• Актывацыі: прамежкавыя выхады захоўваюцца для зваротнага праходу. Яны маштабуюцца з памерам пакета і даўжынёй паслядоўнасці, што робіць іх найбольш зменлівым — і часта самым вялікім — спажыўцом памяці.
• Накладныя выдаткі на структуру: кантэкст CUDA, фрагментацыя памяці, буферы сувязі для размеркаванага навучання і часовыя размеркаванні, якія цяжка прадказаць без мадэлявання.

Асноўная інфармацыя: Для большасці вялікіх навучальных запускаў моўнай мадэлі станы і актывацыі аптымізатара, а не самі вагі мадэлі, з'яўляюцца асноўнымі спажыўцамі памяці. Сімулятар памяці паказвае гэту паломку, перш чым вы возьмецеся за дарагое абсталяванне, ператвараючы здагадкі ў праектаванне.

Чым гэты сімулятар з адкрытым зыходным кодам вылучаецца сярод існуючых інструментаў?

Супольнасць Hacker News адрэагавала на гэты праект, таму што ён вырашае рэальныя болевыя моманты, якія існуючыя рашэнні пакідаюць нявырашанымі. Большасць воблачных пастаўшчыкоў прапануюць асноўныя калькулятары памяці GPU, але яны рэдка ўлічваюць стратэгіі навучання змешанай дакладнасці, градыентныя кантрольныя кропкі, тэнзарны паралелізм або аптымізацыю ZeRO-stage з такіх фрэймворкаў, як DeepSpeed і FSDP.

Гэты сімулятар відавочна мадэлюе гэтыя пашыраныя канфігурацыі. Інжынеры могуць увесці свае канкрэтныя налады — скажам, мадэль 13B з ZeRO Stage 3, уключанай градыентнай кантрольнай кропкай, змешанай дакладнасцю BF16 і памерам мікрапакетаў 4 на 8 графічных працэсарах — і атрымаць падрабязную разбіўку памяці для кожнай прылады. Гэты ўзровень канкрэтнасці - гэта тое, што адрознівае карысны інструмент планавання ад ацэнкі на задняй частцы канверта.

Адкрыты зыходны код таксама азначае, што супольнасць можа пашыраць яго. Карыстальніцкія архітэктуры, новыя рэалізацыі аптымізатараў і новыя профілі апаратнага забеспячэння - усё гэта можа быць унесена, каб інструмент быў актуальным, калі ландшафт ML развіваецца з шалёнай хуткасцю.

Як бізнес-каманды могуць атрымаць выгаду з больш разумнага планавання інфраструктуры?

Хоць сімулятар створаны для інжынераў ML, наступствы распаўсюджваюцца на любую арганізацыю, якая інвесціруе ў магчымасці штучнага інтэлекту. Празмернае прадастаўленне асобнікаў GPU з-за нявызначаных патрабаванняў да памяці павялічвае рахункі за воблака. Недастатковае забеспячэнне прыводзіць да няўдалых навучальных прагонаў, марна выдачаных інжынерных гадзін і затрымкі разгортвання мадэлі.

Для растучых прадпрыемстваў, якія кіруюць некалькімі працоўнымі працэсамі — ад кіравання праектамі да фінансавага планавання і аналізу кліентаў — прынцып ідэнтычны: мадэлюйце, перш чым выдзяляць рэсурсы. Незалежна ад таго, ствараеце вы кластары графічных працэсараў або выбіраеце, якія бізнес-модулі актываваць для сваёй каманды, наяўнасць дакладнай карціны патрабаванняў да рэсурсаў перад маштабаваннем прадухіляе марнаванне і паскарае вынікі.

Гэта тая ж філасофія, якая ляжыць у аснове такіх платформаў, як Mewayz, якая прапануе 207 інтэграваных бізнес-модуляў, каб каманды маглі планаваць, мадэляваць і маштабаваць свае аперацыйныя працоўныя працэсы без празмернага выкарыстання фрагментаваных інструментаў. Ідэя мадэлявання патрэбаў у рэсурсах перад разгортваннем аднолькава важна для бізнес-аперацый, як і для навучання мадэлям.

Часта задаюць пытанні

Ці можа сімулятар памяці цалкам прадухіліць памылкі недахопу памяці падчас навучання?

Сімулятар значна зніжае рызыку, забяспечваючы дакладныя ацэнкі на аснове вашай канфігурацыі, але ён не можа ўлічваць кожную зменную часу выканання. Дынамічныя графікі вылічэнняў, уводныя дадзеныя зменнай даўжыні і ўцечкі памяці старонніх бібліятэк могуць выклікаць непрадказальныя накладныя выдаткі. Ставіцеся да выхаду трэнажора як да надзейнай пляцоўкі для планавання — заплануйце дадатковы запас на 10-15 % для вытворчага навучання, каб улічыць зменлівасць часу выканання.

Ці карысны гэты трэнажор для тонкай налады або толькі для поўных прагонаў перад навучаннем?

Гэта вельмі карысна для абодвух. Дакладная налада з дапамогай такіх метадаў, як LoRA або QLoRA, рэзка змяняе профіль памяці, таму што толькі частка параметраў патрабуе градыентаў і станаў аптымізатара. Добры сімулятар дазваляе дакладна мадэляваць гэтыя эфектыўныя па параметрах падыходы, дапамагаючы вызначыць, ці падыходзіць праца тонкай наладкі на адзін спажывецкі GPU або патрабуе інфраструктуры з некалькімі GPU.

Як гэта звязана з кіраваннем выдаткамі на бізнес-інструменты і падпіскі SaaS?

Асноўны прынцып — мадэляванне і планаванне размеркавання рэсурсаў перад выдаткамі — прымяняецца паўсюдна. Падобна таму, як каманды ML марнуюць тысячы на ​​празмерныя GPU, бізнес-каманды марнуюць тысячы на ​​перакрываючыяся падпіскі SaaS і фрагментаваныя ланцужкі інструментаў. Кансалідацыя вашага аперацыйнага стэка ў адзіную платформу з модульнай актывацыяй, тое, як Mewayz падыходзіць да бізнес-інструментаў са сваёй 207-модульнай АС, адлюстроўвае павышэнне эфектыўнасці правільнага размеркавання памяці вашага GPU перад пачаткам навучання.

Гатовыя прымяніць такое ж стаўленне да аптымізацыі рэсурсаў у сваіх бізнес-аперацыях? Mewayz дае больш чым 138 000 камандам магчымасць актываваць толькі тыя модулі, якія ім патрэбны, пачынаючы з 19 долараў ЗША ў месяц — без празмернага забеспячэння і адходаў. Пачніце бясплатную пробную версію на app.mewayz.com і стварыце менавіта той працоўны стэк, які патрабуецца вашай камандзе.