Прикажи HN: Моделски симулатор на меморија за обука — зошто планирањето на меморијата на графичкиот процесор е важно повеќе од било кога

Проценувањето на барањата за меморија на графичкиот процесор пред да се започне со модел на тренинг е едно од најзанемарените, но сепак скапи тесни грла во работните процеси на машинско учење. Новиот Симулатор на меморија за обука за модели со отворен код, неодамна претставен на Hacker News, директно се справува со овој проблем дозволувајќи им на инженерите да ја предвидат употребата на VRAM, да ги идентификуваат тесните грла на меморијата и да ги оптимизираат конфигурациите за обука - сето тоа пред еден тензор да го погоди графичкиот процесор.

Што е моделски симулатор на меморија за обука и зошто треба да се грижите?

Моделниот симулатор за меморија за обука е алатка која го пресметува очекуваниот отпечаток на меморијата на графичкиот процесор за обука за длабоко учење врз основа на архитектурата на моделот, големината на серијата, прецизниот формат, изборот на оптимизатор и стратегијата за паралелизам. Наместо да се вртат скапи примероци на облак само за да наидат на страшни грешки CUDA Out of Memory неколку минути по обуката, инженерите можат однапред да го симулираат целиот мемориски профил.

Проектот Show HN зазема пристап со отворен код за овој проблем, обезбедувајќи транспарентна алтернатива водена од заедницата на сопствените алатки за профилирање. Тоа ги опфаќа параметрите, градиентите, состојбите на оптимизатор, активациите и горните трошоци на рамката - петте главни придонесувачи за потрошувачката на меморијата на графичкиот процесор за време на обуката. За тимови кои работат на NVIDIA A100s, H100s, па дури и RTX-картички за потрошувачите, овој вид однапред планирање може да заштеди илјадници долари во потрошени пресметки и часови време за отстранување грешки.

Како се троши меморијата на графичкиот процесор за време на обуката за модели?

Разбирањето каде оди меморијата за време на обуката е од клучно значење за секој ML инженер. Симулаторот ја разложува потрошувачката во различни, предвидливи категории:

• Параметри на моделот: Необработени тежини на невронската мрежа. Модел со параметри 7B во FP32 троши приближно 28 GB само за тегови, паѓајќи на 14 GB во FP16 или BF16.
• Градиенти: Зачувани за време на заднинско ширење, градиентите обично го пресликуваат меморискиот отпечаток на самите параметри.
• Состојби на оптимизатор: Adam и AdamW одржуваат два дополнителни тензори за состојби по параметар (првиот и вториот момент), ефикасно тројно ја зголемуваат меморијата на параметарот кога се користат состојби на оптимизатор FP32.
• Активации: Средни излези се зачувани за враќање назад. Овие се размеруваат со големината на серијата и должината на секвенцата, што ги прави најпроменливиот — и честопати најголемиот — потрошувач на меморија.
• Надземни рамки: CUDA контекст, фрагментација на меморијата, комуникациски бафери за дистрибуирана обука и привремени распределби што е тешко да се предвидат без симулација.

Клучен увид: За повеќето обуки за големи јазични модели, состојбите и активациите на оптимизатор - а не самите тежини на моделот - се доминантни потрошувачи на меморија. Симулаторот за меморија го открива овој дефект пред да се посветите на скап хардвер, претворајќи ги претпоставките во инженерство.

Што го прави овој симулатор со отворен код да се издвојува од постоечките алатки?

Заедницата Hacker News одговори на овој проект затоа што се однесува на вистинските болни точки што постоечките решенија ги оставаат нерешени. Повеќето даватели на облак нудат основни калкулатори за меморија на графичкиот процесор, но тие ретко ги опфаќаат стратегиите за обука со мешана прецизност, контролните точки на градиент, паралелизмот на тензорите или оптимизациите во нулта фаза од рамки како DeepSpeed и FSDP.

Овој симулатор експлицитно ги моделира тие напредни конфигурации. Инженерите можат да го внесат своето специфично поставување - да речеме, модел 13B со ZeRO Stage 3, овозможена контролна точка на градиент, мешана прецизност BF16 и големина на микро-серијата од 4 на 8 графички процесори - и да добијат детална анализа на меморијата по уред. Тоа ниво на специфичност е она што ја одвојува корисната алатка за планирање од проценката од задниот дел.

Природата со отворен код исто така значи дека заедницата може да го прошири. Прилагодените архитектури, новите имплементации на оптимизатори и новите хардверски профили може да се вратат назад, одржувајќи ја алатката релевантна додека пејзажот на ML се развива со огромна брзина.

Како деловните тимови можат да имаат корист од попаметното планирање на инфраструктурата?

Додека симулаторот е изграден за инженери за ML, импликациите се прошируваат на секоја организација што инвестира во способности за вештачка интелигенција. Прекумерното обезбедување на инстанци на графичкиот процесор поради несигурни барања за меморија ги надува сметките во облакот. Недоволното обезбедување води до неуспешни обуки, залудно потрошени инженерски часови и одложено распоредување на моделите.

За растечки бизниси кои управуваат со повеќе оперативни работни текови - од управување со проекти до финансиско планирање до аналитика на клиентите - принципот е идентичен: симулирајте пред да одвоите ресурси. Без разлика дали обезбедувате кластери на графичкиот процесор или избирате кои деловни модули да ги активирате за вашиот тим, имајќи јасна слика за потребите за ресурси пред да се скалирате, спречувате губење и ги забрзувате резултатите.

Ова е истата филозофија зад платформите како што е Mewayz, која нуди 207 интегрирани деловни модули за тимовите да можат да ги планираат, симулираат и да ги размеруваат нивните оперативни работни текови без да се претеруваат со фрагментирани алатки. Идејата за симулирање на потребите за ресурси пред распоредувањето се применува подеднакво моќно за деловните операции како и за моделирање на обука.

Често поставувани прашања

Може ли симулатор за меморија целосно да ги спречи грешките што не се во меморија за време на тренингот?

Симулаторот значително го намалува ризикот со обезбедување точни проценки врз основа на вашата конфигурација, но не може да ја земе предвид секоја променлива за време на траење. Динамички пресметковни графикони, влезови со променлива должина и протекување на меморија од библиотека од трета страна може да воведат непредвидливи трошоци. Однесувајте се кон излезот од симулатор како сигурен под за планирање - буџетирајте дополнителни 10-15% простор за обука за производство за да ја земете предвид варијабилноста на времето на работа.

Дали овој симулатор е корисен за дотерување или само за целосни трки пред тренинг?

Тоа е многу корисно и за двете. Дотерувањето со методи како LoRA или QLoRA драматично го менува меморискиот профил бидејќи само дел од параметрите бараат градиенти и состојби на оптимизатор. Добриот симулатор ви овозможува експлицитно да ги моделирате овие параметарски ефикасни пристапи, помагајќи ви да одредите дали работата за дотерување одговара на еден графички процесор од еден потрошувач или бара инфраструктура со повеќе графички процесори.

Како ова се поврзува со управувањето со трошоците преку деловни алатки и претплати за SaaS?

Основниот принцип - симулирајте и планирајте распределба на ресурсите пред да извршите трошење - се применува универзално. Исто како што тимовите за ML трошат илјадници на прекумерно обезбедени графички процесори, деловните тимови трошат илјадници на преклопувачки претплати на SaaS и фрагментирани синџири со алатки. Консолидирајќи го вашиот оперативен куп во унифицирана платформа со модуларно активирање, начинот на кој Mewayz пристапува кон бизнис алатките со својот оперативен систем од 207 модули, ги отсликува придобивките од ефикасноста од правилната големина на распоредот на вашата GPU меморија пред да започне обуката.

Подготвени сте да го примените истиот начин на размислување за оптимизација на ресурсите во вашите деловни операции? Мевејз им дава можност на 138.000+ тимови да ги активираат само модулите што им се потребни, почнувајќи од 19 $/месечно - без прекумерно обезбедување, без трошење. Започнете го вашиот бесплатен пробен период на app.mewayz.com и изградете го точниот оперативен куп што го бара вашиот тим.