'Ilo mahu'inga: Ki he lahi taha 'o e ngaahi lele ako fakatata lea lahi, ngaahi tu'unga optimizer mo e ngaahi faka'aonga'i — 'ikai ko e ngaahi mamafa fakatata 'iate kinautolu pe — ko e kau fakatau manatu 'oku pule. 'Oku fakahaa'i 'e ha simulator manatu 'a e movete ko 'eni kimu'a pea ke tukupa ki he hardware fakamole lahi, liliu 'a e mate'i ki he 'enisinia.

Ko e hā ʻokú ne ʻai ʻa e Simulator Maʻuʻanga Tokoni Fakaava ko ʻení ke Tuʻu Makehe mei he Ngaahi Meʻangāue ʻOku ʻI Aí?

Na'e tali 'e he komiuniti Hacker News 'a e poloseki ko 'eni koe'uhi he 'oku ne fakafepaki'i 'a e ngaahi poini mamahi mo'oni 'oku tuku 'e he ngaahi solova'anga 'oku 'i ai 'o 'ikai ke solova. Ko e lahi taha 'o e kau foaki 'o e 'ao 'oku nau 'oatu 'a e ngaahi me'a fakafuofua 'o e manatu GPU tefito, ka 'oku 'ikai ke nau fa'a fakamatala ki he ngaahi founga ako fefiofi-totonu, sivi'i 'o e gradient, tensor parallelism, pe ZeRO-siteisi optimizations mei he ngaahi fa'unga hange ko e DeepSpeed mo e FSDP.

'Oku fakatatau mahino 'e he simulator ko 'eni 'a e ngaahi fakalelei'anga fakalakalaka ko ia. 'E lava ke input 'e he kau 'enisinia 'enau setup pau — talamai, ha sipinga 'o e 13B mo e ZeRO Siteisi 3, gradient checkpointing 'oku faka'ata, BF16 fefiofi 'a e tonu, mo ha micro-batch lahi 'o e 4 'i he 8 GPUs — pea ma'u ha fakaikiiki 'o e manatu 'o e movete 'i he device. Ko e tu'unga ko ia 'o e pau ko e me'a ia 'oku ne fakamavahe'i ha me'angaue palani 'aonga mei ha fakafuofua 'i mui 'i he 'enivolope.

Ko e natula 'o e open-source 'oku toe 'uhinga ia 'e lava ke fakalahi atu ia 'e he komiuniti. 'E lava ke tokoni kotoa 'a e ngaahi fakakaukau angamaheni, ngaahi fakahoko 'o e optimizer fo'ou, mo e ngaahi fakamatala 'o e hardware 'oku 'asi hake, 'o tauhi 'a e me'angaue 'oku fekau'aki 'i he evolves 'a e fonua ML 'i he vave 'o e breakneck.

'E lava fēfē ke ma'u 'aonga 'a e ngaahi timi pisinisi mei he Palani Fakapotopoto Ange 'o e Ngaahi Ngaue Lalahi?

Lolotonga 'oku langa 'a e simulator ma'a e kau 'enisinia ML, 'Oku fakalahi atu 'a e ngaahi nunu'a ki ha fa'ahinga kautaha 'oku 'inivesi 'i he ngaahi malava 'o e AI. Overprovisioning 'a e ngaahi me'a 'oku hoko 'i he GPU koe'uhi ko e ngaahi fie ma'u 'o e manatu ta'epau 'oku ne inflates 'a e ngaahi totongi 'o e 'ao. Ko e si'isi'i 'o e ngaahi tokonaki 'oku ne taki atu ki he lele ako 'oku 'ikai ke lava, maumau'i 'a e ngaahi houa 'enisinia, mo e toloi 'o e ngaahi fakahokohoko 'o e ngaahi sipinga.

Ki he ngaahi pisinisi tupulaki 'oku nau pule'i 'a e ngaahi ngaue fakangaue lahi — mei he pule'i 'o e poloseki ki he palani fakapa'anga ki he 'analaiso 'o e kasitomaa — 'oku tatau pe 'a e tefito'i mo'oni: fakatata kimu'a pea ke toki fakahoko 'a e ngaahi ma'u'anga tokoni. Pe 'oku ke provisioning 'a e ngaahi kulupu GPU pe fili pe ko e ha 'a e ngaahi modules pisinisi ke faka'aonga'i ma'a ho'o timi, ko hono ma'u ha 'ata mahino 'o e ngaahi fie ma'u 'o e ma'u'anga tokoni kimu'a pea toki scaling 'oku ne ta'ofi 'a e maumau mo fakavave'i 'a e ngaahi ola.

Ko e filosofia tatau pe 'eni 'i mui 'i he ngaahi tu'unga hange ko e Mewayz, 'a ia 'oku ne 'oatu 'a e 207 modules pisinisi fakatahataha'i koe'uhi ke lava 'e he ngaahi timi 'o palani, simulate, mo e scale 'enau ngaahi ngaue fakangaue 'o 'ikai ke fu'u tukupa ki he ngaahi me'angaue 'oku movetevete. Ko e fakakaukau 'o e fakatata 'o e ngaahi fie ma'u ma'u'anga tokoni kimu'a pea toki fakahoko 'oku ngaue malohi tatau pe ia ki he ngaahi ngaue 'a e pisinisi 'o hange ko ia 'oku ne fai ki he ako fakatata.

Ngaahi Fehuʻi ʻoku Faʻa ʻEke

'E lava nai 'e ha simulator 'o e manatu 'o ta'ofi kakato 'a e ngaahi fehalaaki 'i tu'a mei he manatu lolotonga 'a e ako?

'Oku fakasi'isi'i lahi 'e ha simulator 'a e fakatu'utamaki 'aki hono 'oatu 'a e ngaahi fakafuofua totonu 'o makatu'unga 'i ho'o configuration, ka 'oku 'ikai lava ke ne fakamatala'i 'a e ngaahi kehekehe kotoa pe 'o e taimi lele. 'E lava ke fakafe'iloaki 'e he ngaahi kalafi 'o e computation malohi, inputs kehekehe-loloa, mo e ngaahi leakage 'o e manatu 'o e laipeli 'o e paati hono tolu 'a e 'olunga 'oku 'ikai lava ke tomu'a tala. Tokanga'i 'a e simulator output ko ha fungavaka palani falala'anga — patiseti ha toe 10-15% headroom ki he lele 'o e ako ngaohi ke fakamatala ki he kehekehe 'o e taimi lele.

'Oku 'aonga nai 'a e simulator ko 'eni ki he fine-tuning pe ko e lele kakato pe kimu'a 'i he ako?

'Oku 'aonga lahi ia ki he ongo me'a ko 'eni. Fine-tuning mo e ngaahi founga hange ko e LoRA pe QLoRA 'oku liliu lahi 'a e fakamatala 'o e manatu koe'uhi ko ha konga pe 'o e ngaahi fakangatangata 'oku fie ma'u 'a e gradients mo e ngaahi tu'unga optimizer. 'Oku faka'ata 'e ha simulator lelei ke ke fakatata 'a e ngaahi founga ko 'eni 'o e parameter-lelei 'i he mahino, tokoni'i koe ke ke fakapapau'i pe 'oku fe'unga ha ngaue fine-tuning 'i ha GPU 'o e kau fakatau 'e taha pe 'oku fie ma'u 'a e ngaahi langa fakalakalaka 'o e GPU lahi.

'Oku fekau'aki fefe 'eni mo hono pule'i 'o e ngaahi fakamole 'i he ngaahi me'angaue pisinisi mo e ngaahi totongi SaaS?

Ko e tefito’i mo’oni tefito — simulate mo palani ‘a e vahevahe ‘o e ngaahi ma’u’anga tokoni kimu’a pea toki fakahoko ‘a e fakamole — ‘oku ngaue’aki ia ‘i mamani lahi. Hange pe ko e maumau'i 'e he ngaahi timi ML 'a e lau afe 'i he GPUs overprovisioned, maumau'i 'e he ngaahi timi pisinisi 'a e lauiafe 'i he ngaahi totongi 'o e SaaS 'oku 'overlapping mo e toolchains 'oku movetevete. Fakatahataha'i ho'o stack ngaue ki ha tu'unga fakatahataha'i mo e modular fakatupulaki, 'a e founga 'oku fakaofiofi ai 'a e Mewayz ki he pisinisi tooling mo 'ene 207-module OS, sio'ata 'a e ngaahi ma'u'anga tokoni 'o e 'aonga 'o e totonu-sizing ho'o vahevahe manatu GPU kimu'a pea toki kamata 'a e ako.

Mateuteu ke faka'aonga'i 'a e fakakaukau tatau 'o e ma'u'anga tokoni-fakalelei'i ki ho'o ngaahi ngaue fakapisinisi? 'Oku 'oatu 'e he Mewayz 'a e ngaahi timi 'e 138,000+ 'a e malava ke faka'aonga'i 'a e ngaahi modules pe 'oku nau fie ma'u, kamata mei he $19/mo — 'ikai ha overprovisioning, 'ikai ha maumau. Kamata ho'o 'ahi'ahi ta'etotongi 'i he app.mewayz.com pea langa 'a e stack ngaue totonu 'oku fie ma'u 'e ho'o timi.