BitNet: Inference nhyehyeɛ a ɛfa 1-bit LLMs ho

BitNet: Wɔresan akyerɛkyerɛ Efficiency Frontier no mu ama Kasa Nhwɛsoɔ akɛseɛ

Mmirikatu a wɔde hwehwɛ Large Language Models (LLMs) akɛse a etumi yɛ adwuma yiye no ato akwanside kɛse bi so: kɔmputa so ka. Saa behemoths yi a wɔde bedi dwuma de asusuw nsɛm ho—ɔkwan a wɔfa so yɛ nsɛm—gye ahoɔden kɛse ne hardware a ne bo yɛ den a ɛkorɔn. Eyi ma akwanside ba nnwuma ahorow a wɔbɛkɔ mu na ɛto tumi a ɛwɔ hɔ sɛ AI a wɔde bɛka abom a ɛtrɛw, bere ankasa mu no ano hye. Hyɛn BitNet, architecture foforo a ɛyɛ nwonwa a ɛsɔ tebea a ɛwɔ hɔ no mpoa denam inference a ɛyɛ ne model ahorow a ɛde bit 1 pɛ di dwuma wɔ parameter biara mu. Eyi nyɛ nea ɛfa nhwɛso ahorow a ɛwɔ hɔ dedaw a wɔbɛmia ho; ɛfa sɛ wɔbɛkyekyere wɔn wɔ ɔkwan soronko so afi fam sɛnea ɛbɛyɛ a wɔbɛyɛ adwuma yiye koraa, na wɔabue ɔpon ama bere foforo a AI a wotumi nya, a ɛyɛ adwuma yiye bɛba. Wɔ asɛnka agua te sɛ Mewayz a ɛyɛ yiye wɔ adwumayɛ nnwinnade a tumi wom a wɔbɛma ayɛ modular na wotumi nya mu no, nea ɛkyerɛ wɔ AI a etu mpɔn saa no mu dɔ, na ɛkyerɛ daakye a wobetumi de kasa mu ntease a ɛkɔ anim ahyɛ adwumayɛ nhyehyɛe biara mu a ɛnyɛ den a ɛho nhia sɛ wɔde nhyehyɛe mu nhyɛso a ɛbata ho no di dwuma.

Nneɛma Foforo Titiriw: Efi Bit 16 Kɔ Bit Baako

Atetesɛm LLMs, te sɛ GPT-4 anaa Llama, taa de 16-bit (FP16) anaa mpo pɛpɛɛpɛ a ɛkorɔn di dwuma ma wɔn parameters (mu duru a ɛkyerɛkyerɛ model no nimdeɛ mu). BitNet fa ɔkwan soronko koraa so. Wɔayɛ ne nhyehyeɛ no firi mfitiaseɛ sɛ ɛbɛgyina hɔ ama saa nsusuiɛ yi denam bit 1 pɛ a wɔde bedi dwuma so —titiriw no +1 anaa -1. Saa binary representation yi twitwa memory footprint a ɛwɔ model no mu no denam order of magnitude so. Nea ɛho hia kɛse no, ɛdannan adwumayɛ a ɛyɛ den sen biara wɔ akontaabu mu wɔ LLM ahorow mu, matrix dodow, fi akontaabu a ɛyɛ den a ɛsensɛn so kɔ akontaabu a ɛyɛ den a ɛyɛ integer a wɔde ka ho a ɛyɛ hardware-adamfofa. Saa nsakraeɛ yi ne adeɛ titire a ɛma BitNet yɛ adwuma yie, na ɛde latency ne ahoɔden a wɔde di dwuma no so tew kɛseɛ wɔ inference berɛ mu, ne nyinaa berɛ a wɔkura akansiɛ adwumayɛ mu wɔ kasa nnwuma mu.

Nkyerɛkyerɛmu a ɛfa Adwumayɛ a Wɔde Di Dwuma ne Nkɔsoɔ ho

Mfasoɔ a ɛyɛ adwuma a ɛwɔ 1-bit inference so no yɛ nsakraeɛ ma adwumayɛ mu dwumadie. Nea edi kan no, ɛbrɛ hardware akwanside no ase kɛse. BitNet mfonini ahorow betumi ayɛ adwuma yiye wɔ GPU ahorow a wɔde di dwuma anaasɛ mpo edge mfiri so, na ɛtew ahotoso a wɔde to AI accelerator ahorow a ɛho yɛ na na ne bo yɛ den so. Nea ɛto so abien no, ahoɔden a wɔkora so no yɛ kɛse, na ɛne nnwumakuw botae ahorow a ɛfa nneɛma a ɛbɛkɔ so atra hɔ daa ho no hyia. Nea ɛto so abiɛsa no, latency a wɔatew so no ma wotumi di nkitaho wɔ bere ankasa mu ankasa, a ɛho hia ma adetɔfo som chatbots, live content awo ntoatoaso, anaasɛ data nhwehwɛmu ntɛm ara. Wɔ operating system te sɛ Mewayz fam no, saa ahoɔden yi yɛ nea ɛne no hyia pɛpɛɛpɛ. Fa no sɛ wode AI boafo a ɔwɔ tumi a onim nsɛm a ɛfa ho bɛka module biara ho —efi CRM so kosi adwuma no sohwɛ so —a ɛyɛ adwuma wɔ bere ankasa mu a ɛmma nhyehyɛe no nkɔ fam anaasɛ ɛmma mununkum ho ka nkɔ soro. BitNet nhyehyɛɛ ma saa AI nkabom a ɛtrɛw, a wotumi sesa mu yi yɛ nokwasɛm a wotumi hu.

• Radical Cost Reduction: Ɛbrɛ cloud compute ne ahoɔden ho ka ase kɔsi 90% ma nsusuwii.
• Enhanced Accessibility: Ɛma wotumi de di dwuma wɔ hardware ahorow pii so, efi data centers so kosi edge devices so.
• Superior Latency: Ɛnya mmuaeɛ mmerɛ a ɛyɛ ntɛm kɛseɛ, ɛma AI dwumadie a ɛwɔ berɛ ankasa mu tumi yɛ adwuma.
• AI a ɛtra hɔ daa: Ɛtew carbon footprint a ɛwɔ AI nhwɛso akɛse a wɔde tu mmirika mu no so kɛse.

Daakye Asase ne Nkabom a ɛne Platforms Te sɛ Mewayz

BitNet gyina hɔ ma nea ɛboro mfiridwuma mu nkɔso ara kwa; ɛkyerɛ nsakrae a aba wɔ sɛnea yɛkyekye na yɛde AI di dwuma no mu. Bere a nhyehyɛe no nyin no, yebetumi ahwɛ kwan sɛ wobenya abɔde a nkwa wom nhyehyɛe foforo a ɛyɛ nhwɛso ahorow a etu mpɔn yiye a wɔayɛ ama adwumayɛ dwumadi pɔtee bi. Eyi ne Mewayz nyansapɛ a ɛfa modular ho no hyia pɛpɛɛpɛ. Sɛ anka AI a ɛyɛ baako a ɛfata obiara bɛgye nneɛma pii no, nnwumakuo bɛtumi de module soronko, BitNet-a ɛma ahoɔden adi dwuma ama mmara kwan so nkrataa nhwehwɛmu, aguadi mfonini awoɔ ntoatoasoɔ, anaa mfiridwuma mmoa, a emu biara reyɛ adwuma yie wɔ ne OS no fã a wɔatu ho ama no mu.

Akwan a wɔfa so kɔ 1-bit LLMs te sɛ BitNet no nyɛ anammɔn a ɛkɔ soro ara kwa wɔ model efficiency mu; ɛyɛ fapem nsakraeɛ a ɛbɛkyerɛ sɛdeɛ yɛbɛtumi de AI a ɛkɔ anim adi dwuma ne baabi a yɛbɛtumi de adi dwuma. Ɛde tumi a ɛwɔ mfonini akɛse mu fi hyperscale mununkum no mu na ɛkɔ da biara da adwumayɛ nhyehyɛe a mfaso wɔ so no mu.

Sɛ yɛde rewie a, BitNet reyɛ akwampaefoɔ wɔ ɔkwan a ɛkɔ AI a ɛbɛtena hɔ daa na ɛwɔ baabiara. Ɛdenam LLM a wɔsan yɛ no foforo ma 1-bit inference so no, edi nsɛnnennen a ɛho hia a ɛfa ɛka, ahoɔhare, ne akwan a wɔfa so nya ho no ho dwuma. Wɔ adwumayɛ akwan a wɔaka abom ho no, eyi ne ade titiriw a ɛbɛma wɔabue AI nkabom a emu dɔ, ɛnyɛ den, na ɛyɛ asɛyɛde. Daakye a Mewayz hwɛɛ ho mfonini —baabi a nyansa a wɔde yɛ adwuma yɛ adwuma biara mu ade a ɛyɛ kurom hɔ, ɛyɛ adwuma yiye, na ɛyɛ modular—no yɛ ntɛmntɛm denam nkɔso te sɛ BitNet so, de AI a tumi wom a efi nhwehwɛmu dan mu ba adwumayɛbea biara nsa tẽẽ.

Nsɛmmisa a Wɔtaa Bisa

BitNet: Wɔsan kyerɛkyerɛ Efficiency Frontier mu ma Kasa Nhwɛso akɛse

Mmirikatu a wɔde hwehwɛ Large Language Models (LLMs) akɛse a etumi yɛ adwuma yiye no ato akwanside kɛse bi so: kɔmputa so ka. Saa behemoths yi a wɔde bedi dwuma de asusuw nsɛm ho—ɔkwan a wɔfa so yɛ nsɛm—gye ahoɔden kɛse ne hardware a ne bo yɛ den a ɛkorɔn. Eyi ma akwanside ba nnwuma ahorow a wɔbɛkɔ mu na ɛto tumi a ɛwɔ hɔ sɛ AI a wɔde bɛka abom a ɛtrɛw, bere ankasa mu no ano hye. Hyɛn BitNet, architecture foforo a ɛyɛ nwonwa a ɛsɔ tebea a ɛwɔ hɔ no mpoa denam inference a ɛyɛ ne model ahorow a ɛde bit 1 pɛ di dwuma wɔ parameter biara mu. Eyi nyɛ nea ɛfa nhwɛso ahorow a ɛwɔ hɔ dedaw a wɔbɛmia ho; ɛfa sɛ wɔbɛkyekyere wɔn wɔ ɔkwan soronko so afi fam sɛnea ɛbɛyɛ a wɔbɛyɛ adwuma yiye koraa, na wɔabue ɔpon ama bere foforo a AI a wotumi nya, a ɛyɛ adwuma yiye bɛba. Wɔ asɛnka agua te sɛ Mewayz a ɛyɛ yiye wɔ adwumayɛ nnwinnade a tumi wom a wɔbɛma ayɛ modular na wotumi nya mu no, nea ɛkyerɛ wɔ AI a etu mpɔn saa no mu dɔ, na ɛkyerɛ daakye a wobetumi de kasa mu ntease a ɛkɔ anim ahyɛ adwumayɛ nhyehyɛe biara mu a ɛnyɛ den a ɛho nhia sɛ wɔde nhyehyɛe mu nhyɛso a ɛbata ho no di dwuma.

Nneɛma Foforo Titiriw: Efi Bit 16 Kɔ Bit Baako

Atetesɛm LLMs, te sɛ GPT-4 anaa Llama, taa de 16-bit (FP16) anaa mpo pɛpɛɛpɛ a ɛkorɔn di dwuma ma wɔn parameters (mu duru a ɛkyerɛkyerɛ model no nimdeɛ mu). BitNet fa ɔkwan soronko koraa so. Wɔayɛ ne nhyehyeɛ no firi mfitiaseɛ sɛ ɛbɛgyina hɔ ama saa nsusuiɛ yi denam bit 1 pɛ a wɔde bedi dwuma so —titiriw no +1 anaa -1. Saa binary representation yi twitwa memory footprint a ɛwɔ model no mu no denam order of magnitude so. Nea ɛho hia kɛse no, ɛdannan adwumayɛ a ɛyɛ den sen biara wɔ akontaabu mu wɔ LLM ahorow mu, matrix dodow, fi akontaabu a ɛyɛ den a ɛsensɛn so kɔ akontaabu a ɛyɛ den a ɛyɛ integer a wɔde ka ho a ɛyɛ hardware-adamfofa. Saa nsakraeɛ yi ne adeɛ titire a ɛma BitNet yɛ adwuma yie, na ɛde latency ne ahoɔden a wɔde di dwuma no so tew kɛseɛ wɔ inference berɛ mu, ne nyinaa berɛ a wɔkura akansiɛ adwumayɛ mu wɔ kasa nnwuma mu.

Nkyerɛkyerɛmu a ɛfa Adwumayɛ a Wɔde Di Dwuma ne Nneɛma a Wɔtumi Sesa

Mfasoɔ a ɛyɛ adwuma a ɛwɔ 1-bit inference so no yɛ nsakraeɛ ma adwumayɛ mu dwumadie. Nea edi kan no, ɛbrɛ hardware akwanside no ase kɛse. BitNet mfonini ahorow betumi ayɛ adwuma yiye wɔ GPU ahorow a wɔde di dwuma anaasɛ mpo edge mfiri so, na ɛtew ahotoso a wɔde to AI accelerator ahorow a ɛho yɛ na na ne bo yɛ den so. Nea ɛto so abien no, ahoɔden a wɔkora so no yɛ kɛse, na ɛne nnwumakuw botae ahorow a ɛfa nneɛma a ɛbɛkɔ so atra hɔ daa ho no hyia. Nea ɛto so abiɛsa no, latency a wɔatew so no ma wotumi di nkitaho wɔ bere ankasa mu ankasa, a ɛho hia ma adetɔfo som chatbots, live content awo ntoatoaso, anaasɛ data nhwehwɛmu ntɛm ara. Wɔ operating system te sɛ Mewayz fam no, saa ahoɔden yi yɛ nea ɛne no hyia pɛpɛɛpɛ. Fa no sɛ wode AI boafo a ɔwɔ tumi a onim nsɛm a ɛfa ho bɛka module biara ho —efi CRM so kosi adwuma no sohwɛ so —a ɛyɛ adwuma wɔ bere ankasa mu a ɛmma nhyehyɛe no nkɔ fam anaasɛ ɛmma mununkum ho ka nkɔ soro. BitNet nhyehyɛɛ ma saa AI nkabom a ɛtrɛw, a wotumi sesa mu yi yɛ nokwasɛm a wotumi hu.

Daakye Asase ne Nkabom a ɛne Platforms Te sɛ Mewayz

BitNet gyina hɔ ma nea ɛboro mfiridwuma mu nkɔso ara kwa; ɛkyerɛ nsakrae a aba wɔ sɛnea yɛkyekye na yɛde AI di dwuma no mu. Bere a nhyehyɛe no nyin no, yebetumi ahwɛ kwan sɛ wobenya abɔde a nkwa wom nhyehyɛe foforo a ɛyɛ nhwɛso ahorow a etu mpɔn yiye a wɔayɛ ama adwumayɛ dwumadi pɔtee bi. Eyi ne Mewayz nyansapɛ a ɛfa modular ho no hyia pɛpɛɛpɛ. Sɛ anka AI a ɛyɛ baako a ɛfata obiara bɛgye nneɛma pii no, nnwumakuo bɛtumi de module soronko, BitNet-a ɛma ahoɔden adi dwuma ama mmara kwan so nkrataa nhwehwɛmu, aguadi mfonini awoɔ ntoatoasoɔ, anaa mfiridwuma mmoa, a emu biara reyɛ adwuma yie wɔ ne OS no fã a wɔatu ho ama no mu.