Nvidia PersonaPlex 7B sou Apple Silisyòm: Full-duplex Lapawòl-a-Lapawòl nan Swift

Entwodwi nouvo fwontyè AI vwa a

Peyizaj la nan entèlijans atifisyèl ap deplase soti nan nwaj la nan kwen an, ak Apple Silisyòm ap dirije chaj la. Pou devlopè yo, kapasite nan kouri modèl pwisan lokalman ouvè yon nouvo mond posiblite pou aplikasyon ki reponn, prive ak offline-kapab. Antre nan PersonaPlex 7B Nvidia a, yon modèl modèn ki fèt pou AI konvèsasyon natirèl ak ekspresyon. Lè modèl pwisan sa a asosye ak gwo abilite motè neral yon Mac seri M ak yon aplikasyon Swift rasyonalize, rezilta a se yon dekouvèt nan entèraksyon lapawòl-a-lapawòl an tan reyèl, full-duplex.

Kisa lapawòl-a-lapawòl Full-duplex ye?

Anvan plonje nan majik teknik la, li enpòtan pou w konprann eleman "full-duplex" la. Kontrèman ak asistan vwa senp ki mande pou ou peze yon bouton epi tann yon repons, entèraksyon full-duplex imite yon konvèsasyon natirèl imen. Li pèmèt pou pale ak koute similtane, sa ki pèmèt entèripsyon, poz, ak vre dyalòg retounen ak lide. Sa vle di AI a ka trete sa w ap di pandan w ap toujou pale ak fòmile yon repons ki kòmanse nan moman w fini-oswa menm dousman entèfere si w pran yon poz. Reyalize sa a sou yon aparèy lokal, san yo pa voye odyo nan yon sèvè byen lwen, se Graal apa pou kreye eksperyans itilizatè san pwoblèm ak entwisyon.

Swiv Achitekti Inifye Apple Silisyòm lan

Kle a pou fè sa posib sou yon laptop oswa yon Desktop se achitekti inik nan Apple Silisyòm. Chips M-seri yo konbine CPU a, GPU, ak yon pwisan Neural Engine (NE) sou yon sèl moso Silisyòm. Achitekti memwa inifye sa a se ideyal pou chay travay aprantisaj machin. Gwo modèl tankou PersonaPlex 7B ka chaje dirèkteman nan memwa pataje a, sa ki pèmèt CPU a okipe lojik aplikasyon an nan Swift, GPU a akselere kalkil sèten, ak Motè Neural la dechire nan operasyon yo tensor debaz nan modèl la ak efikasite ekstrèm. Sinèrji sa a elimine blokaj done k ap deplase ant konpozan separe, sa ki fè enferans an tan reyèl pa sèlman posib, men lis ak enèji efikas.

• Konfidansyalite ak vitès: Tout tretman fèt lokalman sou aparèy la. Konvèsasyon sansib ou yo pa janm voye nan nwaj la, sa ki asire enfòmasyon konplè sou enfòmasyon prive pandan w ap benefisye de latansi prèske zewo.
• Fonksyonalite Offline: Aplikasyon ki fèt ak pil sa a travay nenpòt kote, san koneksyon entènèt, sa ki fè yo trè serye.
• Pfòmans natif natal: Sèvi ak Swift ak kad natif natal tankou Core ML pèmèt yon entegrasyon pwofon ak macOS, sa ki lakòz yon eksperyans lis ki santi li fè pati sistèm operasyon an li menm.

Konstwi Pipeline ak Swift

Kreye tiyo full-duplex sa a nan Swift enplike nan orchestrasyon plizyè konpozan. Premyèman, kad AVFoundation an pran opinyon odyo ki soti nan mikwofòn la. Lè sa a, kouran odyo sa a konvèti nan tèks lè l sèvi avèk yon modèl rekonesans lapawòl lokal, tankou kad lapawòl sou aparèy Apple la. Tèks ki kapab lakòz yo manje nan modèl Nvidia PersonaPlex 7B, ki te optimize pou kouri atravè Core ML oswa yon lòt motè enferans Swift-konpatib tankou MLX. Modèl la jenere yon repons tèks reflechi ak kontèks. Finalman, tèks sa a konvèti tounen nan yon diskou ki gen lavi lè l sèvi avèk yon motè lokal tèks-a-lapawòl (TTS). Vrè defi a se nan jere eleman sa yo ansanm pou reyalize efè full-duplex la—yon travay kote modèl konkouran modèn Swift la ak async/wait ekselan.

"Kapasite pou dirije yon modèl kalib sa a lokalman sou Apple Silisyòm fondamantalman chanje fason nou panse sou entegre AI nan workflows chak jou nou yo. Li deplase AI soti nan yon sèvis konekte nan yon zouti natif natal, toujou disponib." – Senior Developer nan Mewayz

Enplikasyon pou platfòm tankou Mewayz

Pou yon sistèm operasyon modilè biznis tankou Mewayz, kwasans teknolojik sa a se transfòmasyon. Imajine ajan vwa entèlijan nan lojisyèl biznis ou ki ka ede w ekri imèl, jere delè pwojè konplèks, oswa analize done-tout atravè konvèsasyon natirèl, san yo pa janm konpwomèt done antrepriz sansib. Yon modil Mewayz ki mache ak lokal PersonaPlex 7B ta ka ofri:

Konfidansyalite san parèy pou jere enfòmasyon konfidansyèl biznis yo, èd kolaborasyon an tan reyèl ki santi tankou gen yon kòlèg ekspè nan sal la, ak robo sipò kliyan ki trè reponn dirèkteman nan espas travay Mewayz yon konpayi. Teknoloji sa a pèmèt Mewayz pouse limit sa yon eksplwatasyon biznis kapab fè, ale pi lwen pase koòdone senp ki baze sou kòmand pou ale nan sistèm vrèman konvèsasyon ak entèlijan ki ogmante kapasite imen an sekirite ak efikasite.

Konbinezon PersonaPlex 7B Nvidia a, pouvwa anvan tout koreksyon Apple Silicon, ak distenksyon Swift se pi plis pase jis yon demonstrasyon teknik; li se yon plan pou lavni entèraksyon moun-òdinatè. Li pwomèt yon mond kote aparèy nou yo pa konprann nou kòm kòmandan k ap bay lòd, men kòm patnè nan yon konvèsasyon.

Kesyon yo poze souvan

Entwodwi nouvo fwontyè AI vwa a

Peyizaj la nan entèlijans atifisyèl ap deplase soti nan nwaj la nan kwen an, ak Apple Silisyòm ap dirije chaj la. Pou devlopè yo, kapasite nan kouri modèl pwisan lokalman ouvè yon nouvo mond posiblite pou aplikasyon ki reponn, prive ak offline-kapab. Antre nan PersonaPlex 7B Nvidia a, yon modèl modèn ki fèt pou AI konvèsasyon natirèl ak ekspresyon. Lè modèl pwisan sa a asosye ak gwo abilite motè neral yon Mac seri M ak yon aplikasyon Swift rasyonalize, rezilta a se yon dekouvèt nan entèraksyon lapawòl-a-lapawòl an tan reyèl, full-duplex.

Kisa Diskou-a-Lapawòl Full-Duplex ye?

Anvan plonje nan majik teknik la, li enpòtan pou w konprann eleman "full-duplex" la. Kontrèman ak asistan vwa senp ki mande pou ou peze yon bouton epi tann yon repons, entèraksyon full-duplex imite yon konvèsasyon natirèl imen. Li pèmèt pou pale ak koute similtane, sa ki pèmèt entèripsyon, poz, ak vre dyalòg retounen ak lide. Sa vle di AI a ka trete sa w ap di pandan w ap toujou pale ak fòmile yon repons ki kòmanse nan moman w fini-oswa menm dousman entèfere si w pran yon poz. Reyalize sa a sou yon aparèy lokal, san yo pa voye odyo nan yon sèvè byen lwen, se Graal apa pou kreye eksperyans itilizatè san pwoblèm ak entwisyon.

Swiv Achitekti Inifye Apple Silisyòm

Kle a pou fè sa posib sou yon laptop oswa yon Desktop se achitekti inik nan Apple Silisyòm. Chips M-seri yo konbine CPU a, GPU, ak yon pwisan Neural Engine (NE) sou yon sèl moso Silisyòm. Achitekti memwa inifye sa a se ideyal pou chay travay aprantisaj machin. Gwo modèl tankou PersonaPlex 7B ka chaje dirèkteman nan memwa pataje a, sa ki pèmèt CPU a okipe lojik aplikasyon an nan Swift, GPU a akselere kalkil sèten, ak Motè Neural la dechire nan operasyon yo tensor debaz nan modèl la ak efikasite ekstrèm. Sinèrji sa a elimine blokaj done k ap deplase ant konpozan separe, sa ki fè enferans an tan reyèl pa sèlman posib, men lis ak enèji efikas.

Konstwi Pipeline ak Swift

Kreye tiyo full-duplex sa a nan Swift enplike nan orchestrasyon plizyè konpozan. Premyèman, fondasyon an AVFoundation kaptire opinyon odyo soti nan mikwofòn la. Lè sa a, kouran odyo sa a konvèti nan tèks lè l sèvi avèk yon modèl rekonesans lapawòl lokal, tankou kad lapawòl sou aparèy Apple la. Tèks ki kapab lakòz yo manje nan modèl Nvidia PersonaPlex 7B, ki te optimize pou kouri atravè Core ML oswa yon lòt motè enferans Swift-konpatib tankou MLX. Modèl la jenere yon repons tèks reflechi ak kontèks. Finalman, tèks sa a konvèti tounen nan yon diskou ki gen lavi lè l sèvi avèk yon motè lokal tèks-a-lapawòl (TTS). Vrè defi a se nan jere eleman sa yo ansanm pou reyalize efè full-duplex la—yon travay kote modèl modèn Swift a konkourans ak async/wait briye.

Enplikasyon pou platfòm tankou Mewayz

Pou yon sistèm operasyon modilè biznis tankou Mewayz, kwasans teknolojik sa a se transfòmasyon. Imajine ajan vwa entèlijan nan lojisyèl biznis ou ki ka ede w ekri imèl, jere delè pwojè konplèks, oswa analize done-tout atravè konvèsasyon natirèl, san yo pa janm konpwomèt done antrepriz sansib. Yon modil Mewayz ki mache ak lokal PersonaPlex 7B ta ka ofri: