Python 3.14-iň ZSTD moduly

Python 3.14 adaty kitaphanada compression.zstd modulyny hödürleýär we maşyn öwreniş modelleri bolmazdan tekst klassifikasiýasyna geň galdyryjy güýçli çemeleşmäni açýar. Kompressoryň iki teksti näderejede gysyp biljekdigini ölçemek bilen, olaryň meňzeşligini kesgitläp bilersiňiz - Normalized Compression Distance (NCD) usuly - indi Zstandard önümçilik iş ýükleri üçin ýeterlik çalt edýär.

Gysyş esasly tekst klassifikasiýasy hakykatda nähili işleýär?

gysyş esasly klassifikasiýanyň esasy pikiri maglumat teoriýasyna esaslanýar. Zstandard ýaly gysyş algoritmi tekst toparyna gabat gelende, nagyşlaryň içerki sözlügini döredýär. Iki tekst meňzeş söz düzümini, sintaksis we gurluşy paýlaşýan bolsa, olary birleşdirmek diňe uly teksti gysmakdan birneme uly netije berýär. Baglanyşyksyz bolsa, birleşdirilen gysylan ululyk iki ululygyň jemine ýakynlaşýar.

Bu gatnaşyk kadalaşdyrylan gysyş aralygy formulasy bilen ele alynýar: NCD (x, y) = (C (xy) - min (C (x), C (y))) / max (C (x), C (y)) , bu ýerde C (x) x tekstiň gysylan ululygy we C (xy) iki tekstiň gysylan ululygydyr. 0-a ýakyn bir NCD bahasy, tekstleriň gaty meňzeşligini, 1-e golaý baha bolsa maglumat mazmunynyň ýokdugyny aňladýar.

Bu usuly täsin galdyrýan zat, hiç hili okuw maglumatlary, tokenizasiýa, goýulma we GPU talap etmeýär. Kompressoryň özi tekstiň gurluşynyň öwrenilen modeli hökmünde çykyş edýär. "Pes çeşmeli tekst klassifikasiýasy: Kompressorlar bilen parametrsiz klassifikasiýa usuly" (2023) ýaly makalalarda çap edilen gözlegler, gzip esasly NCD-iň käbir ölçeglerde BERT bilen bäsleşendigini görkezdi we bu çemeleşmä täzeden gyzyklanma döretdi.

Python 3.14-iň Zstandard moduly näme üçin NCD üçin oýun çalşyjy?

Python 3.14-den öň Zstandard ulanyp, üçünji tarap python-zstandard paketini gurmagy talap edýärdi. PEP 784 arkaly hödürlenen täze compression.zstd moduly gönüden-göni CPython bilen iberilýär. Bu, Metanyň söweş synagyndan geçen libzstd tarapyndan goldanýan kepillendirilen, durnukly API-ni aňladýar. Klassifikasiýa meseleleri üçin Zstandard gzip ýa-da bzip2:

• Sözlük goldawy: Öňünden taýýarlanan Zstandard sözlükleri, NCD takyklygynyň iň möhümi bolan resminamanyň ölçeg aralygyndaky kiçijik tekstleriň (4KB-den pes) gysylmagyny ep-esli gowulaşdyryp biler
• Akym API: Modul artýan gysyşy goldaýar, tekstleri gaýtadan işleýän klassifikasiýa turbalaryny tutuş korpora ýadyna ýüklemezden mümkinçilik berýär
• Standart kitaphananyň durnuklylygy: Hiç hili wersiýa gapma-garşylygy ýok, üpjünçilik zynjyry töwekgelçiligi ýok - gysyş import zstd-den her Python 3.14+ gurnamasynda işleýär

Esasy düşünje: Köp dilli teksti ýerli dolandyrýan çalt, garaşly däl esas gerek bolsa, gysyş esasly klassifikasiýa has gowy işleýär. Kompressorlar dile mahsus bellikler däl-de, çig baýtlarda işleýändigi sebäpli, hytaý, arap ýa-da garyşyk resminamalary iňlis dili ýaly täsirli toparlara bölýärler - hiç hili dil modeli talap edilmeýär.

Amaly ýerine ýetiriş nämä meňzeýär?

Python 3.14-de iň az NCD klassifikatory 30 setirde gabat gelýär. Her salgylanma tekstini kodlaýarsyňyz (kategoriýa boýunça bir), soňra her täze resminama üçin NCD-ni her salgylanma bilen hasaplaň we kategoriýany iň pes aralyk bilen belläň. Ine esasy logika:

Ilki bilen, zstd gysyş importyndan bilen moduly import ediň. Iki baýt setiri kabul edýän, hersini aýratynlykda gysýan, birleşmesini gysýan we NCD balyny yzyna gaýtaryp berýän funksiýany kesgitläň. Soňra wekilçilikli nusga tekstlerine sözlük kartalaşdyryş kategoriýa belliklerini guruň. Gelýän her bir resminama üçin kategoriýalara gaýtalaň, NCD-ni hasaplaň we iň pesini saýlaň.

💡 DID YOU KNOW?

Mewayz replaces 8+ business tools in one platform

CRM · Invoicing · HR · Projects · Booking · eCommerce · POS · Analytics. Free forever plan available.

Start Free →

AG News maglumatlar bazasyna (dört synply habarlaryň klassifikasiýasy) garşy görkezijilerde, Zstandard 3-ni gysyş derejesinde ulanmak takmynan 62-65% takyklyga ýetýär - okuw ädimleri, model göçürip almak we bir CPU ýadrosynda sekuntda takmynan 8000 resminamanyň klassifikasiýa tizligi. Gysyş derejesini 10-a çykarmak, sekuntda 2500 resminama geçirijini azaltmak üçin takyklygy 68% töweregi edýär. Bu sanlar gowy düzülen transformatorlara gabat gelmeýär, ýöne prototip ýazmak, maglumatlary belliklemek üçlügi ýa-da ML baglylyklaryny gurmagyň amatsyz şertleri üçin berk binýady üpjün edýär.

NCD adaty ML klassifikasiýasy bilen nädip deňeşdirilýär?

Dogry jogap, NCD ýokary paýly önümçilik ulgamlarynda transformator esasly klassifikatorlaryň ornuny tutmaýar. BERT ýa-da GPT esasly klassifikatorlar ýaly modeller standart ölçeglerde 94% + takyklyga ýetýär. Şeýle-de bolsa, Zstandard bilen NCD özboluşly bir ýeri eýeleýär. Sowuk başlangyç ssenariýalarynda ajaýyp, synpda 50-den az bellikli mysal bar - hatda gowy düzülen modelleriň hem göreşýän ýagdaýy. Nol okuw wagtyny talap edýär, islendik dili ýa-da kodlamany üýtgetmän işleýär we hemişelik ýat bilen CPU-da işleýär.

Gelýän mazmuny köp mukdarda dolandyrýan kärhanalar üçin - goldaw biletleri, sosial media bellikleri, önüm synlary - Zstandard NCD klassifikatory, has gymmat modeller netijeleri takyklamazdan ozal resminamalary hakyky wagtda kategoriýalaşdyrýan birinji pass marşrutizatory bolup biler. Bu iki basgançakly turbageçiriji, umumy takyklygy saklamak bilen, çykdajylary ep-esli azaldar. 138,000-den gowrak telekeçi tarapyndan ulanylýan Mewayzyň 207-modully iş ulgamy ýaly masştabda ulanyjy tarapyndan döredilen mazmuny gaýtadan işleýän platformalar, habarlary ugrukdyrmak, mazmuny bellemek we agyr infrastrukturasyz ulanyjy tejribelerini şahsylaşdyrmak üçin ýeňil klassifikasiýadan peýdalanýar.

Çäklendirmeler we iň oňat amallar näme?

Gysyş esasly klassifikasiýa, hasaba almaly çäklendirmeleriňiz bar. Gysga tekstler (100 baýtdan aşakda) ygtybarly NCD ballaryny öndürýär, sebäbi kompressoryň manyly nagyşlar gurmak üçin ýeterlik maglumatlary ýok. Bu usul, salgylanma tekstlerini saýlamaga-da duýgur - pes saýlanan wekiller takyklygy düýpgöter peseldýärler. NCD ähtimallyk modeli däl-de, uzaklyk ölçegi bolany üçin, tebigy ýagdaýda ynam ballaryny öndürmeýär.

Bu çemeleşmeden has köp peýdalanmak üçin: kategoriýa boýunça azyndan 500 baýtdan ybarat tekst tekstlerini ulanyň, synpda birnäçe mysallary birleşdirip synag ediň (birleşdirilen 2-3 wekil resminamasy has gowy gysyş sözlükleri berýär), gysylmazdan ozal tekst örtügini we giňişligini kadalaşdyryň we Zstandard gysyş derejeleriniň 3, 6 we 10 derejelerini kesgitläň. Kiçi tekst klassifikasiýasy üçin domen korpusyňyzda Zstandard sözlügini öňünden taýýarlaň - bu ýekeje ädim gysga resminamalarda takyklygy 8-12 göterim ýokarlandyryp biler.

Freygy-ýygydan soralýan soraglar

gysyş esasly klassifikasiýa duýgy derňewi üçin işleýärmi?

edip biler, ýöne gowak bilen. Duýgy derňewi gurluş taýdan meňzeş tekstleriň içinde inçe tonal tapawutlary ýüze çykarmagy talap edýär. NCD mowzuk kategoriýasy üçin has gowy işleýär, bu ýerde dürli kategoriýalardaky resminamalar aýratyn sesleri ulanýarlar. Duýgy üçin takyklyk adatça 55-60% töweregi bolýar - tötänleýin has gowy, ýöne özbaşdak önümçilige taýyn däl. NCD aýratynlyklaryny ýeňil logistik regressiýa modeli bilen birleşdirmek netijeleri ep-esli gowulandyrýar.

3.14-den öň Python wersiýalarynda compression.zstd modulyny ulanyp bilerinmi?

No.ok. Python 3.14-de compression.zstd moduly täze. Öňki wersiýalary üçin, gysyş () we dekompress () funksiýalaryny üpjün edýän PyPI-den python-zstandard paketini guruň. NCD logikasy birmeňzeş bolup galýar - diňe import beýany üýtgeýär. 3.14-e ýetireniňizden soň, üçünji tarap garaşlylygyny düýbünden taşlap bilersiňiz.

Zstandard NCD, kosin meňzeşligi bilen TF-IDF bilen deňeşdirilende nähili işleýär?

Deňagramly maglumat bazalary bilen köp synply mowzuk klassifikasiýasynda, TF-IDF we kosin meňzeşligi, Zstandard NCD-iň 62-68% bilen deňeşdirilende, adatça 75-82% takyklyga ýetýär. Şeýle-de bolsa, TF-IDF gabat gelýän wektorizatory, kesgitlenen söz baýlygyny we dile mahsus söz sanawlaryny talap edýär. Zstandard NCD bu öňünden işlemegiň hiç birini talap etmeýär, dilleriň üstünde işleýär we söz düzüminiň ululygyna garamazdan täze resminamalary hemişe klassifikasiýa edýär. Çalt prototip ýazmak ýa-da köp dilli gurşaw üçin NCD köplenç iş ulgamyna has çalt ýol.

Awtomatiki mazmun turbageçirijilerini gurýarsyňyzmy, müşderi habarlaryny ugrukdyrýarsyňyzmy ýa-da sanly işiňiz üçin klassifikasiýa logikasyny döredýärsiňizmi, Python 3.14-iň içindäki Zstandard goldawy gysyş esasly NCD-i öňkülerinden has elýeterli edýär. Işewür mazmunyňyzy, önümleriňizi, kurslaryňyzy we müşderileriň özara gatnaşyklaryny dolandyrmak üçin birmeňzeş platforma gözleýän bolsaňyz, şu gün Mewayz bilen gurup başlaň we bu usullary tutuş işiňizde işlediň.