Teksto klasifikavimas naudojant Python 3.14 ZSTD modulį

Python 3.14 į standartinę biblioteką įveda modulį compression.zstd ir atrakina stebėtinai galingą teksto klasifikavimo metodą be mašininio mokymosi modelių. Išmatuodami, kaip kompresorius gali suspausti du tekstus kartu, galite nustatyti jų panašumą – techniką, vadinamą normalizuotu suspaudimo atstumu (NCD) – ir dabar Zstandard daro jį pakankamai greitą gamybos apkrovai.

Kaip iš tikrųjų veikia suspaudimu pagrįsta teksto klasifikacija?

Pagrindinė suspaudimu pagrįsto klasifikavimo idėja yra pagrįsta informacijos teorija. Kai glaudinimo algoritmas, pvz., Zstandard, susiduria su teksto bloku, jis sukuria vidinį šablonų žodyną. Jei du tekstai turi panašią žodyną, sintaksę ir struktūrą, juos suglaudinus gaunamas tik šiek tiek didesnis rezultatas, nei suglaudinant vieną didesnį tekstą. Jei jie nesusiję, sujungtas suspaustas dydis artėja prie abiejų atskirų dydžių sumos.

Šis ryšys užfiksuotas normalizuoto glaudinimo atstumo formule: NCD(x, y) = (C(xy) - min(C(x), C(y))) / max(C(x), C(y)), kur C(x) yra suspaustas teksto x dydis, o C(xy) yra suspaustas dviejų tekstų dydis. NCD vertė artima 0 reiškia, kad tekstai yra labai panašūs, o vertė artima 1 reiškia, kad jie beveik neturi jokio informacinio turinio.

Šią techniką išskiria tai, kad jai nereikia jokių mokymo duomenų, prieigos raktų, įterpimų ir GPU. Pats kompresorius veikia kaip išmoktas teksto struktūros modelis. Tyrimai, paskelbti tokiuose straipsniuose kaip „Mažai išteklių reikalaujanti teksto klasifikacija: klasifikavimo metodas be parametrų su kompresoriais“ (2023 m.), parodė, kad gzip pagrindu sukurtas NCD nukonkuravo BERT pagal tam tikrus etalonus ir paskatino naują susidomėjimą šiuo metodu.

Kodėl Python 3.14 Zstandard modulis yra NCD žaidimų keitiklis?

Prieš Python 3.14 naudojant Zstandard reikėjo įdiegti trečiosios šalies python-zstandard paketą. Naujasis compression.zstd modulis, pristatytas naudojant PEP 784, pristatomas tiesiogiai su CPython. Tai reiškia nulinę priklausomybę ir garantuotą, stabilią API, kurią palaiko „Meta“ kovoje patikrinta „libzstd“. Konkrečiai atliekant klasifikavimo užduotis, Zstandard siūlo keletą pranašumų, palyginti su gzip arba bzip2:

• Greitis: „Zstandard“ suglaudina 3–5 kartus greičiau nei „gzip“, esant panašiems santykiams, todėl tūkstančių dokumentų paketų klasifikavimas įgyvendinamas per kelias sekundes, o ne minutes.
• Reguliuojami glaudinimo lygiai: 1–22 lygiai leidžia keisti greitį į santykį, todėl galite kalibruoti NCD tikslumą pagal pralaidumo reikalavimus.
• Žodynų palaikymas: iš anksto parengti Zstandard žodynai gali žymiai pagerinti mažų tekstų (iki 4 KB), o tai yra būtent dokumento dydžio diapazonas, kuriame svarbiausias NCD tikslumas.
• Srautinio perdavimo API: modulis palaiko laipsnišką glaudinimą, įgalindamas klasifikavimo vamzdynus, kurie apdoroja tekstus neįkeliant viso korpuso į atmintį.
• Standartinis bibliotekos stabilumas: nėra versijų konfliktų, nėra tiekimo grandinės rizikos – iš glaudinimo importavimo zstd veikia kiekviename Python 3.14 ir naujesnės versijos diegime

Pagrindinė įžvalga: glaudinimu pagrįstas klasifikavimas geriausiai veikia, kai reikia greitos, be priklausomybės bazinės linijos, kuri tvarko daugiakalbį tekstą savaime. Kadangi kompresoriai naudoja neapdorotus baitus, o ne konkrečios kalbos prieigos raktus, jie klasifikuoja kinų, arabų ar mišrių kalbų dokumentus taip pat efektyviai kaip ir anglų kalba – nereikia kalbos modelio.

Kaip atrodo praktinis įgyvendinimas?

Python 3.14 minimalus NCD klasifikatorius telpa mažiau nei 30 eilučių. Užkoduojate kiekvieną nuorodos tekstą (po vieną kiekvienai kategorijai), tada kiekvienam naujam dokumentui apskaičiuojate NCD pagal kiekvieną nuorodą ir priskirkite kategoriją su mažiausiu atstumu. Štai pagrindinė logika:

Pirmiausia importuokite modulį naudodami iš suspaudimo importavimo zstd. Apibrėžkite funkciją, kuri priima dvi baitų eilutes, suglaudina kiekvieną atskirai, suglaudina jų sujungimą ir grąžina NCD balą. Tada sukurkite žodyno susiejimo kategorijų etiketes pagal tipinius tekstų pavyzdžius. Kiekvienam gaunamam dokumentui kartokite kategorijas, apskaičiuokite NCD ir pasirinkite minimumą.

Palyginus su AG News duomenų rinkiniu (keturių klasių naujienų klasifikacija), šis metodas, naudojant Zstandard 3 glaudinimo lygiu, pasiekia maždaug 62–65 % tikslumą – nėra jokio mokymo žingsnio, neatsisiunčiamas modelis, o klasifikavimo greitis yra maždaug 8 000 dokumentų per sekundę viename procesoriaus branduolyje. Padidinus glaudinimo lygį iki 10, tikslumas padidėja iki maždaug 68 %, o pralaidumas sumažėja iki maždaug 2 500 dokumentų per sekundę. Šie skaičiai neatitinka tiksliai sureguliuotų transformatorių, tačiau jie suteikia tvirtą pagrindą prototipų kūrimui, duomenų ženklinimui arba aplinkoms, kuriose ML priklausomybių įdiegti nepraktiška.

Kaip NCD lyginamas su tradicine ML klasifikacija?

Sąžiningas atsakymas yra tas, kad NCD nepakeičia transformatorinių klasifikatorių didelės vertės gamybos sistemose. Tokie modeliai kaip BERT arba GPT pagrįsti klasifikatoriai pasiekia 94 %+ tikslumą pagal standartinius etalonus. Tačiau NCD su Zstandard užima unikalią nišą. Jis puikiai tinka šalto paleidimo scenarijuose, kai vienoje klasėje turite mažiau nei 50 pažymėtų pavyzdžių – tokia situacija, kai net sureguliuoti modeliai susiduria su sunkumais. Jis nereikalauja jokio mokymo laiko, be pakeitimų tvarko bet kokią kalbą ar kodavimą ir veikia tik CPU su nuolatine atmintimi.

Įmonėms, tvarkančioms didelius gaunamo turinio kiekius – palaikymo bilietus, socialinių tinklų paminėjimus, produktų apžvalgas – Zstandard NCD klasifikatorius gali būti naudojamas kaip pirmojo praėjimo maršruto parinktuvas, kuris realiuoju laiku suskirsto dokumentus į kategorijas, kol brangesni modeliai patobulina rezultatus. Šis dviejų pakopų vamzdynas žymiai sumažina išvadų sąnaudas, kartu išlaikant bendrą tikslumą. Platformos, apdorojančios naudotojų sukurtą turinį dideliu mastu, pvz., „Mewayz“ 207 modulių verslo OS, kurią naudoja daugiau nei 138 000 verslininkų, naudojasi lengvu klasifikavimu, kad nukreiptų pranešimus, žymėtų turinį ir suasmenintų naudotojų patirtį be didelės infrastruktūros.

Kokie yra apribojimai ir geriausia praktika?

Suspaudimu pagrįsta klasifikacija turi žinomų apribojimų, į kuriuos turėtumėte atsižvelgti. Trumpi tekstai (mažiau nei 100 baitų) sukuria nepatikimus NCD balus, nes kompresorius neturi pakankamai duomenų reikšmingiems šablonams kurti. Ši technika taip pat jautri nuorodų tekstų pasirinkimui – prastai parinkti atstovai smarkiai pablogina tikslumą. Kadangi NCD yra atstumo metrika, o ne tikimybinis modelis, jis natūraliai nesukuria pasitikėjimo balų.

Kad išnaudotumėte visas šio metodo galimybes: naudokite ne mažiau kaip 500 baitų vienai kategorijai skirtus informacinius tekstus, eksperimentuokite sujungdami kelis pavyzdžius vienoje klasėje (sujungus 2–3 tipinius dokumentus gaunami geresni glaudinimo žodynai), prieš suglaudindami normalizuokite teksto didžiąsias ir mažąsias raides bei tarpą ir palyginkite Zstandartinius 3, 6 ir 10 glaudinimo lygius, kad rastumėte savo greitį. Jei norite klasifikuoti mažą tekstą, iš anksto apmokykite Zstandard žodyną savo domeno korpuse – šis vienas veiksmas gali pagerinti trumpų dokumentų tikslumą 8–12 procentinių punktų.

Dažniausiai užduodami klausimai

Ar suspaudimu pagrįsta klasifikacija tinka nuotaikų analizei?

Galima, bet su išlygomis. Sentimentų analizė reikalauja aptikti subtilius toninius skirtumus struktūriškai panašiuose tekstuose. NCD geriau tinka temų klasifikavimui, kai skirtingų kategorijų dokumentuose naudojami skirtingi žodynai. Kalbant apie nuotaikas, tikslumas paprastai siekia apie 55–60 % – geriau nei atsitiktinis, bet nėra paruoštas gamybai. NCD funkcijų derinimas su lengvu logistinės regresijos modeliu žymiai pagerina rezultatus.

Ar galiu naudoti modulį compression.zstd senesnėse Python versijose, kuriose yra 3.14?

Ne. Modulis compression.zstd yra naujas Python 3.14 versijoje. Jei naudojate ankstesnes versijas, įdiekite paketą python-zstandard iš PyPI, kuris suteikia lygiavertes funkcijas compress() ir decompress(). NCD logika išlieka identiška – keičiasi tik importavimo sakinys. Kai naujovinsite į 3.14, galėsite visiškai atsisakyti priklausomybės nuo trečiosios šalies.

Kaip veikia Zstandard NCD, palyginti su TF-IDF su kosinuso panašumu?

Kelių klasių temų klasifikavimo su subalansuotais duomenų rinkiniais atveju TF-IDF ir kosinuso panašumas paprastai pasiekia 75–82 % tikslumą, palyginti su Zstandard NCD – 62–68 %. Tačiau TF-IDF reikalingas pritaikytas vektorius, apibrėžtas žodynas ir konkrečiai kalbai būdingi stabdžių žodžių sąrašai. „Zstandard NCD“ nereikalauja jokio išankstinio apdorojimo, veikia visomis kalbomis ir klasifikuoja naujus dokumentus pastoviu laiku, nepaisant žodyno dydžio. Greitam prototipų kūrimui ar daugiakalbėje aplinkoje NCD dažnai yra greitesnis kelias į veikiančią sistemą.

Nesvarbu, ar kuriate automatizuotus turinio vamzdynus, nukreipiate klientų pranešimus ar kuriate savo skaitmeninio verslo klasifikavimo logikos prototipus, „Python 3.14“ integruotas „Zstandard“ palaikymas daro suspaudimu pagrįstą NCD prieinamesnį nei bet kada anksčiau. Jei ieškote „viskas viename“ platformos verslo turiniui, produktams, kursams ir klientų sąveikai valdyti, pradėkite kurti su „Mewayz“ šiandien ir pritaikykite šiuos metodus, kad jie veiktų visoje savo veikloje.