Sasa nina muktadha wote ninaohitaji. Acha niandike chapisho la blogi.

Uainishaji wa Maandishi kwa kutumia Moduli ya ZSTD ya Python 3.14

Python 3.14 inatanguliza sehemu ya compression.zstd kwenye maktaba ya kawaida, na inafungua mbinu ya kushangaza ya uainishaji wa maandishi bila miundo ya kujifunza kwa mashine. Kwa kupima jinsi compressor inavyoweza kubana maandishi mawili pamoja, unaweza kubainisha mfanano wao - mbinu inayoitwa Normalized Compression Distance (NCD) - na sasa Zstandard inaifanya iwe haraka vya kutosha kwa ajili ya kazi za uzalishaji.

Je, Uainishaji wa Maandishi Unaotegemea Mfinyazo Hufanya Kazi Gani?

Wazo kuu la uainishaji kulingana na mfinyazo limejikita katika nadharia ya habari. Wakati kanuni ya mfinyazo kama vile Zstandard inapokutana na safu ya maandishi, huunda kamusi ya ndani ya ruwaza. Ikiwa matini mbili zinashiriki msamiati, sintaksia, na muundo sawa, kuzibana pamoja hutoa matokeo makubwa kidogo tu kuliko kubana maandishi makubwa pekee. Ikiwa hazihusiani, saizi iliyobanwa iliyounganishwa inakaribia jumla ya saizi zote mbili.

Uhusiano huu umenaswa kwa fomula ya Umbali wa Mfinyizo wa Kawaida: NCD(x, y) = (C(xy) - min(C(x), C(y))) / max(C(x), C(y)), ambapo C(x) ni saizi iliyobanwa ya maandishi x, na C(xy) ni saizi iliyobanwa ya maandishi mawili yaliyounganishwa. Thamani ya NCD karibu na 0 inamaanisha kuwa maandishi yanafanana sana, wakati thamani karibu na 1 inamaanisha kuwa hayashiriki karibu maudhui ya habari.

Kinachofanya mbinu hii kustaajabisha ni kwamba haihitaji data ya mafunzo, hakuna tokeni, hakuna upachikaji, na hakuna GPU. Compressor yenyewe hufanya kama kielelezo cha kujifunza cha muundo wa maandishi. Utafiti uliochapishwa katika karatasi kama vile "Uainishaji wa Maandishi ya Rasilimali za Chini: Mbinu ya Uainishaji Isiyo na Vigezo na Vifinyizi" (2023) ulionyesha kuwa NCD inayotokana na gzip ilishindana na BERT kwa vigezo fulani, na hivyo kuzua shauku mpya katika mbinu hiyo.

Kwa nini Moduli ya Zstandard ya Python 3.14 ni Kibadilishaji Mchezo cha NCD?

Kabla ya Python 3.14, kwa kutumia Zstandard inahitajika kusakinisha kifurushi cha mtu wa tatu python-zstandard. Moduli mpya ya compression.zstd, iliyoletwa kupitia PEP 784, husafirishwa moja kwa moja na CPython. Hii inamaanisha sifuri juu ya utegemezi na API iliyohakikishwa, thabiti inayoungwa mkono na libzstd iliyojaribiwa kwa vita ya Meta. Kwa kazi za uainishaji mahususi, Zstandard hutoa manufaa kadhaa juu ya gzip au bzip2:

• Kasi: Zstandard inabana mara 3-5 kwa kasi zaidi kuliko gzip kwa uwiano unaolinganishwa, na kufanya uainishaji wa bechi juu ya maelfu ya hati uweze kutumika kwa sekunde badala ya dakika
• Viwango vya mbano vinavyoweza kutumika: Viwango vya 1 hadi 22 hukuwezesha kubadilisha kasi ya uwiano, kukuruhusu kurekebisha usahihi wa NCD dhidi ya mahitaji ya upitishaji
• Usaidizi wa Kamusi: Kamusi za Zstandard zilizofunzwa mapema zinaweza kuboresha kwa kiasi kikubwa ubanaji wa maandishi madogo (chini ya 4KB), ambayo ndiyo safu ya ukubwa wa hati ambapo usahihi wa NCD ni muhimu zaidi
• API ya Kutiririsha: Sehemu hii inaauni ukandamizaji unaoongezeka, kuwezesha mirija ya uainishaji ambayo huchakata maandishi bila kupakia shirika zima kwenye kumbukumbu
• Uthabiti wa kawaida wa maktaba: Hakuna migongano ya matoleo, hakuna hatari ya msururu wa usambazaji — kutoka kwa uingizaji wa kubana zstd hufanya kazi kwenye kila usakinishaji wa Python 3.14+

Maarifa muhimu: Uainishaji unaotegemea mfinyizo hufanya kazi vyema unapohitaji msingi wa haraka, usio na utegemezi ambao unashughulikia maandishi ya lugha nyingi kienyeji. Kwa sababu vibandiko hufanya kazi kwa kutumia baiti mbichi badala ya tokeni za lugha mahususi, huainisha hati za Kichina, Kiarabu, au lugha-mseto kwa ufasaha kama Kiingereza — hakuna muundo wa lugha unaohitajika.

Je, Utekelezaji wa Vitendo Unaonekanaje?

Kiainishi kidogo cha NCD katika Python 3.14 kinatoshea chini ya mistari 30. Unasimba kila maandishi ya marejeleo (moja kwa kila kategoria), kisha kwa kila hati mpya, unakokotoa NCD dhidi ya kila marejeleo na kugawa kitengo na umbali wa chini kabisa. Hii hapa mantiki ya msingi:

Kwanza, leta moduli kwa kutoka kwa uingizaji wa kubana zstd. Bainisha chaguo la kukokotoa ambalo linakubali mifuatano miwili ya baiti, kubana kila moja moja, kubana muunganisho wake, na kurudisha alama ya NCD. Kisha unda lebo za kategoria za ramani za kamusi kwa sampuli wakilishi za maandishi. Kwa kila hati inayoingia, rudia kategoria, hesabu NCD, na uchague kiwango cha chini zaidi.

Katika viwango dhidi ya mkusanyiko wa data wa AG News (uainishaji wa habari wa darasa nne), mbinu hii inayotumia Zstandard katika kiwango cha mbano cha 3 inafikia takriban usahihi wa 62-65% - hakuna hatua ya mafunzo, hakuna upakuaji wa muundo, na kasi ya uainishaji ya takriban hati 8,000 kwa sekunde kwenye msingi mmoja wa CPU. Kuinua kiwango cha mgandamizo hadi 10 kunasukuma usahihi hadi karibu 68% kwa gharama ya kupunguza upitishaji hadi hati 2,500 kwa sekunde. Nambari hizi hazilingani na transfoma zilizoboreshwa, lakini hutoa msingi dhabiti wa uigaji, utatuzi wa lebo za data, au mazingira ambapo kusakinisha utegemezi wa ML hauwezekani.

Je, NCD Inalinganishwaje na Uainishaji wa Jadi wa ML?

Jibu la uaminifu ni kwamba NCD si mbadala wa viainishaji vya msingi vya kibadilishaji katika mifumo ya uzalishaji wa viwango vya juu. Miundo kama vile viainishi vya BERT au GPT hupata usahihi wa 94%+ kwenye vigezo vya kawaida. Walakini, NCD na Zstandard inachukua niche ya kipekee. Inafaulu katika matukio ya mwanzo baridi ambapo una mifano isiyozidi 50 iliyo na lebo kwa kila darasa - hali ambayo hata wanamitindo walioboreshwa hutatizika. Inahitaji muda sifuri wa mafunzo, hushughulikia lugha yoyote au usimbaji bila kubadilishwa, na hutumika kabisa kwenye CPU yenye kumbukumbu isiyobadilika.

Kwa biashara zinazosimamia idadi kubwa ya maudhui yanayoingia — tikiti za usaidizi, kutajwa kwa mitandao ya kijamii, ukaguzi wa bidhaa — kiainishaji cha Zstandard NCD kinaweza kutumika kama kipanga njia cha pasi cha kwanza ambacho hupanga hati katika muda halisi kabla ya miundo ya gharama kubwa zaidi kuboresha matokeo. Bomba hili la hatua mbili hupunguza gharama za uelekezaji kwa kiasi kikubwa huku hudumisha usahihi wa jumla. Majukwaa ya kuchakata maudhui yaliyozalishwa na mtumiaji kwa kiwango kikubwa, kama vile Mfumo wa uendeshaji wa biashara wa moduli 207 wa Mewayz unaotumiwa na wajasiriamali zaidi ya 138,000, hunufaika kutokana na uainishaji mwepesi hadi ujumbe wa njia, maudhui ya lebo na kubinafsisha matumizi ya mtumiaji bila miundombinu nzito.

Je, Kuna Mapungufu na Mbinu Bora?

Uainishaji kulingana na mfinyazo una vikwazo vinavyojulikana unapaswa kuzingatia. Maandishi mafupi (chini ya baiti 100) hutoa alama za NCD zisizotegemewa kwa sababu kibandiko hakina data ya kutosha kuunda ruwaza za maana. Mbinu hiyo pia ni nyeti kwa uchaguzi wa maandiko ya kumbukumbu - wawakilishi waliochaguliwa vibaya hupunguza usahihi kwa kasi. Na kwa sababu NCD ni kipimo cha umbali badala ya kielelezo cha uwezekano, haitoi alama za kujiamini.

Ili kufaidika zaidi na mbinu hii: tumia maandishi ya marejeleo ya angalau baiti 500 kwa kila kategoria, jaribu kuambatanisha mifano mingi kwa kila darasa (hati wakilishi 2-3 zikiunganishwa pamoja hutoa kamusi bora zaidi za kubana), kurekebisha ukubwa wa maandishi na nafasi nyeupe kabla ya kubana, na ulinganifu katika viwango vya 3, 6, na 10 vya mbano wa Zstandard ili kupata usahihi wako mtamu. Kwa uainishaji wa maandishi madogo, fundisha mapema kamusi ya Zstandard kwenye kongamano la kikoa chako - hatua hii moja inaweza kuboresha usahihi kwa asilimia 8-12 ya pointi kwenye hati fupi.

Maswali Yanayoulizwa Sana

Je, uainishaji unaotegemea mbano hufanya kazi kwa uchanganuzi wa hisia?

Inaweza, lakini kwa tahadhari. Uchanganuzi wa hisia unahitaji kugundua tofauti fiche za toni ndani ya matini zinazofanana kimuundo. NCD hufanya kazi vyema kwa uainishaji wa mada ambapo hati katika kategoria tofauti hutumia msamiati tofauti. Kwa maoni, usahihi hutua karibu 55-60% - bora kuliko nasibu, lakini sio tayari kwa uzalishaji peke yake. Kuchanganya vipengele vya NCD na muundo mwepesi wa urejeshaji wa vifaa huboresha matokeo kwa kiasi kikubwa.

Je, ninaweza kutumia moduli ya compression.zstd katika matoleo ya Python kabla ya 3.14?

Hapana. Moduli ya compression.zstd ni mpya katika Python 3.14. Kwa matoleo ya awali, sakinisha kifurushi cha python-zstandard kutoka PyPI, ambacho hutoa vitendaji sawa vya compress() na decompress(). Mantiki ya NCD inasalia kuwa sawa - taarifa ya uingizaji pekee ndiyo inayobadilika. Ukishapata toleo jipya la 3.14, unaweza kuacha kabisa utegemezi wa wahusika wengine.

Je, Zstandard NCD hufanya kazi vipi ikilinganishwa na TF-IDF yenye ufanano wa cosine?

Kwenye uainishaji wa mada za madarasa mengi kwa seti za data zilizosawazishwa, TF-IDF pamoja na ufanano wa cosine kwa kawaida hufikia usahihi wa 75-82% ikilinganishwa na 62-68% ya Zstandard NCD. Hata hivyo, TF-IDF inahitaji kiweka vekta, msamiati uliobainishwa, na orodha za maneno mahususi za lugha. Zstandard NCD haihitaji uchakataji huu wa awali, hufanya kazi katika lugha zote nje ya kisanduku, na huainisha hati mpya kwa muda usiobadilika bila kujali ukubwa wa msamiati. Kwa uigaji wa haraka au mazingira ya lugha nyingi, NCD mara nyingi ndiyo njia ya haraka ya mfumo wa kufanya kazi.

Iwapo unaunda mabomba ya maudhui ya kiotomatiki, kusambaza ujumbe kwa wateja, au mantiki ya uainishaji wa kielelezo kwa biashara yako ya kidijitali, usaidizi wa Zstandard wa Python 3.14 uliojengewa ndani hufanya NCD inayotokana na mgandamizo kufikiwa zaidi kuliko hapo awali. Ikiwa unatafuta mfumo wa kila mmoja wa kudhibiti maudhui ya biashara yako, bidhaa, kozi na mwingiliano wa wateja, anza kujenga ukitumia Mewayz leo na utumie mbinu hizi kufanya kazi katika shughuli zako zote.