Bayi Mo ni gbogbo ọrọ ti Mo nilo. Jẹ ki n kọ ifiweranṣẹ bulọọgi naa.

Isọsọ ọrọ pẹlu Python 3.14's ZSTD Module

Python 3.14 ṣafihan module compression.zstd module si ile-ikawe boṣewa, ati pe o ṣii ọna iyalẹnu ti o lagbara si isọdi ọrọ laisi awọn awoṣe ikẹkọ ẹrọ. Nipa wiwọn bi konpireso ṣe le fun pọ awọn ọrọ meji papọ, o le pinnu ibajọra wọn - ilana kan ti a pe ni Distance Compression Distance (NCD) - ati ni bayi Zstandard jẹ ki o yara to fun awọn iṣẹ ṣiṣe iṣelọpọ.

Bawo ni Isọdi ọrọ ti o Da lori Imudara Ṣe Nitootọ?

Ero pataki ti o wa lẹhin isọdi ti o da lori funmorawon jẹ fidimule ninu ilana alaye. Nigbati algorithm funmorawon bii Zstandard ba pade bulọọki ọrọ kan, o kọ iwe-itumọ inu ti awọn ilana. Ti awọn ọrọ meji ba pin iru awọn fokabulari, sintasi, ati igbekalẹ, fisipọ wọn papọ ṣe agbejade abajade kan ti o tobi diẹ sii ju titẹ ọrọ ti o tobi ju nikan lọ. Ti wọn ko ba ni ibatan, iwọn fisinuirindigbindigbin n sunmọ apao awọn titobi kọọkan.

Ìbáṣepọ̀ yìí jẹ́ dídírẹ́wọ́ nípasẹ̀ ìlànà Ìsọ̀rọ̀ Ìtọwọ́dọ̀dọ́ṣe: NCD(x, y) = (C(xy) - min(C(x), C(y))) / max(C(x), C(y)), nibiti C(x) jẹ iwọn ti ọrọ x, ati C(xy) jẹ iwọn fisinuirindigbindigbin ti awọn ọrọ meji ti a ti so pọ. Iye NCD nitosi 0 tumọ si pe awọn ọrọ jọra gaan, lakoko ti iye kan nitosi 1 tumọ si pe wọn pin fere ko si akoonu alaye.

Ohun ti o jẹ ki ilana yii jẹ iyalẹnu ni pe ko nilo data ikẹkọ, ko si isamisi, ko si awọn ifibọ, ati pe ko si GPU. Awọn konpireso ara ìgbésẹ bi awọn eko awoṣe ti awọn ọrọ ká be. Iwadi ti a tẹjade ninu awọn iwe bii “Isọsọsọ Ọrọ Ohun elo Kekere: Ọna Isọri-ọfẹ Ọfẹ pẹlu Awọn Compressors” (2023) ṣe afihan pe NCD ti o da lori gzip dije BERT lori awọn ami-ami kan, ti o fa iwulo isọdọtun si ọna naa.

Kini idi ti Python 3.14's Zstandard Module jẹ Oluyipada Ere fun NCD?

Ṣaaju Python 3.14, lilo Zstandard nilo fifi sori ẹrọ ẹgbẹ-kẹta python-zstandard package. Awọn titun compression.zstd module, ti a ṣe nipasẹ PEP 784, awọn ọkọ oju omi taara pẹlu CPython. Eyi tumọ si igbẹkẹle odo ati iṣeduro kan, API iduroṣinṣin ti o ṣe atilẹyin nipasẹ Meta's libzstd-idanwo ogun. Fun awọn iṣẹ ṣiṣe iyasọtọ pataki, Zstandard nfunni ni ọpọlọpọ awọn anfani lori gzip tabi bzip2:

• Iyara: Zstandard ṣe compress 3-5x yiyara ju gzip ni awọn iwọn afiwera, ṣiṣe ipinya ipele lori ẹgbẹẹgbẹrun awọn iwe aṣẹ le ṣee ṣe ni iṣẹju-aaya ju awọn iṣẹju lọ
• Ṣiṣe awọn ipele titẹkuro: Awọn ipele 1 si 22 jẹ ki o ṣowo iyara fun ipin, gbigba ọ laaye lati ṣe iwọn deede NCD lodi si awọn ibeere igbejade
• Atilẹyin iwe-itumọ: Awọn iwe-itumọ Zstandard ti a ti ni ikẹkọ tẹlẹ le ṣe imudara gaasi awọn ọrọ kekere (labẹ 4KB), eyiti o jẹ iwọn iwọn iwe gangan nibiti deede NCD ṣe pataki julọ
• Apipi ṣiṣanwọle: module naa ṣe atilẹyin funmorawon ti afikun, ṣiṣe awọn opo gigun ti ipin ti o ṣe ilana awọn ọrọ laisi ikojọpọ gbogbo corpora sinu iranti
• Iduroṣinṣin ile-ikawe boṣewa: Ko si awọn ija ti ikede, ko si eewu pq ipese — lati agbewọle zstd funmorawon ṣiṣẹ lori gbogbo fifi sori Python 3.14+

Ìjìnlẹ̀ òye kọ́kọ́rọ́: Ìsọrí-ìsọ̀rọ̀-ìsọ̀rọ̀ ṣiṣẹ́ dáradára jù lọ nígbà tí o bá nílò ìpìlẹ̀ yíyára, tí kò ní ìgbẹ́kẹ̀lé tí ń fọwọ́ mú ọ̀rọ̀ èdè púpọ̀ ní ìbílẹ̀. Nitori awọn konpireso ṣiṣẹ lori awọn baiti aise dipo awọn ami ami ede kan pato, wọn pin Kannada, Larubawa, tabi awọn iwe aṣẹ ede adapọ gẹgẹbi Gẹẹsi — ko si awoṣe ede ti o nilo.

Kini Imuṣẹ Iṣe Wulo Bi?

Itọkasi NCD ti o kere julọ ni Python 3.14 baamu labẹ awọn laini 30. O ṣafikun ọrọ itọkasi kọọkan (ọkan fun ẹka kan), lẹhinna fun iwe tuntun kọọkan, ṣe iṣiro NCD lodi si gbogbo itọkasi ki o fi ẹya naa si pẹlu ijinna to kere julọ. Eyi ni imọran ipilẹ:

Ni akọkọ, gbe module naa wọle pẹlu lati agbewọle zstd funmorawon. Ṣetumo iṣẹ kan ti o gba awọn okun baiti meji, rọpọ ọkọọkan ni ẹyọkan, rọpọ isomọ wọn, ati da Dimegilio NCD pada. Lẹhinna kọ awọn akole ẹka aworan atọka iwe-itumọ si awọn ọrọ apẹẹrẹ aṣoju. Fun iwe-ipamọ kọọkan ti nwọle, ṣe atunwo lori awọn ẹka, ṣe iṣiro NCD, ki o yan eyiti o kere julọ.

Ni awọn aṣepari lodi si iwe data AG News (ipin awọn iroyin kilasi mẹrin), ọna yii ni lilo Zstandard ni ipele titẹkuro 3 ṣaṣeyọri ni aijọju 62-65% deede - ko si igbesẹ ikẹkọ, ko si igbasilẹ awoṣe, ati iyara isọdi ti isunmọ awọn iwe aṣẹ 8,000 fun iṣẹju kan lori ipilẹ Sipiyu kan. Igbega ipele funmorawon si 10 Titari deede si ayika 68% ni idiyele ti idinku iṣelọpọ si bii awọn iwe aṣẹ 2,500 fun iṣẹju kan. Awọn nọmba wọnyi ko ni ibamu pẹlu awọn oluyipada ti a ṣatunṣe daradara, ṣugbọn wọn pese ipilẹ to lagbara fun ṣiṣe apẹẹrẹ, iwọn isamisi data, tabi awọn agbegbe nibiti fifi sori awọn igbẹkẹle ML ko wulo.

Bawo ni NCD Ṣe afiwe si Isọdi ML Ibile?

Idahun ooto ni pe NCD kii ṣe iyipada fun awọn kilasika ti o da lori transformer ni awọn ọna ṣiṣe iṣelọpọ giga. Awọn awoṣe bii BERT tabi awọn kilasika ti o da lori GPT ṣaṣeyọri deede 94%+ lori awọn ipilẹ ala. Sibẹsibẹ, NCD pẹlu Zstandard gba onakan alailẹgbẹ kan. O tayọ ni awọn oju iṣẹlẹ ibẹrẹ-tutu nibiti o ni diẹ sii ju awọn apẹẹrẹ aami aami 50 fun kilasi - ipo kan nibiti paapaa awọn awoṣe aifwy ti o dara. O nilo akoko ikẹkọ odo, mu ede eyikeyi tabi fifi koodu ṣe laisi iyipada, o si ṣiṣẹ patapata lori Sipiyu pẹlu iranti igbagbogbo.

Fun awọn iṣowo ti n ṣakoso awọn iwọn nla ti akoonu ti nwọle — awọn tikẹti atilẹyin, awọn mẹnuba media awujọ, awọn atunwo ọja — olutọpa Zstandard NCD kan le ṣiṣẹ bi olulana akọkọ-kọja ti o pin awọn iwe aṣẹ ni akoko gidi ṣaaju awọn awoṣe gbowolori diẹ sii ṣatunṣe awọn abajade. Opo opo gigun ti ipele meji yii dinku awọn idiyele inference ni pataki lakoko mimu deede deede. Awọn iru ẹrọ ti n ṣatunṣe akoonu ti ipilẹṣẹ olumulo ni iwọn, gẹgẹbi Mewayz's 207-module iṣowo OS ti o lo nipasẹ awọn alakoso iṣowo ti o ju 138,000, ni anfani lati isọdi iwuwo fẹẹrẹ si awọn ifiranṣẹ ipa-ọna, taagi akoonu, ati sọ awọn iriri olumulo di ẹni laisi awọn amayederun eru.

Kini Awọn idiwọn ati Awọn iṣe ti o dara julọ?

Isọdi-orisun funmorawon ti mọ awọn idiwọn ti o yẹ ki o ṣe iṣiro fun. Awọn ọrọ kukuru (labẹ awọn baiti 100) gbejade awọn ikun NCD ti ko ni igbẹkẹle nitori konpireso ko ni data to lati kọ awọn ilana ti o nilari. Ilana naa tun jẹ ifarabalẹ si yiyan awọn ọrọ itọkasi - awọn aṣoju ti a yan ti ko dara balẹ deedee mu. Ati pe nitori NCD jẹ metiriki ijinna kuku ju awoṣe iṣeeṣe kan, kii ṣe nipa ti ara o ṣe awọn ikun igbekele.

Lati ni anfani pupọ julọ lati ọna yii: lo awọn ọrọ itọkasi ti o kere ju 500 awọn baiti fun ẹka kan, ṣe idanwo pẹlu sisọpọ awọn apẹẹrẹ pupọ fun kilasi (awọn iwe aṣẹ aṣoju 2-3 ti o darapọ papọ mu awọn iwe-itumọ titẹ sii dara julọ), ṣe deede casing ọrọ ati aaye funfun ṣaaju funmorawon, ati ala kọja Zstandard funmorawon awọn ipele 3, 6, ati 10 lati wa iyara didùn rẹ. Fun isọdi ọrọ-kekere, kọkọ kọ iwe-itumọ Zstandard kan lori kopu agbegbe rẹ - igbesẹ kan ṣoṣo yii le mu ilọsiwaju pọ si nipasẹ awọn aaye ipin 8-12 lori awọn iwe kukuru.

Awọn ibeere Nigbagbogbo

Ṣe isọdi-orisun funmorawon ṣiṣẹ fun itupalẹ itara bi?

O le, ṣugbọn pẹlu awọn akiyesi. Itupalẹ ero inu nbeere wiwa awọn iyatọ tonal arekereke laarin awọn ọrọ ti o jọra ni igbekale. NCD ṣiṣẹ dara julọ fun isọdi koko nibiti awọn iwe aṣẹ ni awọn ẹka oriṣiriṣi lo awọn fokabulari ọtọtọ. Fun itara, deede ni igbagbogbo awọn ilẹ ni ayika 55-60% - o dara ju laileto, ṣugbọn kii ṣe iṣelọpọ-ṣetan funrararẹ. Apapọ awọn ẹya NCD pẹlu awoṣe ipadasẹhin logistic iwuwo fẹẹrẹ mu awọn abajade dara si ni riro.

Ṣé MO le lo module compression.zstd ni awọn ẹya Python ṣaaju 3.14?

Rárá. module compression.zstd jẹ tuntun ni Python 3.14. Fun awọn ẹya iṣaaju, fi sori ẹrọ akojọpọ python-zstandard lati PyPI, eyiti o pese deede compress() ati awọn iṣẹ decompress(). Imọye NCD wa ni aami kanna - alaye agbewọle nikan ni iyipada. Ni kete ti o ba ṣe igbesoke si 3.14, o le sọ igbẹkẹle ẹni-kẹta silẹ patapata.

Bawo ni Zstandard NCD ṣe n ṣiṣẹ ni akawe si TF-IDF pẹlu ibajọra cosine?

Lori isọdi koko-kilasi pupọ pẹlu awọn ipilẹ data iwọntunwọnsi, TF-IDF pẹlu ibajọra cosine ni igbagbogbo ṣe aṣeyọri 75-82% deede ni akawe si Zstandard NCD's 62-68%. Bibẹẹkọ, TF-IDF nilo vectoriser ti o ni ibamu, ọrọ asọye, ati awọn atokọ ọrọ iduro-ede kan pato. Zstandard NCD ko nilo eyikeyi ilana iṣaju yii, ṣiṣẹ kọja awọn ede jade kuro ninu apoti, o si pin awọn iwe aṣẹ titun ni akoko igbagbogbo laibikita iwọn awọn ọrọ-ọrọ. Fun ṣiṣe afọwọṣe ti o yara tabi awọn agbegbe ede pupọ, NCD nigbagbogbo jẹ ọna iyara si eto iṣẹ kan.

Boya o n kọ awọn opo gigun ti akoonu aladaaṣe, ṣiṣatunṣe awọn ifiranṣẹ alabara, tabi ọgbọn isọri iṣapẹẹrẹ fun iṣowo oni-nọmba rẹ, atilẹyin Zstandard ti a ṣe sinu Python 3.14 jẹ ki NCD ti o da lori funmorawon ni iraye si ju lailai. Ti o ba n wa iru ẹrọ gbogbo-ni-ọkan lati ṣakoso akoonu iṣowo rẹ, awọn ọja, awọn iṣẹ ikẹkọ, ati awọn ibaraenisepo alabara, bẹrẹ ile pẹlu Mewayz loni ki o si fi awọn ilana wọnyi ṣiṣẹ ni gbogbo iṣẹ rẹ.