Ugbu a enwere m ọnọdụ niile m chọrọ. Ka m dee blọgụ post.

Nhazi ederede na Python 3.14's ZSTD Module

Python 3.14 na-ewebata modul compression.zstd n'ọbá akwụkwọ ọkọlọtọ, yana ọ na-emeghe ụzọ dị ịtụnanya siri ike maka nhazi ederede na-enweghị ụdị mmụta igwe. Site n'ịtụle otú compressor nwere ike isi jikọta ederede abụọ ọnụ, ị nwere ike ikpebi myirịta ha - usoro a na-akpọ Normalized Compression Distance (NCD) - na ugbu a Zstandard na-eme ka ọ dị ngwa ngwa maka mmepụta ọrụ.

Kedụ ka nhazi ederede dabere na mkpakọ si arụ ọrụ n'ezie?

Echiche bụ isi n'azụ nhazi mkpakọ dabere na tiori ozi. Mgbe algọridim mkpakọ dị ka Zstandard zutere ngọngọ nke ederede, ọ na-ewulite akwụkwọ ọkọwa okwu dị n'ime nke ụkpụrụ. Ọ bụrụ na ederede abụọ na-ekekọrịta ụdị okwu, syntax, na nhazi, ijikọta ha ọnụ na-arụpụta nsonaazụ dị ntakịrị karịa ịpịkọta naanị ederede ka ukwuu. Ọ bụrụ na ha enweghị njikọ, nha agbakwunyere na-abịaru nso na nchikota nke nha abụọ ahụ.

Ejidere mmekọrịta a site na usoro Nhazi mkpakọ nke Normalized: NCD(x, y) = (C(xy) - min(C(x), C(y))) / max(C(x), C(y)), ebe C (x) bụ nha ederede x, na C (xy) bụ nha agbakọ nke ederede abụọ a gbakọtara. Uru NCD dị nso 0 pụtara na ederede yitere nke ukwuu, ebe uru dị nso 1 pụtara na ha na-ekekọrịta ihe fọrọ nke nta ka ọ bụrụ ọdịnaya enweghị ozi.

Ihe na-eme ka usoro a dị ịrịba ama bụ na ọ chọghị data ọzụzụ, enweghị akara ngosi, enweghị ntinye, na enweghị GPU. The Compressor n'onwe ya na-arụ ọrụ dị ka ihe nlereanya a mụtara nke nhazi ederede. Nnyocha e bipụtara n'akwụkwọ dị ka "Nhazi ederede dị ala: Usoro nhazi nke na-enweghị ihe ọ bụla na Compressors" (2023) gosipụtara na NCD dabeere na gzip gbara BERT aka n'ụfọdụ akara ngosi, na-akpalite mmasị ọhụrụ na ịbịaru nso.

Gịnị kpatara Python 3.14's Zstandard Module ji bụrụ onye na-agbanwe egwuregwu maka NCD?

Tupu Python 3.14, iji Zstandard chọrọ ịwụnye ngwungwu python-zstandard ndị ọzọ. Modul compression.zstd ọhụrụ, ewepụtara site na PEP 784, jiri CPython na-ebu ụgbọ mmiri ozugbo. Nke a pụtara adabere na efu efu yana API akwadoro, kwụsiri ike nke Meta nwalere libzstd. Maka ọrụ nhazi ọkwa kpọmkwem, Zstandard na-enye ọtụtụ uru karịa gzip ma ọ bụ bzip2:

• Ọsọ: Zstandard na-echikota 3-5x ọsọ ọsọ karịa gzip na oke nha anya, na-eme nhazi ọkwa n'ọtụtụ puku akwụkwọ ga-ekwe omume n'ime sekọnd karịa nkeji
• Tunable ọkwa mkpakọ:Ọkwa 1 ruo 22 na-enye gị ohere ịzụ ahịa ọsọ maka oke, na-enye gị ohere ịhazi nhazi NCD nke ọma megide ihe nrụpụta chọrọ
• Nkwado akwụkwọ ọkọwa okwu: Akwụkwọ ọkọwa okwu Zstandard a zụrụ nke ọma nwere ike melite mkpakọ nke obere ederede (n'okpuru 4KB), nke bụ kpọmkwem oke nha akwụkwọ ebe izizi NCD kacha mkpa
• API Streaming: Modul na-akwado mkpakọ abawanye, na-eme ka pipeline nhazi ọkwa na-ahazi ederede na-ebunyeghị corpora dum n'ime ebe nchekwa
• Standard ọba akwụkwọ kwụsie ike: Ọ dịghị esemokwu ụdị, enweghị ihe ize ndụ ọkọnọ - site na mbubata mbubata zstd na-arụ ọrụ na nrụnye Python 3.14+ ọ bụla

Nghọta isi: Nhazi dabere na mkpakọ na-arụ ọrụ kacha mma mgbe ịchọrọ usoro ntọala ngwa ngwa na enweghị ntụkwasị obi nke na-ejikwa ederede asụsụ dị iche iche na ala ala. N'ihi na compressors na-arụ ọrụ na bytes raw kama ịbụ akara asụsụ akọwapụtara, ha na-ahazi akwụkwọ ndị China, Arabic, ma ọ bụ asụsụ agwakọtara nke ọma dị ka Bekee — enweghị ụdị asụsụ achọrọ.

Gịnị ka mmejuputa a na-eme bara uru dị?

Nkịtị NCD pere mpe na Python 3.14 dabara n'okpuru ahịrị 30. Ị na-edobe ederede ntụaka ọ bụla (otu n'otu otu), mgbe ahụ maka akwụkwọ ọhụrụ ọ bụla, gbakọọ NCD megide akwụkwọ ntụaka ọ bụla wee kenye udi ahụ n'ogologo kacha ala. Nke a bụ isi mgbagha:

Nke mbụ, bubata modul na site na mbubata zstd. Kọwaa ọrụ na-anabata eriri byte abụọ, na-akpakọ nke ọ bụla n'otu n'otu, na-akpakọ njikọ ha, wee weghachi akara NCD. Wee wuo ụdị nkewa akwụkwọ ọkọwa okwu ka ọ bụrụ ederede nlele anya. Maka akwụkwọ ọ bụla na-abata, tụgharịa n'elu edemede, gbakọọ NCD, wee họrọ nke kacha nta.

Na akara aka megide dataset AG News (nkewa ozi klaasị anọ), ụzọ a iji Zstandard na ọkwa mkpakọ 3 na-enweta izizi 62-65% ziri ezi - enweghị usoro ọzụzụ, enweghị nbudata ụdị, yana ọsọ nhazi nke ihe dịka akwụkwọ 8,000 kwa sekọnd n'otu isi CPU. Welite ọkwa mkpakọ ruo 10 na-akpali izi ezi ruo ihe dịka 68% na ọnụ ahịa ibelata mmepụta ihe ruru akwụkwọ 2,500 kwa nkeji. Ọnụọgụ ndị a adabaghị na ngbanwe nke ọma, mana ha na-enye ntọala siri ike maka imepụta ihe, akara akara data, ma ọ bụ gburugburu ebe ịwụnye ịdabere na ML adịghị mma.

Kedu ka NCD si atụnyere nhazi ML ọdịnala?

Azịza ya n'eziokwu bụ na NCD abụghị onye na-anọchi anya klas nke na-agbanwe agbanwe na sistemụ mmepụta ihe dị elu. Ụdị dị ka BERT ma ọ bụ nhazi ọkwa GPT na-enweta ezi 94%+ na akara ọkọlọtọ. Agbanyeghị, NCD nwere Zstandard nwere niche pụrụ iche. Ọ na-eme nke ọma na ọnọdụ mmalite oyi ebe ị nwere ihe na-erughị ihe atụ 50 akpọrọ n'otu klaasị - ọnọdụ ebe ọbụnadị ụdị edoziziri nke ọma na-adọga. Ọ na-achọ oge ọzụzụ efu, na-ejikwa asụsụ ọ bụla ma ọ bụ ntinye koodu na-enweghị mgbanwe, ma na-agba ọsọ kpamkpam na CPU na ebe nchekwa mgbe niile.

Maka ụlọ ọrụ na-ejikwa nnukwu ọdịnaya nke na-abata - tiketi nkwado, mgbasa ozi mgbasa ozi, nyocha ngwaahịa - ihe nhazi Zstandard NCD nwere ike ije ozi dị ka rawụta na-agafe mbụ nke na-edepụta akwụkwọ ozugbo tupu ụdị ọnụ ahịa dị oke ọnụ emeziwanye nsonaazụ ya. Pipeline nke okpukpu abụọ na-ebelata ọnụ ahịa nrịbama nke ọma ma na-edobe izi ezi n'ozuzu ya. Platform na-ahazi ọdịnaya sitere na onye ọrụ n'ọtụtụ, dị ka Mewayz's 207-module azụmahịa OS nke ihe karịrị 138,000 ndị ọchụnta ego na-eji, na-erite uru site na nhazi ọkwa dị fechaa iji na-ebugharị ozi, mkpado ọdịnaya, na hazie ahụmịhe onye ọrụ na-enweghị nnukwu akụrụngwa.

Gịnị bụ oke na omume kacha mma?

Nkwakọba dabere na mkpakọ amaara oke oke ị kwesịrị ịdekọ maka ya. Ederede dị mkpirikpi (n'okpuru 100 bytes) na-emepụta akara NCD na-enweghị ntụkwasị obi n'ihi na compressor enweghị data zuru ezu iji wuo ụkpụrụ bara uru. Usoro a na-enwekwa mmetụta maka nhọrọ ederede ntụnye aka - ndị nnọchi anya a na-ahọrọghị nke ọma na-eweda izi ezi nke ọma. Na n'ihi na NCD bụ metric dị anya karịa ihe atụ nke puru omume, ọ naghị emepụta akara obi ike n'ezie.

Iji nweta ihe kacha mma site na usoro a: jiri ederede ntụaka ma ọ dịkarịa ala 500 bytes kwa otu, nwalee na ijikọta ọtụtụ ihe atụ kwa klaasị (akwụkwọ nnọchite anya 2-3 jikọtara ọnụ na-enye akwụkwọ ọkọwa okwu mkpakọ ka mma), hazie casing text na whitespace tupu mkpakọ, na benchmark gafee Zstandard mkpakọ ọkwa 3, 6, na 10 iji chọta ebe dị ụtọ gị nke ọma. Maka nhazi nke obere ederede, zụọ akwụkwọ ọkọwa okwu Zstandard na ngalaba ngalaba gị - otu nzọụkwụ a nwere ike imeziwanye izi ezi site na pasent 8-12 na akwụkwọ ndị dị mkpirikpi.

Ajụjụ a na-ajụkarị

Nhazi nke dabere na mkpakọ ọ na-arụ ọrụ maka nyocha mmetụta?

O nwere ike, mana ọ ga-eji egwu egwu. Nyocha mmetụta uche chọrọ ịchọpụta ọdịiche dị nro dị nro n'ime ederede n'ụdị nhazi. NCD na-arụ ọrụ nke ọma maka nhazi isiokwu ebe akwụkwọ dị iche iche na-eji okwu dị iche iche. Maka mmetụta, izi ezi na-agbadata gburugburu 55-60% - ọ ka mma karịa enweghị usoro, mana ọ bụghị mmepụta-njikere n'onwe ya. Ijikọta njirimara NCD na ihe nlegharị anya mgbagha ngwa ngwa na-eme ka nsonaazụ ya dịkwuo mma.

Enwere m ike iji compression.zstd modul na ụdị Python tupu 3.14?

Mba. Modul compression.zstd dị ọhụrụ na Python 3.14. Maka ụdị mbụ, wụnye ngwungwu python-zstandard sitere na PyPI, nke na-enye ọrụ compress() na decompress() arụrụ. Echiche NCD ka bụ otu - naanị nkwupụta mbubata na-agbanwe. Ozugbo i kwalitere na 3.14, ị nwere ike hapụ ndabere nke ndị ọzọ kpamkpam.

Olee otú Zstandard NCD si arụ ọrụ ma e jiri ya tụnyere TF-IDF nwere myirịta cosine?

Na nhazi isiokwu nke ọtụtụ klas yana dataset ziri ezi, TF-IDF gbakwunyere myirịta cosine na-enwetakarị izi ezi 75-82% ma e jiri ya tụnyere Zstandard NCD's 62-68%. Agbanyeghị, TF-IDF chọrọ vectoriser dabara adaba, okwu akọwapụtara, yana ndepụta okwu nkwusioru nke asụsụ akọwapụtara. Zstandard NCD achọghị nke ọ bụla n'ime nhazi a, na-arụ ọrụ n'ofe asụsụ n'ime igbe, ma na-ekewa akwụkwọ ọhụrụ n'oge ọ bụla n'agbanyeghị oke okwu. Maka imegharị ngwa ngwa ma ọ bụ gburugburu ọtụtụ asụsụ, NCD na-abụkarị ụzọ ngwa ngwa na sistemụ arụ ọrụ.

Ma ị na-ewu pipeline ọdịnaya akpaaka, na-ebugharị ozi ndị ahịa, ma ọ bụ nkọwa nhazi ọkwa maka azụmahịa dijitalụ gị, nkwado Zstandard wuru Python 3.14 na-eme ka NCD dabere na mkpakọ karịa ka ọ dị mgbe ọ bụla. Ọ bụrụ na ị na-achọ ikpo okwu niile dị n'otu iji jikwaa ọdịnaya azụmahịa gị, ngwaahịa, nkuzi, yana mmekọrịta ndị ahịa gị, jiri Mewayz malite taa wee tinye usoro ndị a ka ọ rụọ ọrụ n'ofe ọrụ gị niile.