Hadda waxaan haystaa dhammaan macnaha guud ee aan u baahanahay. Aan qoro barta blog-ka.

Qoritaanka qoraalka ee Python 3.14's ZSTD Module

Python 3.14 waxa uu soo bandhigayaa moduleka compression.zstd maktabadda caadiga ah, oo waxa ay furaysaa hab la yaab leh oo awood leh oo loo kala saaro qoraalka iyada oo aan la helin moodooyinka barashada mashiinka. Markaad cabbirto sida ugu wanaagsan ee kombaresarada uu isku tuujin karo laba qoraal, waxaad ogaan kartaa isku mid ahaanshahooda - farsamada la yiraahdo Normalized Compression Distance (NCD) - oo hadda Zstandard wuxuu ka dhigayaa mid degdeg ah oo ku filan culeyska shaqada.

Sidee u Shaqaysa Sida Dhabta Ah Kala Soocida Qoraalka Ku Salaysan Cadaadis?

Fikradda udub-dhexaadka ah ee ka danbaysa kala-soocidda ku salaysan isku-buufintu waxay salka ku haysaa aragtida macluumaadka. Marka algorithm isku-darka ah sida Zstandard uu la kulmo baloog qoraal ah, waxay dhistaa qaamuuska gudaha ee qaababka. Haddii laba qoraal ay wadaagaan erayo isku mid ah, syntax, iyo qaab dhismeed, isku duubnidooda waxay soo saartaa natiijo wax yar uun ka weyn in la cadaadiyo qoraalka weyn oo keliya. Haddii aysan xiriir la lahayn, cabbirka isku-duuban ee isku-duuban wuxuu ku wajahan yahay wadarta labada cabbir ee shakhsi ahaaneed.

Xiriirkan waxa qabsaday qaacidada Fogaanta Caadiga ah: NCD(x, y) = (C(xy) - min(C(x), C(y))) / max(C(x), C(y)), halka C (x) uu yahay cabbirka qoraalka x, iyo C(xy) waa cabbirka la isku riixay ee labada qoraal ee isku xidhan. Qiimaha NCD ee u dhow 0 macneheedu waa qoraalladu aad bay isku shabahaan, halka qiimaha u dhow 1 uu ka dhigan yahay in aanay wadaagin wax macluumaad ah oo ku dhow.

Waxa farsamadan ka dhigaysa mid cajiib ah waa in aanay u baahnayn xog tabobar, calaamad la'aan, wax ku daris la'aan, iyo GPU la'aan. Compressor laftiisu waxa uu u shaqeeyaa sidii qaabka la bartay ee qaabka qoraalka. Cilmi-baadhis lagu daabacay waraaqo ay ka mid yihiin "Qaybitaanka Qoraalka Kheyraadka Hoose: Habka Kala Soocidda-Beerka-La'aanta ah ee Compressors" (2023) waxay muujisay in gzip-ku-saleysan NCD ay kula tartamayso BERT jaangooyooyin gaar ah, taasoo kicisay xiisaha cusub ee habka.

Waa maxay sababta Python 3.14's Zstandard Module u yahay beddelka ciyaarta ee NCD?

Python 3.14 ka hor, iyadoo la isticmaalayo Zstandard waxa loo baahan yahay ku rakibida xidhmada python-zstandard qolo saddexaad. Qaybta cusub ee compression.zstd, oo lagu soo bandhigay PEP 784, waxay si toos ah ula socotaa CPython. Tani waxay ka dhigan tahay ku tiirsanaanta eber iyo dammaanad, API deggan oo ay taageerto Meta's libzstd-dagaal lagu tijaabiyay. Hawlaha kala soocida gaar ahaan, Zstandard waxay bixisaa faa'iidooyin dhowr ah gzip ama bzip2:

• xawaaraha:Zstandard wuxuu ku cadaadiyaa 3-5x ka dhakhso badan gzip marka loo eego saamiga la midka ah, taasoo ka dhigaysa kala soocida dufcada kumanaan dukumeenti ah oo la hirgalin karo ilbidhiqsiyo halkii daqiiqo
• Heerarka isku-buufinta: Heerarka 1 ilaa 22 waxay kuu oggolaanayaan inaad ku beddesho xawaaraha saamiga, taasoo kuu oggolaanaysa inaad cabbirto saxnaanta NCD ee shuruudaha soo-saarka
• Taageerada qaamuuska: Qaamuusyada Zstandard ee horay loo tababaray waxa ay si weyn u wanaajin karaan isku-buufinta qoraallada yar yar (ka hooseeya 4KB), taas oo ah sida saxda ah baaxadda cabbirka dukumeentiga halka saxnaanta NCD ay muhiim u tahay
• Streaming API: Module-ku waxa uu taageeraa isku-buufin kordhinta, isaga oo awood u siinaya dhuumaha kala-soocidda kuwaas oo habeeya qoraallada iyaga oo aan ku shubin dhammaan corpora xusuusta
• Xasiloonida maktabadda caadiga ah: Nooc iska hor imaad ah ma jiro, ma jirto halis silsiladda sahayda - ka soo dejinta zstd waxa ay ka shaqeysaa rakibid kasta Python 3.14+

Aragtida furaha ah: Kala soocida ku salaysan cadaadisku waxay si fiican u shaqeysaa marka aad u baahato saldhig deg-deg ah, ku tiirsanaan la'aan ah kaas oo si asal ah u maamula qoraalka luuqadaha badan. Sababtoo ah kombaresarada waxay ku shaqeeyaan bytes cayriin halkii ay ka ahaan lahaayeen calaamado luqad gaar ah, waxay u kala soocaan Shiinaha, Carabi, ama dukumentiyada luqadaha isku dhafan si la mid ah sida Ingiriisiga - looma baahna nooc luqadeed.

Muxuu u eg yahay Hirgelinta Dhabta ah?

Kala soocida NCD ugu yar ee Python 3.14 waxay ku habboon tahay in ka yar 30 sadar. Waxaad ku dhejisaa qoraal kasta oo tixraac ah (halkii qayb kasta), ka dib dukumeenti kasta oo cusub, ku xisaabi NCD tixraac kasta oo ku meelee qaybta masaafada ugu hooseysa. Waa kan caqliga udub-dhexaadka ah:

Marka hore, ka soo deji moduleka ka soo dejinta zstd. Qeex hawl aqbalaysa laba xadhig oo byte ah, oo mid walba si gaar ah u cadaadiya, cadaadiya isku xidhkooda, oo soo celiya dhibcaha NCD. Kadibna dhis calaamado qayb qaamuus khariidad si aad u matasho qoraalada muunada ah. Dukumeenti kasta oo soo gala, ku celceli qaybaha, xisaabi NCD, oo dooro ugu yar.

Marka la eego halbeegyada ka dhanka ah xogta xogta AG News (kala-soocidda wararka afar-fasalka ah), habkan iyadoo la adeegsanayo Zstandard heerka isku-buufinta 3 wuxuu gaarayaa qiyaastii 62-65% saxsanaanta - ma jirto tallaabo tababar, soo dejin moodeel ah, iyo xawaaraha kala soocida ee ku dhawaad ​​8,000 dukumeenti ilbiriqsi kasta oo ah xudunta CPU. Kor u qaadista heerka isku-buufinta oo la gaadhsiiyo 10 waxay ku riixdaa saxnaanta ilaa 68% qiimaha dhimista wax soo saarka ilaa 2,500 dukumeenti ilbiriqsikii. Tirooyinkani kuma eka transformers-ka si fiican loo hagaajiyay, laakiin waxay bixiyaan sal adag oo loogu talagalay soo saarista, kala soocida xogta, ama bay'ada rakibidda ku-tiirsanaanta ML aanay macquul ahayn.

Sidee NCD U Barbar Dhigtaa Kala Soocida Dhaqanka ML?

Jawaabta daacadda ah waa in NCD aysan ahayn beddelka kala-soocida ku-saleysan transformer-ka ee nidaamyada wax-soo-saarka sare. Moodooyinka sida BERT ama kalasaarayaasha ku salaysan GPT waxay gaadhaan saxsanaanta 94%+ ee jaangooyooyinka caadiga ah. Si kastaba ha ahaatee, NCD oo leh Zstandard waxay ku jirtaa meel gaar ah. Waxay ku fiican tahay xaaladaha bilowga-qabowga ah halkaasoo aad haysato wax ka yar 50 tusaale oo la calaamadeeyay fasalkiiba - xaalad xitaa moodooyinka si fiican loo hagaajiyay ay halgan ugu jiraan. Waxay u baahan tahay waqti eber ah oo tabobar ah, waxay qabataa luqad kasta ama codayn la'aan iyadoon wax laga beddelin, waxayna ku shaqeysaa gebi ahaanba CPU iyadoo leh xusuus joogto ah.

Meheradaha maamusha mugga badan ee waxyaabaha soo galaya - tigidhada taageerada, sheegashooyinka warbaahinta bulshada, dib u eegista badeecada - kala soocida Zstandard NCD waxay u adeegi kartaa sidii router gudbiyaha koowaad kaas oo kala saara dukumentiyada waqtiga dhabta ah ka hor inta aysan moodooyinka qaaliga ah nadiifin natiijooyinka. Dhuuntan laba-heer ah waxay si weyn u yaraynaysaa kharashyada la-talinta iyadoo la ilaalinayo saxnaanta guud. Platform-ka u habeeya nuxurka isticmaaluhu soo saaray miisaan ahaan, sida Mewayz's 207-module meherad OS oo ay adeegsadeen in ka badan 138,000 hal abuur ganacsi, waxay ka faa'iidaystaan kala-soocidda fudud si ay farriimaha u jiheeyaan, u calaamadiyaan nuxurka, oo shakhsiyeeyaan khibradaha isticmaalaha iyada oo aan lahayn kaabayaal culus.

Waa maxay xaddidaadaha iyo dhaqamada ugu wanaagsan?

Kala soocida ku salaysan cadaadisku waxay leedahay xaddidaadyo la yaqaan oo ay tahay inaad ku xisaabtanto. Qoraallada gaaban (ka hooseeya 100 bytes) waxay soo saaraan buundooyin NCD ah oo aan la isku halayn karin sababtoo ah kombareeyaha ma haysto xog ku filan oo lagu dhiso qaabab macno leh. Farsamada sidoo kale waxay xasaasi u tahay doorashada qoraallada tixraaca - wakiilada si liidata loo doortay waxay hoos u dhigaan saxnaanta si adag. Sababtoo ah NCD waa mitir fog halkii ay ka ahaan lahayd moodal macquul ah, si dabiici ah uma soo saarto buundooyinka kalsoonida.

Si aad uga faa'iidaysato habkan: isticmaal qoraallada tixraaca ah ee ugu yaraan 500 bytes qayb kasta, tijaabi isku dhafka tusaalooyin badan fasalkiiba (2-3 dukumeenti wakiil ah oo la isku daray ayaa keenaya qaamuusyo isku dhafan oo wanaagsan), caadi ka dhig khariidadda qoraalka iyo meel cad ka hor inta aan la cadaadin, iyo halbeegga guud ahaan Zstandard cadaadiska heerarka 3, 6, iyo 10 si aad u hesho booskaaga macaan. Kala soocida qoraalka yar, horay ugu sii tababar qaamuuska Zstandard ee boggaaga interneedka - tillaabadan kaliya waxay wanaajin kartaa saxnaanta boqolkiiba 8-12 ee dukumentiyada gaagaaban.

Su'aalaha Inta badan La Isweydiiyo

Miyaa kala soocida ku salaysan cadaadisku u shaqeeyaa falanqaynta dareenka?

Way awoodaa, laakiin waxay la socotaa digniino. Falanqaynta dareenka waxay u baahan tahay in la ogaado kala duwanaanshiyaha tonal ee daahsoon ee qoraallada la midka ah. NCD waxay si fiican ugu shaqeysaa kala soocida mawduucyada halkaas oo dukumeentiyada qaybaha kala duwan ay isticmaalaan erayo kala duwan. Dareen ahaan, saxnaanta sida caadiga ah waxay degtaa qiyaastii 55-60% - way ka fiican tahay random, laakiin maaha wax-soo-saar iskeed u diyaarsan. Isku darka sifooyinka NCD iyo qaabka dib-u-celinta saadka ee fudud ayaa si aad ah u wanaajisa natiijooyinka.

Ma isticmaali karaa moduleka compression.zstd ee noocyada Python kahor 3.14?

Maya. Qaabka compression.zstd wuxuu ku cusub yahay Python 3.14. Noocyadii hore, ku rakib xirmada python-zstandard ee PyPI, kaas oo bixiya compress() iyo decompress() u dhigma. Caqliga NCD waa isku mid - kaliya bayaanka soo dejinta ayaa isbedelaya. Markaad u cusboonaysiiso 3.14, waxaad gabi ahaanba iska tuuri kartaa ku-tiirsanaanta dhinac saddexaad.

Sidee u shaqeysaa Zstandard NCD marka la barbar dhigo TF-IDF oo la mid ah cosine?

Mawduucyada kala-soocidda ee fasallada badan oo leh xog-ururin dheellitiran, TF-IDF iyo isku ekaanshaha cosine waxay caadi ahaan gaartaa saxnaanta 75-82% marka la barbar dhigo Zstandard NCD's 62-68%. Si kastaba ha ahaatee, TF-IDF waxay u baahan tahay qalab-qaade ku habboon, erayo qeexan, iyo liisaska ereyada-joojinta ee luqadda-gaar ah. Zstandard NCD uma baahna mid ka mid ah diyaarintan, waxay ka shaqeysaa luqadaha meel ka baxsan sanduuqa, waxayna u kala saartaa dukumeentiyada cusub waqti joogto ah iyadoon loo eegin cabbirka erayada. Hab-samaynta degdega ah ama bay'adaha luqadaha badan, NCD inta badan waa dariiqa ugu dhakhsaha badan ee nidaamka shaqada.

Haddii aad dhisayso dhuumaha tusmada tooska ah, marin u samaynta farriimaha macaamiisha, ama kala-soocidda macquulka ah ee ganacsigaaga dhijitaalka ah, Python 3.14 ee ku dhex dhisan taageerada Zstandard ayaa ka dhigaysa isku-xidhka ku salaysan NCD mid la heli karo waligeed. Haddii aad raadinayso goob-hal-hal ah si aad u maamusho nuxurka ganacsigaaga, alaabtaada, koorsooyinka, iyo isdhexgalka macmiilka, ka bilow inaad ku dhisto Mewayz maanta oo geli farsamooyinkan si ay uga shaqeeyaan shaqadaada oo dhan.