Hacker News

Ramaddii barruu moojuulii ZSTD Paayitoon 3.14 waliin

Ramaddii barruu moojuulii ZSTD Paayitoon 3.14 waliin Xiinxalli barreeffamaa bal’aan kun qaamolee ijoo isaa fi hiika bal’aa isaa bal’inaan qorachuu ni kenna. Naannoowwan Xiyyeeffannoo Ijoo Mariin kun kan giddu galeessa godhate: Malawwan ijoo fi pro...

8 min read Via maxhalford.github.io

Mewayz Team

Editorial Team

Hacker News
Amma haala dubbii (context) na barbaachisu hunda qaba. Mee barreeffama biloogii kana barreessa.

Ramaddii Barruu Moojuulii ZSTD Paayitoon 3.14 waliin

Paayitoon 3.14 moojuulii compression.zstd gara mana kitaabaa istaandaardii beeksisa, akkasumas mala humna ajaa'ibaa qabu ramaddii barruu moodeelota barumsa maashinii malee bana. Hammam dhiibbaan tokko barreeffamoota lama walitti micciiruun akka danda'u safaruudhaan, walfakkeenya isaanii murteessuu dandeessa — tooftaa Fageenya Dhiibbaa Normalized (NCD) jedhamu — amma Zstandard fe'iinsa hojii oomishaaf saffisaa gahaa taasisa.

Ramaddiin Barruu Dhiibbaa Irratti Hundaa'e Dhugumatti Akkamitti Hojjeta?

Yaadni ijoo ramaddii dhiibbaa irratti hundaa’e duuba jiru ti’oorii odeeffannoo irraa kan madde dha. Algoritmiin dhiibbaa akka Zstandard yeroo barruu uggura qunnamu, galmee jechootaa keessoo shaakala ijaara. Barreeffamoonni lama jechoota, sintaksii fi caasaa walfakkaataa yoo qooddatan, walitti dhiibuun bu’aa barreeffama guddaa qofa dhiibuu caalaa xiqqoo guddaa ta’e argamsiisa. Yoo wal hin qabanne, guddinni dhiibbaa walitti hidhame walitti qabama safara dhuunfaa lamaanitti dhiyaata.

Hariiroon kun foormulaa Fageenya Dhiibbaa Normaalized tiin qabama: NCD(x, y) = (C(xy) - min(C(x), C(y))) / max(C(x), C(y)), iddoo C(x) guddina dhiibbaa barruu x, fi C(xy) guddina dhiibbaa barruulee lamaan walitti hidhaman ti. Gatiin NCD 0tti dhihoo ta'e barreeffamoonni baay'ee walfakkaachuu isaanii yoo ta'u, gatii 1tti dhihoo ta'e immoo qabiyyee odeeffannoo hin qooddatan jechuun ni danda'ama jechuudha.

Wanti tooftaa kana ajaa'iba godhu, daataa leenjii, tokenization, embeddings, fi GPU hin barbaadu. Kompireesarri mataan isaa akka moodeela baratame caasaa barreeffamichaa ta'ee hojjeta. Qorannoon barreeffamoota akka "Low-Resource Text Classification: A Parameter-Free Classification Method with Compressors" (2023) irratti maxxanfame akka agarsiisutti, NCD gzip irratti hundaa'e ulaagaalee murtaa'an irratti BERT waliin dorgomee, fedhii haaromfame mala kanaaf kaase.

Maaliif Moojuliin Zstandard Python 3.14 NCDf Tapha Jijjiiramaa Ta'a?

Paayitoon 3.14 dura, Zstandard fayyadamuun paakeejii qaama sadaffaa python-zstandard fe'uu barbaachisa ture. Moojuliin haaraan compression.zstd, karaa PEP 784 kan dhiyaate, kallattiin CPython waliin ergama. Kana jechuun hirkattummaa zeeroo baasii ol'aanaa fi API wabii, tasgabbaa'aa libzstd Meta'n lola-qorameen deeggarame jechuudha. Hojiiwwan ramaddii addatti, Zstandard faayidaa hedduu gzip ykn bzip2:

irratti dhiyeessa
    jechuun ni danda’ama
  • Saffisa: Zstandard reeshiyoo wal madaalu irratti gzip caalaa 3-5x saffisaan dhiiba, kunis ramaddii tuuta sanadoota kumaatamaan lakkaa'aman irratti daqiiqaa osoo hin taane sekondii keessatti akka danda'amu taasisa
  • Sadarkaa dhiibbaa qindaa'uu danda'u: Sadarkaan 1 hanga 22 saffisa reeshiyoodhaan akka daldaltu si taasisa, kunis sirritti NCD barbaachisummaa bu'aa wajjin akka safartu si dandeessisa
  • Deeggarsa galmee jechootaa: Galmeen jechootaa Zstandard dursanii leenji'an dhiibbaa barreeffamoota xixiqqoo (4KB gadi) haala ajaa'ibaatiin fooyyessuu danda'u, kunis sirriitti hammangaa galmee bakka sirrummaan NCD baay'ee barbaachisaa ta'etti
  • API Dhangala'aa: Moojulichi dhiibbaa dabalataa ni deeggara, sarara ujummoo ramaddii kanneen barruulee guutummaa korpooraa gara yaadannootti osoo hin fe'iin adeemsisan dandeessisa
  • Tasgabbii mana kitaabaa istaandaardii: Waldhabdee gosa hin qabu, balaa sansalata dhiyeessii hin qabu — from compression import zstd fe'iinsa Paayitoon 3.14+ hunda irratti hojjeta
jechuun ni danda’ama

Hubannoo furtuu: Ramaddiin dhiibbaa irratti hundaa'e yeroo sarara bu'uuraa saffisaa, hirkattummaa irraa bilisa ta'ee fi barruu afaanota hedduu dhalootaan qabatu barbaaddu akka gaariitti hojjeta. Kompressaroonni mallattoo afaan addaa osoo hin taane baayitii raw irratti waan hojjetaniif, galmeewwan Chaayinaa, Arabaa, ykn afaan walmakaa akkuma Ingiliffaa bu'a qabeessa ta'een ramadu — moodeelli afaanii hin barbaachisu.

jedhamuun beekama

Raawwii Qabatamaa Maal Fakkaata?

Ramaddii NCD xiqqaan Paayitoon 3.14 keessatti sarara 30 gadiitti seena. Tokkoon tokkoo barruu wabii (gosa tokkoof tokko) koodii goota, sana booda tokkoon tokkoo galmee haaraadhaaf, NCD wabii hunda irratti shallagiitii gosa fageenya gadi aanaa qabu ramadi. Loojikiin ijoo kunooti:

Jalqaba, moojulii n dhiibbaa galchuu zstd irraa galchi. Faankishinii dhangiiwwan baayitii lama fudhatu, tokkoon tokkoon isaanii dhuunfaan dhiibu, walqabsiisa isaanii dhiibu, fi qabxii NCD deebisu ibsi. Sana booda asxaalee gosa gara barreeffamoota fakkeenyaa bakka bu'ootaatti kaartaa galmee jechootaa ijaari. Tokkoon tokkoo galmee dhufuuf, gosoota irratti irra deddeebi'i, NCD shallagi, fi xiqqaa fili.

💡 DID YOU KNOW?

Mewayz replaces 8+ business tools in one platform

CRM · Invoicing · HR · Projects · Booking · eCommerce · POS · Analytics. Free forever plan available.

Start Free →

Ulaagaalee kuusaa deetaa AG News (ramaddii oduu gita afur) wajjin wal bira qabamee yoo ilaalamu, malan kun sadarkaa dhiibbaa 3 irratti Zstandard fayyadamuun tilmaamaan sirrii ta’uu %62-65 galmaan ga’a — tarkaanfii leenjii hin qabu, moodeela buufachuu hin qabu, fi saffisa ramaddii tilmaamaan sanadoota 8,000 sekondii tokkotti wiirtuu CPU tokko irratti. Sadarkaa dhiibbaa gara 10tti ol guddisuun baasii bu’aa sekondii tokkotti gara sanadoota 2,500tti hir’isuudhaan sirrii ta’uu gara naannoo %68tti dhiiba. Lakkoofsi kun tiraansifoormeetaroota sirriitti qindaa'an wal hin simne, garuu piroototaayipii, adda baasuu asxaa deetaa, ykn naannoo hirkattummaa ML fe'uun qabatamaa hin taaneef bu'uura cimaa ni kennu.

NCD Ramaddii ML Aadaa wajjin Akkamitti Walbira Qaba?

Deebiin amanamaa NCD sirna oomishaa qooda guddaa qabu keessatti ramaddii tiraansifoormara irratti hundaa’eef bakka bu’aa miti. Moodeelotni akka ramaddiiwwan BERT ykn GPT irratti hundaa’an ulaagaalee istaandaardii irratti sirrii ta’uu %94+ galmaan ga’u. Haa ta'u malee, NCD Zstandard waliin bakka addaa qaba. Innis haalawwan jalqaba qabbanaa'aa bakka ati daree tokkoof fakkeenyota mallatteeffaman 50 gadi qabdu keessatti caala — haala moodeelotni sirritti fooyya'anillee itti rakkatan. Yeroo leenjii zeeroo barbaada, afaan ykn koodii kamiyyuu osoo hin fooyya'iin qabata, akkasumas guutummaatti CPU irratti yaadannoo dhaabbataa wajjin hojjeta.

Daldaltoota qabiyyee baay’ee dhufu bulchaniif — tikkeettii deeggarsa, eeruun miidiyaa hawaasaa, gamaaggama oomishaa — ramaddiin NCD Zstandard akka raawwatara darbiinsa jalqabaa kan sanadoota yeroo qabatamaa keessatti ramadu osoo moodeelonni qaaliin bu’aa hin fooyyessiin dura tajaajiluu danda’a. Ujummoon marsaa lamaa kun baasii yaada xumuraa (inference) baay’ee hir’isa, sirrummaa waliigalaa kan eegudha. Waltajjiiwwan qabiyyee fayyadamaan uumame iskeelii irratti adeemsisan, kan akka Mewayz's 207-module business OS kan abbootii qabeenyaa 138,000 ol fayyadaman, ergaawwan karaa, qabiyyee mallattoo, fi muuxannoo fayyadamaa bu'uuraalee ulfaataa malee dhuunfachiisuuf ramaddii salphaa irraa fayyadamoo ta'u.

Dangeffamni fi Muuxannoowwan Gaarii Maali?

Ramaddiin dhiibbaa irratti hundaa'e daangaa beekamaa kan ati herrega gochuu qabdu qaba. Barreeffamoonni gabaabaan (baayitii 100 gadi) qabxii NCD amanamaa hin taane uumu sababiin isaas kompressarri deetaa gahaa shaakala hiika qabu ijaaruuf hin qabu. Teekniikichi filannoo barreeffamoota wabii irrattis miira qaba — bakka bu’oonni haala gaarii hin taane filataman sirrii ta’uu haalaan gadi buusu. Akkasumas NCDn moodeela carraaquu osoo hin taane meetirikii fageenyaa waan ta’eef, uumamaan qabxii amantaa hin oomishu.

| Ramaddii barruu xiqqaadhaaf, galmee jechootaa Zstandard dursitee korpus domeenii kee irratti leenjisi — tarkaanfiin tokkichi kun galmeewwan gabaabaa irratti qabxii dhibbeentaa 8-12n sirrii ta'uu fooyyessuu danda'a.

Gaaffilee Irra Deddeebiin Gaafataman

Ramaddiin dhiibbaa irratti hundaa'e xiinxala miiraaf ni hojjetaa?

Ni danda'a, garuu of eeggannoodhaan. Xiinxalli miiraa barreeffamoota caasaa walfakkaatan keessatti garaagarummaa sagalee xixiqqoo adda baasuu gaafata. NCD ramaddii mata duree barreeffamoonni gosoota adda addaa keessatti jechoota adda addaa fayyadamaniif caalaatti hojjeta. Miiraaf, sirrummaan akkaataa idileetti naannoo 55-60% lafa bu'a — tasaa caalaa gaarii, garuu ofuma isaatiin oomishaaf qophaa'aa miti. Amaloota NCD moodeela loojistikii rigreesshinii salphaa wajjin walitti makuun bu’aa baay’ee fooyyessa.

Moojulii compression.zstd gosoota Paayitoon 3.14 dura keessatti fayyadamuu nan danda'aa?

Lakk. Moojuliin compression.zstd Paayitoon 3.14 keessatti haaraa dha. Gosoota duraaniif, paakeejii python-zstandard PyPI irraa fe'i, kunis faankishiniiwwan walqixa compress() fi decompress() kenna. Loojikiin NCD walfakkaataa ta'ee hafa — hima galchuu qofatu jijjiirama. Erga gara 3.14 ol guddiftee booda, hirkattummaa qaama sadaffaa guutummaatti gadi dhiisuu dandeessa.

Zstandard NCD TF-IDF walfakkeenya koosaayinii qabu waliin wal bira qabamee yoo ilaalamu akkamitti hojjeta?

Ramama mata duree gita hedduu kuusaa deetaa madaalawaa ta’e irratti, walfakkeenyi TF-IDF dabalataan koosaayinii akkaataa idileetti %75-82 sirrii ta’uu kan argatu yoo ta’u, Zstandard NCD’s 62-68% wajjin wal bira qabamee yoo ilaalamu. Haa ta'u malee, TF-IDF veektarii walsimsiifame, jechoota ibsaman, fi tarreewwan jechoota dhaabbii afaan addaa barbaada. Zstandard NCD dursee adeemsa kana keessaa tokkollee hin barbaadu, afaanota hunda irratti saanduqa ala hojjeta, fi galmeewwan haaraa yeroo dhaabbataa keessatti guddina jechootaa osoo hin ilaalin ramada. Prototyping saffisaa ykn naannoo afaanota hedduudhaaf, NCD yeroo baayyee daandii saffisaa gara sirna hojiitti geessudha.

Ujummoo qabiyyee ofumaan ijaaruu yoo ta'e, ergaawwan maamiltootaa karaa irra deemtu, ykn loojikii ramaddii piroototaayipii daldala dijitaalaa keetiif, deeggarsa Zstandard kan Python 3.14 keessaa ijaarame NCD dhiibbaa irratti hundaa'e yeroo kamiyyuu caalaa dhaqqabamaa taasisa. Yoo qabiyyee daldalaa, oomisha, koorsii, fi walqunnamtii maamiltootaa bulchuuf waltajjii hunda-tokko barbaadde, har'a Mewayz waliin ijaaruu jalqabi fi tooftaalee kana hojii kee guutuu keessatti hojiitti galchi.

dhaabbataa keessatti ramada

Try Mewayz Free

All-in-one platform for CRM, invoicing, projects, HR & more. No credit card required.

Start managing your business smarter today

Join 30,000+ businesses. Free forever plan · No credit card required.

Ready to put this into practice?

Join 30,000+ businesses using Mewayz. Free forever plan — no credit card required.

Start Free Trial →

Ready to take action?

Start your free Mewayz trial today

All-in-one business platform. No credit card required.

Start Free →

14-day free trial · No credit card · Cancel anytime