Joale ke na le litaba tsohle tseo ke li hlokang. E re ke ngole poso ea blog.

Tlhaloso ya Mongolo ka Python 3.14's ZSTD Module

Python 3.14 e hlahisa compression.zstd mojule ho laeborari e tlwaelehileng, mme e notlolla mokgwa o matla ka mokgwa o makatsang wa ho hlopha mongolo ntle le mehlala ya ho ithuta ka metjhini. Ka ho lekanya hore na compressor e khona ho petetsa litemana tse peli hantle hakae, u ka tseba ho tšoana ha tsona - mokhoa o bitsoang Normalized Compression Distance (NCD) - 'me joale Zstandard e etsa hore e be lebelo le lekaneng bakeng sa mosebetsi oa tlhahiso.

How Does Compression-Based Text Classification Actually Work?

Mohopolo oa mantlha oa ho arola ka mokhoa o ipapisitseng le khatello o thehiloe mohopolong oa tlhahisoleseling. Ha algorithm ea compression joalo ka Zstandard e kopana le sengoloa, e theha bukana e kahare ea lipaterone. Haeba litemana tse peli li arolelana mantsoe, syntax le sebopeho se tšoanang, ho li kopanya ho hlahisa sephetho se seholo ho feta ho hatella mongolo o moholo feela. Haeba li sa amane, boholo bo hatelletsoeng bo atamela kakaretso ea boholo ba bobeli.

Kamano ena e nkiloe ka mokhoa o tloaelehileng oa ho Compression Distance: NCD(x, y) = (C(xy) - min(C(x), C(y))) / max(C(x), C(y)), moo C(x) e leng boholo bo hatelitsoeng ba mongolo x,' me C(xy) ke boholo bo hatelitsoeng ba litemana tse peli tse kopantsoeng. Boleng ba NCD bo haufi le 0 bo bolela hore litemana li tšoana haholo, athe boleng bo haufi le 1 bo bolela hore ha ba arolelane litaba tse batlang li se na tlhahisoleseling.

Se etsang hore mokhoa ona o be o tsotehang ke hore ha o hloke boitsebiso ba koetliso, ha ho na tokenization, ha ho embedding, le GPU. Compressor ka boeona e sebetsa joalo ka mohlala o ithutoang oa sebopeho sa mongolo. Patlisiso e phatlalalitsoeng lipampiring tse kang "Low-Resource Text Classification: A Parameter-Free Classification Method with Compressors" (2023) e bontšitse hore Gzip-based NCD e qothisana lehlokoa le BERT ka li-benchmarks tse itseng, e leng se ileng sa tsosa thahasello e ncha tseleng eo.

Hobaneng Python 3.14's Zstandard Module e le Game-Changer bakeng sa NCD?

Pele ho Python 3.14, ho sebelisa Zstandard ho ne ho hlokahala ho kenya sephutheloana sa motho oa boraro python-zstandard. Mojule o mocha oa compression.zstd, o hlahisitsoeng ka PEP 784, o tsamaea ka sekepe ka kotloloho ka CPython. Sena se bolela ho itšetleha ka letho le API e netefalitsoeng, e tsitsitseng e tšehelitsoeng ke libzstd e lekiloeng ea ntoa ea Meta. Bakeng sa mesebetsi ea lihlopha ka ho khetheha, Zstandard e fana ka melemo e mengata ho feta gzip kapa bzip2:

• Lebelo: Zstandard e petetsa 3-5x ka potlako ho feta gzip ka tekanyo e ka bapisoang, e etsa hore ho aroloa ka lihlopha ho feta likete tsa litokomane ho sebetse ka metsotsoana ho feta metsotso
• Maemo a compression a Tunable: Maemo a 1 ho isa ho a 22 a o lumella ho fapanyetsana lebelo bakeng sa karo-karolelano, e u lumellang ho lekanya ho nepahala ha NCD khahlano le litlhoko tsa ho feta
• Tshehetso ya bukantswe: Didikishinari tsa Zstandard tse kwetlisitsweng esale pele di ka kaonafatsa kgatello ya dingolwa tse nyane haholo (tlasa 4KB), e leng sona hantle boholo ba ditokomane moo ho nepahala ha NCD ho leng bohlokwa haholo
• Streaming API: Mojule o tshehetsa kgatello e ntseng e eketseha, e nolofalletsang methati ya ho hlopha e sebetsanang le dingolwa ntle le ho kenya corpora kaofela mohopolong
• Botsitso bo tlwaelehileng laeboraring: Ha ho likhohlano tsa mofuta, ha ho na kotsi ea phepelo ea thepa — ho tsoa ho compression import zstd e sebetsa ts'ebetsong e ngoe le e ngoe ea Python 3.14+

Tlhahiso ea bohlokoa: Phapanyetsano e thehiloeng ho compression e sebetsa hantle ha o hloka mokhoa o potlakileng, o sa itšetleheng o sebetsanang le mongolo oa lipuo tse ngata ka tlhaho. Hobane li-compressor li sebetsa ho li-byte tse tala ho fapana le li-tokens tsa puo e itseng, li hlophisa litokomane tsa Sechaena, Searabia, kapa lipuo tse tsoakaneng hantle feela joalo ka Senyesemane - ha ho hlokahale mofuta oa puo.

Tlhahiso e Sebetsang e shebahala Joang?

Sehlopha se fokolang sa NCD ho Python 3.14 se kena ka tlase ho mela e 30. U kenyelletsa mongolo o mong le o mong oa litšupiso (e le 'ngoe ka sehlopha), ebe bakeng sa tokomane e 'ngoe le e 'ngoe e ncha, u bala NCD khahlanong le litšupiso tsohle ebe u abela sehlopha sebaka se tlase haholo. Mona ke lintlha tsa mantlha:

Sa pele, kenya module ka ho tloha ho compression import zstd. Hlalosa tšebetso e amohelang likhoele tse peli tsa li-byte, e hatella e 'ngoe le e' ngoe ka bonngoe, e hatella khokahano ea eona, 'me e khutlisa lintlha tsa NCD. Ebe u theha lihlopha tsa 'mapa oa bukantswe ho latela mehlala ya dingolwa. Bakeng sa tokomane e 'ngoe le e 'ngoe e kenang, pheta-pheta lihlopha, bala NCD, 'me u khethe bonyane.

Ho li-benchmarks khahlano le datha tsa AG News (sehlopha sa litaba sa mekhahlelo e mene), mokhoa ona o sebelisang Zstandard maemong a compression 3 o fihlella ho nepahala ha hoo e ka bang 62-65% - ha ho mohato oa koetliso, ha ho khoasollo ea mohlala, le lebelo la ho arola litokomane tse ka bang 8,000 motsotsoana ho motheo o le mong oa CPU. Ho phahamisa boemo ba compression ho 10 ho sutumelletsa ho nepahala ho pota 68% ka litšenyehelo tsa ho fokotsa tlhahiso ho litokomane tse ka bang 2,500 ka motsotsoana. Linomoro tsena ha li tsamaellane le li-transformer tse hlophisitsoeng hantle, empa li fana ka lintlha tsa motheo tse matla bakeng sa prototyping, tlhahlobo ea mangolo a data, kapa libaka tseo ho tsona ho sa khoneheng ho kenya ML.

NCD E Bapisoa Joang le Kakaretso ea ML ea Setso?

Karabo e tšepahalang ke hore NCD ha se sebaka sa li-classifiers tse thehiloeng ho li-transformer lits'ebetsong tse phahameng tsa tlhahiso. Mefuta e kang BERT kapa li-classifiers tse thehiloeng ho GPT li fihlella ho nepahala ha 94%+ ho litekanyetso tse tloaelehileng. Leha ho le joalo, NCD e nang le Zstandard e na le niche e ikhethang. E ipabola maemong a qalang a batang moo o nang le mehlala e ngotsoeng e ka tlase ho 50 sehlopheng ka seng - boemo boo ho bona mefuta e hlophisitsoeng hantle e sokolang. E hloka nako ea ho ikoetlisa, e sebetsana le puo efe kapa efe kapa khouto ntle le phetoho, 'me e sebetsa ka botlalo ho CPU ka mohopolo o sa feleng.

Bakeng sa likhoebo tse laolang palo e kholo ea litaba tse kenang - litekete tsa tšehetso, ho bua ka mecha ea litaba ea sechaba, litlhahlobo tsa lihlahisoa - sehlopha sa Zstandard NCD se ka sebetsa e le router ea pele e arolang litokomane ka nako ea nnete pele mehlala e theko e boima e ntlafatsa sephetho. Phaephe ena ea mekhahlelo e 'meli e fokotsa litšenyehelo haholo ha e ntse e boloka ho nepahala ka kakaretso. Li-platform tse sebetsanang le litaba tse hlahisoang ke basebelisi ka bongata, joalo ka Mewayz's 207-module business OS e sebelisoang ke bo-rakhoebo ba fetang 138,000, li rua molemo ho tsoa ho lihlopha tse bobebe ho ea ho melaetsa ea litsela, litaba tsa li-tag, le ho iketsetsa liphihlelo tsa basebelisi ntle le lisebelisoa tse boima.

Mefokolo le Mekhoa e Metle ke Efe?

Sehlopha se ipapisitseng le khatello ea maikutlo se na le meeli eo u lokelang ho e ela hloko. Litemana tse khutšoane (tse ka tlase ho li-byte tse 100) li hlahisa lintlha tse sa tšepahaleng tsa NCD hobane compressor ha e na data e lekaneng ho aha lipaterone tse nang le moelelo. Mokhoa ona o boetse o tsotella khetho ea litemana tsa litšupiso - baemeli ba khethiloeng hampe ba nyenyefatsa ho nepahala haholo. Mme ka ha NCD e le metric ya bohole ho fapana le mmotlolo wa probabilistic, ka tlhaho ha e hlahise maduo a tshepo.

Ho fumana molemo ka ho fetisisa ho tswa ho mokgwa ona: sebedisa dingolwa tsa bonyane tse 500 sehlopheng ka seng, leka ka ho kopanya mehlala e mengata sehlopheng ka seng (litokomane tsa baemeli ba 2-3 tse kopantsoeng hammoho li fana ka dictionaries tse molemohali tsa compression), normalize text casing le whitespace pele ho compression, le benchmark ho pholletsa le Zstandard compression level 3, 6, le 10 ho fumana lebelo la hao la ho nepahala. Bakeng sa ho hlopha mongolo o monyane, koetlisa bukantswe ya Zstandard ho domain corpus ya hau — mohato ona o le mong o ka ntlafatsa ho nepahala ka liphesente tse 8-12 litokomaneng tse khutšoane.

Lipotso Tse Botsoang Hangata

Na ho hlophisoa ho ipapisitsoe le khatello ea maikutlo ho sebetsa bakeng sa tlhahlobo ea maikutlo?

E ka khona, empa ka litemoso. Tlhahlobo ea maikutlo e hloka ho lemoha phapang e poteletseng ea molumo ka har'a lingoloa tse tšoanang ka sebopeho. NCD e sebetsa betere bakeng sa ho arola lihlooho moo litokomane ka mekhahlelo e fapaneng li sebelisang mantsoe a ikhethileng. Bakeng sa maikutlo, ho nepahala hangata ho lula ho pota 55-60% - ho molemo ho feta ka tšohanyetso, empa e se e itokiselitseng tlhahiso ka boeona. Ho kopanya likarolo tsa NCD le mokhoa o bobebe oa ho theola thepa o ntlafatsa sephetho haholo.

Na nka sebelisa mojule oa compression.zstd liphetolelong tsa Python pele ho 3.14?

Che. Mojule oa compression.zstd o ncha ho Python 3.14. Bakeng sa liphetolelo tsa pejana, kenya python-zstandard sephutheloana ho tsoa ho PyPI, e fanang ka ts'ebetso e lekanang ea compress() le decompress(). Monahano oa NCD o lula o ts'oana - ke polelo ea ho kenya feela e fetohang. Hang ha u se u ntlafalitse ho 3.14, u ka tlohela ho itšetleha ka batho ba bang ka ho feletseng.

Zstandard NCD e sebetsa jwang ha e bapiswa le TF-IDF e tshwanang le cosine?

Ho hlophisoa ha lihlooho tsa maemo a mangata ka li-dataset tse leka-lekaneng, TF-IDF hammoho le cosine ho tšoana hangata e fihlella ho nepahala ha 75-82% ha ho bapisoa le Zstandard NCD's 62-68%. Leha ho le joalo, TF-IDF e hloka vectoriser e kentsoeng, pokello ea mantsoe e hlalosoang, le manane a stopword a ikhethileng a puo. Zstandard NCD ha e hloke leha e le efe ea ts'ebetso ena, e sebetsa ka lipuo tsohle ka ntle ho lebokose, 'me e hlophisa litokomane tse ncha ka nako e sa khaotseng ho sa tsotellehe boholo ba mantsoe. Bakeng sa tikoloho e potlakileng ea prototyping kapa lipuo tse ngata, NCD hangata ke tsela e potlakileng ea sistimi e sebetsang.

Ho sa tsotellehe hore na o haha ​​liphaephe tsa litaba tsa othomathike, melaetsa ea bareki e tsamaisang melaetsa, kapa mokhoa oa ho hlophisa litšoantšiso bakeng sa khoebo ea hau ea digital, tšehetso ea Python 3.14 ea Zstandard e etsa hore NCD e thehiloeng ho compression e fumanehe ho feta leha e le neng pele. Haeba u batla sethala sa bohle-in-one ho laola litaba tsa khoebo ea hau, lihlahisoa, lithuto, le litšebelisano tsa bareki, qala ho haha ​​ka Mewayz kajeno 'me u sebelise mekhoa ena ho sebetsa mosebetsing oa hau kaofela.