A-nis tha a h-uile co-theacsa a tha a dhìth orm. Leig leam am post blog a sgrìobhadh.

Seòrsachadh teacsa le modal ZSTD Python 3.14

Tha Python 3.14 a’ toirt a-steach modal compression.zstd don leabharlann àbhaisteach, agus tha e a’ fosgladh dòigh-obrach iongantach cumhachdach a thaobh seòrsachadh teacsa às aonais mhodalan ionnsachaidh inneal. Le bhith a’ tomhas dè cho math ‘s as urrainn dha compressor dà theacsa a bhrùthadh ri chèile, faodaidh tu faighinn a-mach dè an coltas a th’ orra - dòigh ris an canar astar teannachaidh àbhaisteach (NCD) - agus a-nis tha Zstandard ga dhèanamh luath gu leòr airson eallach obrach cinneasachaidh.

Ciamar a tha seòrsachadh teacsa stèidhichte air teannadh ag obair dha-rìribh?

Tha am bun-bheachd air cùl seòrsachadh stèidhichte air teannadh freumhaichte ann an teòiridh fiosrachaidh. Nuair a choinnicheas algorithm teannachaidh mar Zstandard ri bloc teacsa, togaidh e faclair de phàtranan a-staigh. Ma tha dà theacsa a’ co-roinn briathrachas, co-chòrdadh agus structar co-chosmhail, le bhith gan teannachadh ri chèile bheir sin toradh dìreach beagan nas motha na bhith a’ teannachadh an teacsa nas motha leis fhèin. Mura h-eil iad càirdeach, bidh am meud teannaichte co-chruinnichte a’ tighinn faisg air suim an dà mheud fa leth.

Tha an dàimh seo air a ghlacadh leis an fhoirmle astar teannachaidh àbhaisteach: NCD(x, y) = (C(xy) - min(C(x), C(y))) / max(C(x), C(y))), far a bheil C(x) na mheud teannaichte de theacsa x, agus C(xy) mar mheud teannaichte an dà theacsa co-cheangailte. Tha luach NCD faisg air 0 a’ ciallachadh gu bheil na teacsaichean glè choltach, agus tha luach faisg air 1 a’ ciallachadh nach bi iad a’ roinn cha mhòr susbaint fiosrachaidh sam bith.

Is e an rud a tha a’ dèanamh an dòigh seo iongantach nach eil feum air dàta trèanaidh, gun chomharran, gun in-ghabhail no GPU. Tha an compressor fhèin ag obair mar mhodail ionnsaichte de structar an teacsa. Sheall rannsachadh a chaidh fhoillseachadh ann am pàipearan mar “Seòrsachadh Teacs le Stòras Ìosal: Modh Seòrsachadh gun Paramadair le Compressors” (2023) gun robh NCD stèidhichte air gzip a’ farpais ri BERT air slatan-tomhais sònraichte, a’ togail ùidh às ùr san dòigh-obrach.

Carson a tha Modal Zstandard Python 3.14 na inneal-atharrachaidh geama airson NCD?

Ron Python 3.14, a’ cleachdadh Zstandard bha feum air a’ phacaid treas-phàrtaidh python-zstandard a stàladh. Bidh am modal ùr compression.zstd, a chaidh a thoirt a-steach tro PEP 784, a’ dol gu dìreach le CPython. Tha seo a’ ciallachadh eisimeileachd neoni os an cionn agus API seasmhach, cinnteach le taic bho libzstd deuchainn-blàir Meta. Airson gnìomhan seòrsachaidh gu sònraichte, tha grunn bhuannachdan aig Zstandard thairis air gzip no bzip2:

• Speed: Bidh Zstandard a’ teannachadh 3-5x nas luaithe na gzip aig co-mheasan coimeasach, a’ fàgail seòrsachadh baidse thar mhìltean de sgrìobhainnean obrachail ann an diogan seach mionaidean
• Ìrean teannachaidh tunail: Leigidh ìrean 1 gu 22 dhut astar malairt airson co-mheas, a’ toirt cothrom dhut mionaideachd NCD a chalpachadh mu choinneamh riatanasan tréchur
• Taic faclair: Faodaidh faclairean Zstandard ro-thrèanadh leasachadh mòr a thoirt air teannachadh theacsaichean beaga (fo 4KB), is e sin dìreach an raon meud sgrìobhainn far a bheil cruinneas an NCD as cudromaiche
• Sruthadh API: Tha am modal a' toirt taic do dhlùthadh mean air mhean, a' comasachadh pìoban seòrsachaidh a bhios a' làimhseachadh theacsaichean gun a bhith a' luchdachadh corpora slàn dhan chuimhne
• Seasmhachd àbhaisteach leabharlainn: Chan eil còmhstri eadar dreach, chan eil cunnart slabhraidh solair ann - bidh bho in-mhalairt teannachaidh zstd ag obair air gach stàladh Python 3.14+

Prìomh shealladh: Bidh seòrsachadh stèidhichte air teannachadh ag obair as fheàrr nuair a bhios feum agad air bun-loidhne sgiobalta gun eisimeileachd a làimhsicheas teacsa ioma-chànanach gu dùthchasach. Leis gu bheil compressors ag obair air bytes amh seach comharran cànain sònraichte, bidh iad a’ seòrsachadh sgrìobhainnean Sìneach, Arabais no cànan measgaichte a cheart cho èifeachdach ris a’ Bheurla - chan eil feum air modal cànain.

Cò ris a tha Cur-an-gnìomh Practaigeach coltach?

Tha clasaig NCD as ìsle ann am Python 3.14 a’ freagairt a-steach fo 30 loidhne. Bidh thu a’ còdachadh gach teacsa iomraidh (aon airson gach roinn), an uairsin airson gach sgrìobhainn ùr, a’ tomhas an NCD mu choinneamh gach iomradh agus a’ sònrachadh an roinn leis an astar as ìsle. Seo an loidsig bhunaiteach:

An toiseach, ion-phortaich am modal le o in-mhalairt compression zstd. Mìnich gnìomh a tha a’ gabhail ri dà shreath byte, a’ teannachadh gach fear leotha fhèin, a’ teannachadh an co-chòrdadh, agus a’ tilleadh an sgòr NCD. An uairsin tog faclair a’ mapadh bhileagan roinne gu teacsaichean sampaill riochdachail. Airson gach sgrìobhainn a thig a-steach, ite thairis air roinnean, obraich a-mach NCD, agus tagh an ìre as lugha.

Ann an slatan-tomhais an aghaidh stòr-dàta AG News (seòrsachadh naidheachdan ceithir-chlas), tha an dòigh-obrach seo a’ cleachdadh Zstandard aig ìre teannachaidh 3 a’ coileanadh timcheall air 62-65% de mhearachd - gun cheum trèanaidh, gun luchdachadh sìos modail, agus astar seòrsachaidh timcheall air 8,000 sgrìobhainn gach diog air aon chridhe CPU. Bidh àrdachadh na h-ìre teannachaidh gu 10 a’ putadh cruinneas gu timcheall air 68% aig cosgais lughdachadh trochur gu timcheall air 2,500 sgrìobhainn gach diog. Chan eil na h-àireamhan sin a’ freagairt air cruth-atharraichean grinn, ach tha iad a’ toirt bunait làidir airson prototyping, triage bileagan dàta, no àrainneachdan far a bheil e do-dhèanta eisimeileachd ML a chuir a-steach.

Ciamar a tha NCD an coimeas ri Seòrsachadh ML Traidiseanta?

Is e am freagairt onarach nach eil NCD na àite airson seòrsachadh stèidhichte air cruth-atharrachaidh ann an siostaman cinneasachaidh àrd-gheall. Bidh modalan mar luchd-seòrsachaidh stèidhichte air BERT no GPT a’ coileanadh cruinneas 94% + air slatan-tomhais àbhaisteach. Ach, tha NCD le Zstandard ann an àite sònraichte. Tha e air leth math ann an suidheachaidhean tòiseachaidh fuar far a bheil nas lugha na 50 eisimpleir le bileagan gach clas - suidheachadh far a bheil eadhon modalan grinn a’ strì. Feumaidh e ùine trèanaidh neoni, làimhseachaidh e cànan no còdachadh sam bith gun atharrachadh, agus ruithidh e gu tur air CPU le cuimhne seasmhach.

Do ghnìomhachasan a tha a’ riaghladh meudan mòra de shusbaint a tha a’ tighinn a-steach - tiogaidean taic, iomradh air na meadhanan sòisealta, lèirmheasan toraidh - faodaidh seòrsaiche Zstandard NCD a bhith na router ciad-pas a bhios a’ seòrsachadh sgrìobhainnean ann an àm fìor mus leasaich modalan nas daoire na toraidhean. Bidh an loidhne-phìoban dà-ìre seo a’ lughdachadh cosgaisean co-dhùnaidh gu mòr agus aig an aon àm a’ cumail suas cruinneas iomlan. Bidh àrd-ùrlaran a bhios a’ giullachd susbaint a ghineadh le luchd-cleachdaidh aig sgèile, leithid OS gnìomhachais 207-modal Mewayz air a chleachdadh le còrr air 138,000 neach-tionnsgain, a’ faighinn buannachd bho sheòrsachadh aotrom gu teachdaireachdan slighe, susbaint tagaichean, agus pearsanachadh eòlasan luchd-cleachdaidh às aonais bun-structair trom.

Dè na crìochan agus na cleachdaidhean as fheàrr?

Tha fios aig seòrsachadh stèidhichte air dùmhlachd air cuingeachaidhean air am bu chòir dhut cunntas a thoirt. Bidh teacsaichean goirid (fo 100 bytes) a’ toirt a-mach sgòran NCD neo-earbsach leis nach eil dàta gu leòr aig an compressor gus pàtrain brìoghmhor a thogail. Tha an dòigh-obrach cuideachd mothachail air taghadh theacsaichean iomraidh - bidh riochdairean air an droch thaghadh a’ lughdachadh cruinneas gu mòr. Agus leis gur e meatrach astair a th’ ann an NCD seach modail coltachd, chan eil e gu nàdarrach a’ toirt a-mach sgòran misneachd.

Gus am feum as fheàrr fhaighinn bhon dòigh-obrach seo: cleachd teacsaichean iomraidh de 500 byte aig a’ char as lugha airson gach roinn, feuch le co-cheangail grunn eisimpleirean gach clas (bidh 2-3 sgrìobhainnean riochdachail còmhla a’ toirt a-mach faclairean teannachaidh nas fheàrr), gnàthaich còmhdach teacsa agus àite geal mus tèid an teannachadh, agus dèan slat-tomhais thairis air ìrean teannachaidh Zstandard 3, 6, agus 10 gus d’ ionad milis luaths-cruinneas a lorg. Airson seòrsachadh teacsa beag, ro-thrèanadh faclair Zstandard air corpas an fhearainn agad - faodaidh an ceum singilte seo cruinneas àrdachadh 8-12 puingean sa cheud air sgrìobhainnean goirid.

Ceistean Bitheanta

A bheil seòrsachadh stèidhichte air teannadh ag obair airson mion-sgrùdadh faireachdainn?

Faodaidh e, ach le rabhaidhean. Feumaidh mion-sgrùdadh faireachdainn a bhith a’ lorg eadar-dhealachaidhean tonal seòlta taobh a-staigh theacsaichean a tha coltach ri structar. Bidh NCD ag obair nas fheàrr airson seòrsachadh chuspairean far a bheil sgrìobhainnean ann an diofar roinnean a’ cleachdadh briathrachas sònraichte. A thaobh faireachdainn, mar as trice bidh cruinneas timcheall air 55-60% - nas fheàrr na air thuaiream, ach chan eil e deiseil airson cinneasachadh leis fhèin. Le bhith a’ cothlamadh feartan NCD le modal ais-tharraing loidsigeach aotrom a’ leasachadh thoraidhean gu mòr.

Am faod mi am modal compression.zstd a chleachdadh ann an tionndaidhean Python ro 3.14?

Chan eil. Tha am modal compression.zstd ùr ann am Python 3.14. Airson dreachan nas tràithe, stàlaich am pasgan python-zstandard bho PyPI, a bheir seachad gnìomhan co-ionann compress() agus decompress(). Tha loidsig an NCD fhathast co-ionann - chan eil ach an aithris in-mhalairt ag atharrachadh. Cho luath ‘s a nì thu àrdachadh gu 3.14, faodaidh tu an eisimeileachd treas-phàrtaidh a leigeil sìos gu tur.

Ciamar a tha Zstandard NCD a’ coileanadh an taca ri TF-IDF le cosine coltach?

Air seòrsachadh cuspair ioma-chlas le stòran-dàta cothromach, mar as trice bidh TF-IDF agus cosine coltach ri chèile a’ coileanadh cruinneas 75-82% an taca ri 62-68% aig Zstandard NCD. Ach, tha feum aig TF-IDF air vectorizer iomchaidh, briathrachas comharraichte, agus liostaichean stadan-cainnt a tha sònraichte do chànan. Chan fheum Zstandard NCD gin den ro-ghiollachd seo, bidh e ag obair thairis air cànanan a-mach às a’ bhogsa, agus a’ seòrsachadh sgrìobhainnean ùra ann an ùine sheasmhach ge bith dè am meud briathrachais. Airson prototyping luath no àrainneachdan ioma-chànanach, is e NCD gu tric an t-slighe as luaithe gu siostam obrach.

Co-dhiù a bheil thu a’ togail pìoban susbaint fèin-ghluasadach, a’ seòladh teachdaireachdan teachdaiche, no a’ prototyping loidsig seòrsachaidh airson do ghnìomhachas didseatach, tha taic Zstandard stèidhichte aig Python 3.14 a’ dèanamh NCD stèidhichte air teannadh nas ruigsinneach na bha e a-riamh. Ma tha thu a’ coimhead airson àrd-ùrlar uile-ann-aon gus susbaint, toraidhean, cùrsaichean agus eadar-obrachadh teachdaiche a’ ghnìomhachais agad a riaghladh, tòisich a’ togail le Mewayz an-diugh agus cuir na dòighean sin gu bhith ag obair thairis air an obair agad gu lèir.