Python 3.14-ийн ZSTD модультай текстийн ангилал

Python 3.14 нь стандарт номын санд compression.zstd модулийг нэвтрүүлсэн бөгөөд энэ нь машин сургалтын загваргүйгээр текст ангилах гайхалтай хүчирхэг хандлагыг нээж өгдөг. Компрессор хоёр текстийг хэр сайн шахаж чадахыг хэмжсэнээр та тэдгээрийн ижил төстэй байдлыг тодорхойлох боломжтой бөгөөд энэ нь Хэвийн шахалтын зай (NCD) гэж нэрлэгддэг арга бөгөөд одоо Zstandard нь үүнийг үйлдвэрлэлийн ажлын ачаалалд хангалттай хурдан болгодог.

Шахалтад суурилсан текстийн ангилал нь үнэндээ хэрхэн ажилладаг вэ?

Шахалтад суурилсан ангиллын үндсэн санаа нь мэдээллийн онолд тулгуурладаг. Zstandard шиг шахалтын алгоритм нь текстийн блоктой тулгарах үед хэв маягийн дотоод толь бичгийг бүтээдэг. Хэрэв хоёр текст ижил төстэй үгсийн сан, синтакс, бүтэцтэй бол тэдгээрийг хамтад нь шахах нь зөвхөн том текстийг шахахаас арай том үр дүнд хүргэдэг. Хэрэв тэдгээр нь хоорондоо хамааралгүй бол нэгтгэсэн шахсан хэмжээ нь тус тусын аль алиных нь нийлбэрт ойртоно.

Энэ хамаарлыг Хэвийн шахалтын зайны томъёогоор тодорхойлно: NCD(x, y) = (C(xy) - min(C(x), C(y))) / max(C(x), C(y)), энд C(x) нь x текстийн шахсан хэмжээ, C(xy) нь хоёр текстийн шахагдсан хэмжээ юм. 0-тэй ойролцоо NCD-ийн утга нь текстүүд хоорондоо маш төстэй, харин 1-тэй ойролцоо утга нь бараг ямар ч мэдээллийн агуулгыг хуваалцдаггүй гэсэн үг юм.

Энэ техникийг гайхамшигтай болгож байгаа зүйл нь сургалтын өгөгдөл, токенжуулалт, суулгац, GPU шаардлагагүй юм. Компрессор өөрөө текстийн бүтцийн сурсан загвар болж ажилладаг. "Нөөц багатай текстийн ангилал: Компрессортой параметргүй ангилах арга" (2023) зэрэг нийтлэлд нийтлэгдсэн судалгаагаар gzip-д суурилсан ХБӨ нь тодорхой шалгуур үзүүлэлтээр BERT-тай өрсөлдөж, энэ хандлагыг дахин сонирхох болсон.

Яагаад Python 3.14-ийн Zstandard модуль нь NCD-ийн тоглоомыг өөрчилдөг вэ?

Python 3.14-ээс өмнө Zstandard-г ашиглахын тулд гуравдагч талын python-zstandard багцыг суулгах шаардлагатай болдог. PEP 784-ээр нэвтрүүлсэн шинэ compression.zstd модулийг CPython-той шууд нийлүүлдэг. Энэ нь Meta-ийн тулалдаанд туршигдсан libzstd-ээр баталгаажсан, тогтвортой API гэсэн үг. Ангиллын даалгаврын хувьд Zstandard нь gzip эсвэл bzip2-ээс хэд хэдэн давуу талыг санал болгодог:

• Хурд: Zstandard нь харьцуулах боломжтой харьцаагаар gzip-ээс 3-5 дахин хурдан шахаж, олон мянган баримт бичгийн багцын ангиллыг минутанд биш секундын дотор ашиглах боломжтой болгодог
• Тохируулж болох шахалтын түвшин: 1-ээс 22-р түвшин нь хурдыг харьцаагаар солих боломжийг олгодог бөгөөд ингэснээр дамжуулалтын шаардлагын дагуу ХБӨ-ийн нарийвчлалыг тохируулах боломжийг олгоно
• Толь бичгийн дэмжлэг: Урьдчилан бэлтгэгдсэн Zstandard толь бичгүүд нь жижиг бичвэрүүдийн (4KB-аас бага) шахалтыг эрс сайжруулдаг бөгөөд энэ нь NCD-ийн нарийвчлал хамгийн чухал байдаг баримт бичгийн хэмжээ юм
• Streaming API: Модуль нь нэмэлт шахалтыг дэмжиж, бүхэл бүтэн корпусыг санах ойд ачаалахгүйгээр текстийг боловсруулдаг ангиллын шугамыг идэвхжүүлдэг
• Стандарт номын сангийн тогтвортой байдал: Хувилбарын зөрчил байхгүй, нийлүүлэлтийн гинжин хэлхээний эрсдэл байхгүй — шахалтын импортоос zstd нь Python 3.14+ суулгац бүр дээр ажилладаг

Үндсэн ойлголт: Шахалтад суурилсан ангилал нь олон хэл дээрх текстийг уугуул байдлаар боловсруулдаг хурдан, хамааралгүй суурь мэдээлэл хэрэгтэй үед хамгийн сайн ажилладаг. Компрессорууд нь хэлний тусгай жетоноор бус түүхий байт дээр ажилладаг тул хятад, араб эсвэл холимог хэл дээрх баримт бичгүүдийг англи хэлтэй адил үр дүнтэй ангилдаг бөгөөд хэлний загвар шаардлагагүй.

Практик хэрэгжилт ямар харагддаг вэ?

Python 3.14 дээрх хамгийн бага NCD ангилагч нь 30-аас доош мөрөнд багтах болно. Та лавлагааны текст бүрийг (ангилал тус бүрд нэг) кодлож, дараа нь шинэ баримт бичиг болгонд ХБӨ-ийг лавлагаа болгонд тооцож, ангиллыг хамгийн бага зайд онооно. Энд гол логик байна:

Эхлээд модулийг шахалтын импортоос zstd ашиглан импортлоорой. Хоёр байт мөрийг хүлээн авч, тус бүрийг тус тусад нь шахаж, тэдгээрийн холболтыг шахаж, NCD-ийн оноог буцаадаг функцийг тодорхойлно уу. Дараа нь жишээ текстийг төлөөлөх толь бичгийн ангилалын шошго үүсгэ. Ирж буй баримт бичиг бүрийг ангиллаар давтаж, ХБӨ-ийг тооцоолж, хамгийн бага хэмжээг сонгоно уу.

AG News өгөгдлийн багц (дөрвөн ангиллын мэдээний ангилал)-тай харьцуулсан жишиг үзүүлэлтээр Zstandard-ыг шахалтын 3-р түвшинд ашигласан энэ арга нь ойролцоогоор 62-65%-ийн нарийвчлалтай - ямар ч сургалтын шат дамжлагагүй, загвар татаж авахгүй, нэг CPU цөм дээр секундэд ойролцоогоор 8000 баримт бичгийг ангилах хурд. Шахалтын түвшинг 10 хүртэл нэмэгдүүлэх нь дамжуулах чадварыг секундэд 2500 орчим баримт болгон бууруулах зардлаар нарийвчлалыг 68% орчим болгодог. Эдгээр тоо нь нарийн тохируулсан трансформатортай таарахгүй ч загварчлал, өгөгдлийн шошгололт, эсвэл ML хамаарлыг суулгах нь боломжгүй орчинд ажиллахад баттай суурь мэдээлэл өгдөг.

ХБӨ-ийг уламжлалт ML-ийн ангилалтай харьцуулах нь юу вэ?

Шударга хариулт бол ХӨС нь өндөр эрсдэлтэй үйлдвэрлэлийн систем дэх трансформаторт суурилсан ангилагчийг орлох зүйл биш юм. BERT эсвэл GPT-д суурилсан ангилагч зэрэг загварууд нь стандарт жишиг дээр 94% + нарийвчлалтай байдаг. Гэсэн хэдий ч Zstandard-тай ХБӨ нь өвөрмөц орон зай эзэлдэг. Энэ нь нэг ангид 50-иас цөөн тооны шошготой жишээтэй, маш сайн тохируулсан загвар өмсөгчид хүртэл тэмцдэг нөхцөлд маш сайн байдаг. Энэ нь сургалтын цагийг огт шаарддаггүй, ямар ч хэл, кодчилолд өөрчлөлт оруулалгүйгээр ажиллах ба тогтмол санах ойтой CPU дээр бүрэн ажилладаг.

Ирж буй агуулгыг их хэмжээгээр удирддаг бизнесүүдэд зориулсан дэмжлэгийн тасалбар, олон нийтийн мэдээллийн хэрэгслээр дурьдсан зүйлс, бүтээгдэхүүний тойм - Zstandard NCD ангилагч нь илүү үнэтэй загварууд үр дүнг сайжруулахаас өмнө баримт бичгүүдийг бодит цаг хугацаанд ангилдаг анхны дамжуулагч чиглүүлэгч болж чадна. Энэхүү хоёр үе шаттай дамжуулах хоолой нь ерөнхий нарийвчлалыг хадгалахын зэрэгцээ дүгнэлтийн зардлыг мэдэгдэхүйц бууруулдаг. 138,000 гаруй бизнес эрхлэгчдийн ашигладаг Mewayz-ийн 207 модуль бүхий бизнесийн үйлдлийн систем зэрэг хэрэглэгчийн үүсгэсэн агуулгыг өргөн цар хүрээтэй боловсруулдаг платформууд нь мессежийг чиглүүлэх, контентыг шошголох, хүнд дэд бүтэцгүйгээр хэрэглэгчийн туршлагыг хувийн болгох зэрэг хөнгөн ангиллаас ашиг тустай.

Хязгаарлалтууд болон шилдэг туршлагууд юу вэ?

Шахалтад суурилсан ангилалд таны анхаарах ёстой тодорхой хязгаарлалтууд байдаг. Богино текст (100 байтаас бага) нь компрессорт утга учиртай хэв маягийг бий болгох хангалттай өгөгдөл байхгүй тул найдваргүй ХӨС-ийн оноог гаргадаг. Энэ техник нь лавлах текстийг сонгоход мэдрэмтгий байдаг - муу сонгогдсон төлөөлөгчид нарийвчлалыг эрс бууруулдаг. Мөн NCD нь магадлалын загвар гэхээсээ илүү зайны хэмжигдэхүүн учраас итгэлийн оноо өгдөггүй.

Энэ аргаас хамгийн их ашиг хүртэхийн тулд: категори тус бүрд дор хаяж 500 байт лавлагаа текст ашиглах, анги тус бүрт олон жишээг нэгтгэх туршилт хийх (2-3 төлөөлөх баримт бичгийг нэгтгэснээр илүү сайн шахалтын толь бичгүүдийг гаргаж өгдөг), шахалтын өмнө текстийн том оврын зай болон хоосон зайг хэвийн болгож, Zstandard шахалтын 3, 6, 10-р түвшнийг харьцуулан шалгаарай. Жижиг текстийн ангилалд зориулж Zstandard толь бичгийг өөрийн домэйн дээр урьдчилан бэлтгэ. Энэ ганц алхам нь богино баримт бичгийн нарийвчлалыг 8-12 хувиар нэмэгдүүлэх боломжтой.

Байнга асуудаг асуултууд

Шахалтад суурилсан ангилал нь мэдрэмжийн шинжилгээнд ажилладаг уу?

Болох боломжтой, гэхдээ анхааруулгатай. Мэдрэмжийн шинжилгээ нь бүтцийн хувьд ижил төстэй текст доторх өнгө аясуудын нарийн ялгааг илрүүлэхийг шаарддаг. NCD нь өөр өөр ангилалд хамаарах баримт бичигт өөр өөр үгсийн санг ашигладаг сэдвийн ангилалд илүү сайн ажилладаг. Мэдрэмжийн хувьд нарийвчлал нь ихэвчлэн 55-60% орчим байдаг - санамсаргүй байдлаас илүү сайн, гэхдээ өөрөө үйлдвэрлэхэд бэлэн биш байна. ХӨС-ийн онцлогийг хөнгөн жинтэй логистик регрессийн загвартай хослуулах нь үр дүнг ихээхэн сайжруулдаг.

Би 3.14-с өмнөх Python хувилбаруудад compression.zstd модулийг ашиглаж болох уу?

Үгүй. compression.zstd модуль нь Python 3.14 дээр шинэ юм. Өмнөх хувилбаруудын хувьд ижил төстэй compress() болон decompress() функцуудыг хангадаг PyPI-ээс python-zstandard багцыг суулгана уу. NCD логик нь ижил хэвээр байна - зөвхөн импортын мэдэгдэл өөрчлөгдөнө. Та 3.14 рүү шинэчилсний дараа гуравдагч этгээдийн хараат байдлаас бүрэн татгалзаж болно.

Зстандарт NCD нь косинустай төстэй TF-IDF-тай харьцуулахад ямар үзүүлэлттэй байна вэ?

Тэнцвэртэй өгөгдлийн багц бүхий олон ангиллын сэдвийн ангилалд TF-IDF дээр косинусын ижил төстэй байдал нь Zstandard NCD-ийн 62-68% -тай харьцуулахад 75-82% нарийвчлалтай байдаг. Гэсэн хэдий ч TF-IDF нь суурилуулсан векторчлогч, тодорхойлсон үгсийн сан, хэлний тусгай зогсоох үгийн жагсаалтыг шаарддаг. Zstandard NCD нь эдгээр урьдчилсан боловсруулалтыг шаарддаггүй, бүх хэлээр ажилладаг бөгөөд шинэ баримт бичгүүдийг үгийн сангийн хэмжээнээс үл хамааран тогтмол хугацаанд ангилдаг. Түргэн загварчлал эсвэл олон хэлээр ярьдаг орчны хувьд NCD нь ихэвчлэн ажлын системд хүрэх илүү хурдан зам болдог.

Та өөрийн дижитал бизнест автоматжуулсан контент дамжуулах шугам барьж, хэрэглэгчийн мессежийг чиглүүлэх эсвэл ангиллын логикийг загварчилж байгаа эсэхээс үл хамааран Python 3.14-ийн суурилуулсан Zstandard дэмжлэг нь шахалтад суурилсан ХБӨ-г урьд өмнөхөөсөө илүү хүртээмжтэй болгодог. Хэрэв та өөрийн бизнесийн агуулга, бүтээгдэхүүн, курс, үйлчлүүлэгчтэй харилцах харилцаагаа удирдах нэгдмэл платформ хайж байгаа бол Өнөөдөр Mewayz-тэй хамт бүтээж эхлээрэй, эдгээр арга техникийг бүх үйл ажиллагаандаа хэрэгжүүлээрэй.