پۆلێنکردنی دەق بە مۆدیۆلی ZSTD ی پایتۆن 3.14

Python 3.14 مۆدیۆلی compression.zstd دەناسێنێت بۆ کتێبخانەی ستاندارد، و ڕێگەیەکی بەهێزی سەرسوڕهێنەر بۆ پۆلێنکردنی دەق بەبێ مۆدێلی فێربوونی ئامێر دەکاتەوە. بە پێوانەکردنی ئەوەی کە کۆمپرێسەرێک دەتوانێت دوو دەق بەیەکەوە بچەوسێنێتەوە، دەتوانیت لێکچوونیان دیاری بکەیت — تەکنیکێک کە پێی دەوترێت مەودای پاڵەپەستۆی ئاسایی (NCD) — و ئێستا Zstandard بە ڕادەیەکی پێویست خێرا بۆ باری کاری بەرهەمهێنان دروستی دەکات.

پۆلێنکردنی دەق لەسەر بنەمای پاڵەپەستۆ لە ڕاستیدا چۆن کاردەکات؟

بیرۆکەی سەرەکی پشت پۆلێنکردن لەسەر بنەمای پاڵەپەستۆ ڕەگ و ڕیشەی لە تیۆری زانیاریدا هەیە. کاتێک ئەلگۆریتمێکی پاڵەپەستۆی وەک Zstandard ڕووبەڕووی بلۆکێکی دەق دەبێتەوە، فەرهەنگێکی ناوخۆیی نەخشەکان دروست دەکات. ئەگەر دوو دەق وشەسازی و ڕستەسازی و پێکهاتەی هاوشێوەیان هەبێت، پاڵەپەستۆکردنیان بەیەکەوە ئەنجامێکی تەنها کەمێک گەورەتر لە پاڵەپەستۆکردنی دەقە گەورەکە بە تەنیا بەرهەم دەهێنێت. ئەگەر پەیوەندییان نەبێت، قەبارەی پاڵەپەستۆکراوی بەستراو لە کۆی هەردوو قەبارەی تاکەکەسی نزیک دەبێتەوە.

ئەم پەیوەندییە بە فۆرمولەی مەودای پاڵەپەستۆی ئاساییکراوەوە دەگیرێت: NCD(x, y) = (C(xy) - min(C(x), C(y))) / max(C(x), C(y))، کە C(x) قەبارەی پاڵەپەستۆکراوی دەقی x ە، و C(xy) قەبارەی پاڵەپەستۆکراوی دوو دەقەکەیە کە بەیەکەوە گرێدراون. بەهای NCD نزیک لە 0 بەو مانایەیە کە دەقەکان زۆر لەیەک دەچن، لە کاتێکدا بەهایەکی نزیک لە 1 بەو مانایەیە کە نزیکەی هیچ ناوەڕۆکێکی زانیارییان نییە.

ئەوەی ئەم تەکنیکە سەرنجڕاکێش دەکات ئەوەیە کە پێویستی بە هیچ داتایەکی ڕاهێنان و هیچ تۆکنکردن و هیچ جێگیرکردن و هیچ GPU نییە. کۆمپرێسەر خۆی وەک مۆدێلی فێربووی پێکهاتەی دەقەکە کاردەکات. توێژینەوەکان کە لە توێژینەوەکانی وەک "پۆلێنکردنی دەقی سەرچاوە کەم: شێوازێکی پۆلێنکردنی بێ پارامێتەر لەگەڵ پاڵەپەستۆکەرەکان" (2023) بڵاوکراونەتەوە، دەریانخستووە کە NCD لەسەر بنەمای gzip ڕکابەری BERT دەکات لەسەر هەندێک پێوەر، ئەمەش بووە هۆی ئەوەی کە سەرنجی نوێ بۆ ڕێبازەکە هەبێت.

بۆچی مۆدیۆلی Zstandard ی پایتۆن 3.14 یاریگۆڕە بۆ NCD؟

پێش پایتۆن ٣.١٤، بەکارهێنانی Zstandard پێویستی بە دامەزراندنی پاکێجی python-zstandardی لایەنی سێیەم بوو. مۆدیۆلی نوێی compression.zstd کە لە ڕێگەی PEP 784ەوە ناسێنراوە، ڕاستەوخۆ لەگەڵ CPython دەنێردرێت. ئەمەش واتە سفر وابەستەیی سەرپێچی و APIیەکی جێگیر و گەرەنتیکراو کە لەلایەن libzstd ی تاقیکراوی شەڕی مێتا پشتگیری دەکرێت. بۆ ئەرکەکانی پۆلێنکردن بە تایبەتی، Zstandard چەندین سوود پێشکەش دەکات بە بەراورد بە gzip یان bzip2:

• خێرایی: Zstandard 3-5x خێراتر لە gzip بە ڕێژەی بەراوردکراو پاڵپێوەنانی دەکات، ئەمەش وا دەکات پۆلێنکردنی وەجبە لەسەر هەزاران بەڵگەنامە لە چەند چرکەیەکدا بتوانرێت نەک لە خولەکێکدا
• ئاستی پاڵەپەستۆی کۆنتڕۆڵکراو: ئاستەکانی 1 تا 22 ڕێگەت پێدەدات خێرایی بە ڕێژە بگۆڕیت، ڕێگەت پێدەدات وردبینی NCD لە بەرامبەر پێداویستییەکانی توانای تێپەڕاندن قەبارەبکەیت
• پشتیوانی فەرهەنگ: فەرهەنگەکانی Zstandard کە پێشتر ڕاهێنراون دەتوانن بە شێوەیەکی سەرنجڕاکێش پاڵەپەستۆی دەقە بچووکەکان باشتر بکەن (لە ژێر 4KB)، کە ئەمەش بەتەواوی مەودای قەبارەی بەڵگەنامەکەیە کە وردی NCD زۆر گرنگە
• Streaming API: مۆدیولەکە پشتگیری لە پاڵەپەستۆی زیادە دەکات، کە بۆری پۆلێنکردن چالاک دەکات کە دەقەکان پرۆسێس دەکەن بەبێ بارکردنی تەواوی کۆپۆرا بۆ ناو بیرگە
• سەقامگیری کتێبخانەی ستاندارد: هیچ ناکۆکییەکی وەشانی نییە، هیچ مەترسییەکی زنجیرەی دابینکردن نییە — لە هاوردەکردنی پاڵپێوەنانەوە zstd لەسەر هەموو دامەزراندنێکی پایتۆن 3.14+ کاردەکات

تێگەیشتنی سەرەکی: پۆلێنکردن لەسەر بنەمای پاڵەپەستۆ باشترین کاردەکات کاتێک پێویستت بە هێڵێکی بنەڕەتی خێرا و بێ وابەستەیی بێت کە بە شێوەیەکی سروشتی مامەڵە لەگەڵ دەقی فرە زمانیدا بکات. لەبەر ئەوەی کۆمپرێسەرەکان لەسەر بایتی خاو کاردەکەن نەک تۆکنەکانی تایبەت بە زمان، بەڵگەنامەکانی چینی، عەرەبی، یان زمانی تێکەڵاو بە هەمان شێوەی ئینگلیزی پۆلێن دەکەن — پێویست بە هیچ مۆدێلێکی زمان ناکات.

جێبەجێکردنی پراکتیکی لە چی دەچێت؟

پۆلێنکەرێکی کەمترین NCD لە پایتۆن 3.14 لە ژێر 30 هێڵدا جێی دەبێتەوە. تۆ هەر دەقێکی ئاماژە (یەکێک بۆ هەر پۆلێک) کۆد دەکەیت، پاشان بۆ هەر بەڵگەنامەیەکی نوێ، NCD لە بەرامبەر هەموو ئاماژەیەکدا حیساب دەکەیت و پۆلەکە بە کەمترین مەودا دیاری دەکەیت. لێرەدا لۆژیکی سەرەکی دەخەینەڕوو:

سەرەتا، مۆدیولەکە بە لە پاڵپێوەنانەوە import zstd هاوردە بکە. فەنکشنێک پێناسە بکە کە دوو ڕیزبەندی بایت وەربگرێت، هەریەکەیان بە تاک پاڵپێوەنێنێت، پەیوەندیکردنەکانیان پاڵپێوەنێنێت و نمرەی NCD بگەڕێنێتەوە. پاشان فەرهەنگێک دروست بکە کە نەخشەکێشانی پۆلەکان بۆ دەقە نمونەییەکانی نوێنەرایەتی دەکات. بۆ هەر بەڵگەنامەیەکی هاتوو، دووبارە بکەرەوە لەسەر پۆلەکان، NCD حیساب بکە و کەمترین هەڵبژێرە.

لە پێوەرەکاندا لە بەرامبەر کۆمەڵە داتاکانی AG News (پۆلێنکردنی هەواڵی چوار پۆل)، ئەم ڕێبازە بە بەکارهێنانی Zstandard لە ئاستی پاڵەپەستۆی 3 بە نزیکەیی 62-65% وردبینی بەدەست دەهێنێت — هیچ هەنگاوێکی ڕاهێنان، هیچ دابەزاندنی مۆدێلێک، و خێرایی پۆلێنکردن نزیکەی 8,000 بەڵگەنامە لە چرکەیەکدا لەسەر یەک ناوەکی CPU. بەرزکردنەوەی ئاستی پاڵەپەستۆ بۆ ١٠ وردی پاڵدەنێت بۆ نزیکەی ٦٨% بە تێچووی کەمکردنەوەی توانای کارکردن بۆ نزیکەی ٢٥٠٠ بەڵگەنامە لە چرکەیەکدا. ئەم ژمارانە لەگەڵ گۆڕینی وردە وردەکاندا ناگونجێن، بەڵام هێڵێکی بنەڕەتی بەهێز بۆ نموونەسازی، هەڵبژاردەی ناونانی داتا، یان ژینگەکان کە دانانی وابەستەیی ML ناکردارییە، دابین دەکەن.

چۆن NCD بەراورد دەکرێت بە پۆلێنکردنی MLی تەقلیدی؟

وڵامی ڕاستگۆیانە ئەوەیە کە NCD جێگرەوەی پۆلێنکەرەکانی بنەمای گۆڕینی وزە نییە لە سیستەمی بەرهەمهێنانی گرەوێکی بەرزدا. مۆدێلەکانی وەک پۆلێنکەرەکانی بنەمای BERT یان GPT 94%+ وردبینی لەسەر پێوەرەکانی ستاندارد بەدەست دەهێنن. بەڵام NCD لەگەڵ Zstandard شوێنێکی ناوازەی داگیرکردووە. لە سیناریۆکانی دەستپێکردنی سارددا سەرکەوتووە کە کەمتر لە 50 نموونەی ناونراوت هەیە بۆ هەر پۆلێک — دۆخێک کە تەنانەت مۆدێلە وردکراوەکانیش کێشەیان هەیە. پێویستی بە سفری کاتی ڕاهێنان هەیە، مامەڵە لەگەڵ هەر زمانێک یان کۆدکردنێک دەکات بەبێ دەستکاریکردن، و بە تەواوی لەسەر سی پی یو بە بیرگەی بەردەوام کاردەکات.

بۆ ئەو بزنسانەی کە قەبارەیەکی زۆر لە ناوەڕۆکی هاتوو بەڕێوەدەبەن — بلیتی پشتگیری، باسی سۆشیال میدیا، پێداچوونەوە بە بەرهەم — پۆلێنکەری Zstandard NCD دەتوانێت وەک ڕاوتەرێکی یەکەم تێپەڕین کار بکات کە بەڵگەنامەکان لە کاتی ڕاستەقینەدا پۆلێن دەکات پێش ئەوەی مۆدێلە گرانبەهاکان ئەنجامەکان پاڵاوتە بکەن. ئەم بۆرییە دوو قۆناغییە تێچووی دەرئەنجامدان بە شێوەیەکی بەرچاو کەمدەکاتەوە لە هەمان کاتدا وردبینی گشتی دەپارێزێت. پلاتفۆرمەکانی پرۆسێسکردنی ناوەڕۆکی دروستکراوی بەکارهێنەر بە قەبارە، وەکو سیستەمی کارپێکردنی بازرگانی 207 مۆدیولی Mewayz کە لەلایەن زیاتر لە 138,000 خاوەنکارەوە بەکاردەهێنرێت، سوودمەندن لە پۆلێنکردنی سووک بۆ ڕێڕەوکردنی پەیامەکان، ناوەڕۆکی تاگکردن و کەسایەتیکردنی ئەزموونی بەکارهێنەر بەبێ ژێرخانی قورس.

سنووردارکردن و باشترین پراکتیزەکان چین؟

پۆلێنکردن لەسەر بنەمای پاڵەپەستۆ سنووردارکردنی ناسراوی هەیە کە پێویستە حسابی بۆ بکەیت. دەقە کورتەکان (لە ژێر ١٠٠ بایت) نمرەی NCD جێی متمانە نەبوون بەرهەم دەهێنن چونکە کۆمپرێسەرەکە داتای پێویستی نییە بۆ دروستکردنی نەخشی مانادار. هەروەها تەکنیکەکە هەستیارە بە هەڵبژاردنی دەقی ئاماژە - نوێنەرانی خراپ هەڵبژێردراو وردبینی بە شێوەیەکی بەرچاو دادەبەزێنن. وە لەبەر ئەوەی NCD پێوەرێکی مەودایە نەک مۆدێلێکی ئەگەری، بە شێوەیەکی سروشتی نمرەی متمانە بەرهەم ناهێنێت.

بۆ ئەوەی زۆرترین سوود لەم ڕێگایە وەربگریت: دەقی ئاماژە بەکاربهێنە کە لانیکەم 500 بایت بێت بۆ هەر پۆلێک، تاقیکردنەوە بە بەستنەوەی چەندین نموونە بۆ هەر پۆلێک (2-3 بەڵگەنامەی نوێنەری کە پێکەوە گرێدراون فەرهەنگی پاڵەپەستۆی باشتر بەدەست دەهێنن)، ئاساییکردنەوەی کەیسی دەق و شوێنی سپی پێش پاڵەپەستۆکردن، و پێوانە بکە لە سەرانسەری ئاستی پاڵەپەستۆی Zstandard 3، 6، و 10 بۆ دۆزینەوەی خاڵی شیرینی خێرایی-وردبینیت. بۆ پۆلێنکردنی دەقی بچووک، پێشوەختە فەرهەنگێکی Zstandard لەسەر کۆڕپوسی دۆمەینەکەت ڕابهێنە — ئەم تاکە هەنگاوە دەتوانێت وردبینی بە ڕێژەی 8-12 خاڵ لەسەدا لەسەر بەڵگەنامە کورتەکان باشتر بکات.

پرسیارە زۆرەکان

ئایا پۆلێنکردن لەسەر بنەمای پاڵەپەستۆ بۆ شیکاری هەستەکان کاردەکات؟

دەتوانێت، بەڵام بە ئاگادارکردنەوە. شیکاری هەستەکان پێویستی بە دیاریکردنی جیاوازییە وردەکانی تۆن هەیە لەناو دەقە هاوشێوەکانی پێکهاتەییدا. NCD باشتر کاردەکات بۆ پۆلێنکردنی بابەتەکان کە بەڵگەنامەکان لە پۆلە جیاوازەکاندا وشەسازی جیاواز بەکاردەهێنن. بۆ هەست، وردبینی بە شێوەیەکی گشتی لە دەوروبەری 55-60% دەنیشێتەوە - باشترە لە هەڕەمەکی، بەڵام بە تەنیا ئامادە نییە بۆ بەرهەمهێنان. تێکەڵکردنی تایبەتمەندییەکانی NCD لەگەڵ مۆدێلێکی پاشەکشەی لۆجستیکی سووک ئەنجامەکان زۆر باشتر دەکات.

ئایا دەتوانم مۆدیۆلی compression.zstd لە وەشانی پایتۆن پێش 3.14 بەکاربهێنم؟

ژمارە. مۆدیۆلی compression.zstd لە پایتۆن ٣.١٤دا نوێیە. بۆ وەشانی پێشووتر، پاکێجی python-zstandard لە PyPI دامەزرێنە، کە فەنکشنەکانی هاوتا compress() و decompress() دابین دەکات. لۆژیکی NCD وەک یەک دەمێنێتەوە — تەنها بەیاننامەی هاوردەکردن دەگۆڕێت. کاتێک بەرز دەکەیتەوە بۆ 3.14، دەتوانیت وابەستەیی لایەنی سێیەم بە تەواوی دابەزێنیت.

چۆن Zstandard NCD کاردەکات بە بەراورد لەگەڵ TF-IDF لەگەڵ لێکچوونی کۆساین؟

لە سەر پۆلێنکردنی بابەتەکانی فرە پۆل لەگەڵ کۆمەڵە داتا هاوسەنگەکان، لێکچوونی TF-IDF لەگەڵ کۆسین بە شێوەیەکی گشتی 75-82% وردبینی بەدەست دەهێنێت بە بەراورد بە 62-68%ی Zstandard NCD. بەڵام TF-IDF پێویستی بە ڤێکتەری گونجاو، وشەسازییەکی پێناسەکراو و لیستی وشەی وەستانی تایبەت بە زمان هەیە. Zstandard NCD پێویستی بە هیچ کام لەم پێش پرۆسێسکردنانە نییە، لە سەرانسەری زمانەکاندا لە دەرەوەی سندوقەکە کاردەکات، و بەڵگەنامە نوێیەکان لە کاتێکی بەردەوامدا پۆلێن دەکات بەبێ گوێدانە قەبارەی وشەسازی. بۆ نموونەسازی خێرا یان ژینگە فرە زمانەکان، NCD زۆرجار ڕێگای خێراترە بۆ سیستەمێکی کارکردن.

جا تۆ بۆری ناوەڕۆکی ئۆتۆماتیکی دروست دەکەیت، پەیامەکانی کڕیار ڕێڕەو دەکەیت، یان لۆژیکی پۆلێنکردنی نموونەیی بۆ کارە دیجیتاڵییەکانت، پشتگیری Zstandard ی ناوەکی پایتۆن 3.14 NCD لەسەر بنەمای پاڵەپەستۆ زیاتر لە جاران دەستڕاگەیشتن دەکات. ئەگەر تۆ بەدوای پلاتفۆرمی هەموو شتێکدا دەگەڕێیت بۆ بەڕێوەبردنی ناوەڕۆکی کارەکەت، بەرهەمەکانت، کۆرسەکانت و کارلێکەکانی کڕیارەکانت، ئەمڕۆ دەست بکە بە بیناسازی لەگەڵ Mewayz و ئەم تەکنیکانە بخەرە کار لە سەرانسەری کارەکەتدا.