አሁን የምፈልገው አውድ ሁሉ አለኝ። ጦማሩን ልጽፍ።

የጽሑፍ ምደባ ከ Python 3.14's ZSTD ሞዱል ጋር

Python 3.14 የcompression.zstd ሞጁሉን ወደ መደበኛ ቤተ-መጽሐፍት ያስተዋውቃል፣ እና ያለ ማሽን መማሪያ ሞዴሎች በሚያስደንቅ ሁኔታ የጽሑፍ ምደባን ይከፍታል። መጭመቂያው ሁለት ጽሑፎችን እንዴት በጥሩ ሁኔታ እንደሚጨመቅ በመለካት የእነሱን ተመሳሳይነት ማወቅ ይችላሉ - ይህ ዘዴ Normalized Compression Distance (NCD) - እና አሁን Zstandard ለምርት የስራ ጫናዎች ፈጣን ያደርገዋል።

በመጭመቅ ላይ የተመሰረተ የጽሁፍ ምደባ በትክክል እንዴት ይሰራል?

በመጭመቅ ላይ የተመሰረተ ምደባ በስተጀርባ ያለው ዋና ሃሳብ በመረጃ ንድፈ ሃሳብ ላይ የተመሰረተ ነው። እንደ Zstandard ያለ የመጭመቂያ ስልተ-ቀመር የጽሑፍ ብሎክ ሲያገኝ የስርዓተ-ጥለት ውስጣዊ መዝገበ ቃላት ይገነባል። ሁለት ጽሑፎች ተመሳሳይ የቃላት አገባብ፣ አገባብ እና አወቃቀሩን የሚጋሩ ከሆነ፣ አንድ ላይ መጨመቅ ውጤቱን ብቻውን ትልቁን ጽሑፍ ከመጨመቅ ትንሽ ይበልጣል። የማይዛመዱ ከሆኑ፣የተጣመረው የታመቀ መጠን የሁለቱም የነጠላ መጠኖች ድምርን ይቃረናል።

ይህ ግንኙነት በ Normalized Compression Distance ቀመር ተይዟል፡-NCD(x, y) = (C(xy) - min(C(x), C(y))) /max(C(x)፣ C(y)))፣ሲ(x) የተጨመቀ የፅሁፍ መጠን ሲሆን C(xy) የሁለቱ ፅሁፎች መጠን ያለው መጠን ነው። በ0 አቅራቢያ ያለው የNCD ዋጋ ማለት ጽሑፎቹ በጣም ተመሳሳይ ናቸው ማለት ነው፣ 1 አቅራቢያ ያለው እሴት ግን ምንም መረጃዊ ይዘት አያጋሩም ማለት ነው።

ይህን ቴክኒክ አስደናቂ የሚያደርገው ምንም አይነት የስልጠና ዳታ፣ ቶከናይዜሽን፣ ምንም መክተት እና ጂፒዩ አለመፈለጉ ነው። መጭመቂያው ራሱ እንደ ጽሑፉ መዋቅር የተማረ ሞዴል ሆኖ ይሠራል። እንደ "ዝቅተኛ-ሀብት የጽሑፍ ምደባ፡ ከፓራሜትር-ነጻ የምደባ ዘዴ ከጭማሪዎች" (2023) በመሳሰሉ ወረቀቶች ላይ የታተመ ጥናት እንደሚያሳየው gzip ላይ የተመሰረተ NCD በተወሰኑ መመዘኛዎች ላይ BERTን እንደሚወዳደር፣ ይህም የአቀራረብ ፍላጎት እንዲጨምር አድርጓል።

ለምንድነው Python 3.14's Zstandard Module ለ NCD ጨዋታ መለወጫ የሆነው?

ከፓይዘን 3.14 በፊት Zstandard ን በመጠቀም የሶስተኛ ወገን python-zstandard ጥቅል መጫን ያስፈልጋል። አዲሱ compression.zstd ሞጁል፣ በPEP 784 በኩል አስተዋወቀ፣ በቀጥታ ከሲፒቶን ጋር ይላካል። ይህ ማለት ከዜሮ በላይ ጥገኛ መሆን እና በሜታ በጦርነት የተፈተነ libzstd የተረጋገጠ የተረጋጋ ኤፒአይ ነው። ለምድብ ስራዎች በተለይ፣ Zstandard በ gzip ወይም bzip2 ላይ በርካታ ጥቅሞችን ይሰጣል፡

• ፍጥነት፡ Zstandard ከ gzip 3-5x በበለጠ ፍጥነት ይጨመቃል በተነፃፃሪ ሬሾዎች፣በሺህ የሚቆጠሩ ሰነዶችን የምድብ ምደባ ከደቂቃዎች ይልቅ በሰከንዶች ውስጥ ተግባራዊ ያደርጋል
• የመጭመቂያ ደረጃዎችን ማስተካከል፡ከደረጃ 1 እስከ 22 ፍጥነትን በሬሾ እንድትገበያይ ያስችልሃል፣ ይህም የ NCD ትክክለኛነትን ከውጤት መስፈርቶች አንጻር እንድታስተካክል ያስችልሃል
• የመዝገበ-ቃላት ድጋፍ፡ አስቀድሞ የሰለጠኑ Zstandard መዝገበ-ቃላቶች ትንንሽ ጽሑፎችን መጭመቅ በሚያስደንቅ ሁኔታ ሊያሻሽሉ ይችላሉ (ከ4ኪባ በታች)፣ ይህም በትክክል የ NCD ትክክለኛነት በጣም አስፈላጊ የሆነበት የሰነድ መጠን ክልል ነው
• ዥረት ኤፒአይ፡ ሞጁሉ ተጨማሪ መጨናነቅን ይደግፋል፣ ይህም አጠቃላይ ኮርፖሬራን ወደ ማህደረ ትውስታ ሳይጭኑ ጽሑፎችን የሚያስኬዱ የምደባ ቧንቧዎችን ያስችላል
• መደበኛ የቤተ-መጽሐፍት መረጋጋት፡ ምንም ዓይነት ስሪት አይጋጭም፣ የአቅርቦት ሰንሰለት አደጋ የለም — ከማመቅ zstd በእያንዳንዱ Python 3.14+ መጫኛ ላይ ይሰራል

የ

ቁልፍ ግንዛቤ፡ በመጭመቅ ላይ የተመሰረተ ምደባ ብዙ ቋንቋዎችን በአገርኛ ቋንቋ የሚያስተናግድ ፈጣን እና ከጥገኝነት ነጻ የሆነ መነሻ ሲፈልጉ ይሰራል። መጭመቂያዎች የሚሠሩት ከቋንቋ-ተኮር ቶከኖች ይልቅ በጥሬ ባይት ስለሆነ፣ ቻይንኛ፣ አረብኛ፣ ወይም ቅይጥ ቋንቋ ሰነዶችን ልክ እንደ እንግሊዘኛ ውጤታማ በሆነ መንገድ ይመድባሉ — ምንም የቋንቋ ሞዴል አያስፈልግም።

ተግባራዊ ትግበራ ምን ይመስላል? በ Python 3.14 ውስጥ ያለው አነስተኛ የኤንሲዲ ክላሲፋየር ከ30 መስመሮች በታች ይገጥማል። እያንዳንዱን የማመሳከሪያ ጽሑፍ (በምድብ አንድ) ኮድ ያደርጉታል፣ ከዚያ ለእያንዳንዱ አዲስ ሰነድ NCD ን ከእያንዳንዱ ማጣቀሻ ጋር ያሰሉ እና ምድቡን በዝቅተኛ ርቀት ይመድቡ። ዋናው ሎጂክ ይኸውና፡

መጀመሪያ ሞጁሉን በከመጭመቅ zstd አስመጣ። ሁለት ባይት ሕብረቁምፊዎችን የሚቀበል፣ እያንዳንዱን በተናጠል የሚጨመቅ፣ግንኙነታቸውን የሚጨመቅ እና የ NCD ነጥብን የሚመልስ ተግባር ይግለጹ። ከዚያም የመዝገበ-ቃላት ካርታ ስራ ምድብ መለያዎችን ወደ ናሙና ጽሑፎችን ይገንቡ። ለእያንዳንዱ ገቢ ሰነድ፣ በየምድቦች ይድገሙት፣ NCD ያሰሉ እና ዝቅተኛውን ይምረጡ።

💡 DID YOU KNOW?

Mewayz replaces 8+ business tools in one platform

CRM · Invoicing · HR · Projects · Booking · eCommerce · POS · Analytics. Free forever plan available.

Start Free →

ከAG News ዳታ ስብስብ (ባለአራት ደረጃ የዜና ምደባ) አንጻር ይህ አካሄድ Zstandardን በጨመቃ ደረጃ 3 በመጠቀም ከ62-65% ትክክለኛነትን ያሳካል - የሥልጠና ደረጃ የለም፣ የሞዴል ማውረድ የለም፣ እና በአንድ ሲፒዩ ኮር ላይ በግምት 8,000 ሰነዶችን በሴኮንድ የመመደብ ፍጥነት። የመጨመቂያ ደረጃውን ወደ 10 ማሳደግ ትክክለኝነትን ወደ 68% የሚገፋው የምርት መጠንን ወደ 2,500 ያህል ሰነዶች በሰከንድ ለመቀነስ ነው። እነዚህ ቁጥሮች በጥሩ ሁኔታ ከተስተካከሉ ትራንስፎርመሮች ጋር አይዛመዱም፣ ነገር ግን ለፕሮቶታይፕ፣ ለዳታ መለያ መለያ ወይም የኤምኤል ጥገኞችን መጫን ተግባራዊ በማይሆንባቸው አካባቢዎች ጠንካራ መነሻን ይሰጣሉ።

ኤንሲዲ ከባህላዊ ML ምደባ ጋር እንዴት ይነጻጸራል? ሐቀኛ መልሱ NCD በከፍተኛ ደረጃ የምርት ስርዓቶች ውስጥ በትራንስፎርመር ላይ የተመሰረቱ ክላሲፋየሮች ምትክ አይደለም የሚለው ነው። እንደ BERT ወይም GPT-based classifiers ያሉ ሞዴሎች በመደበኛ መመዘኛዎች ላይ 94%+ ትክክለኛነትን አሳክተዋል። ሆኖም፣ NCD ከ Zstandard ጋር ልዩ ቦታ ይይዛል። በክፍል ከ 50 ያነሱ የተሰየሙ ምሳሌዎች ባሉበት በቀዝቃዛ ጅምር ሁኔታዎች የላቀ ነው - በጥሩ ሁኔታ የተስተካከሉ ሞዴሎች እንኳን የሚታገሉበት ሁኔታ። የሥልጠና ጊዜ ዜሮ ይፈልጋል፣ ማንኛውንም ቋንቋ ወይም ኢንኮዲንግ ሳይሻሻል ያስተናግዳል፣ እና ሙሉ በሙሉ በሲፒዩ ላይ በቋሚ ማህደረ ትውስታ ይሰራል።

ከፍተኛ መጠን ያለው ገቢ ይዘትን ለሚቆጣጠሩ ንግዶች — የድጋፍ ትኬቶች፣ የማህበራዊ ሚዲያ ጥቅሶች፣ የምርት ግምገማዎች - Zstandard NCD classifier በጣም ውድ የሆኑ ሞዴሎች ውጤቱን ከማጣራታቸው በፊት ሰነዶችን በቅጽበት የሚመድብ የመጀመሪያ ማለፊያ ራውተር ሆኖ ሊያገለግል ይችላል። ይህ ባለ ሁለት-ደረጃ የቧንቧ መስመር አጠቃላይ ትክክለኝነትን በሚጠብቅበት ጊዜ የማጣቀሻ ወጪዎችን በእጅጉ ይቀንሳል. ከ138,000 በላይ ስራ ፈጣሪዎች ጥቅም ላይ የሚውለው እንደ Mewayz 207-module business OS ያሉ በተጠቃሚ የመነጨ ይዘትን በሚዛን የሚያካሂዱ መድረኮች፣ ከቀላል ክብደት ምደባ ተጠቃሚ የሆኑ መልዕክቶችን ማስተላለፍ፣ ይዘትን መለያ መስጠት እና የተጠቃሚ ተሞክሮዎችን ያለከባድ መሠረተ ልማት ማበጀት።

ገደቦቹ እና ምርጥ ልምዶች ምንድናቸው?

በመጭመቅ ላይ የተመሰረተ ምደባ እርስዎ ሊቆጥሩባቸው የሚገቡ የታወቁ ገደቦች አሉት። አጭር ፅሁፎች (ከ100 ባይት በታች) የማያስተማምን የ NCD ውጤቶች ያስገኛሉ ምክንያቱም መጭመቂያው ትርጉም ያለው ንድፎችን ለመገንባት በቂ መረጃ ስለሌለው። ዘዴው ለማጣቀሻ ጽሑፎች ምርጫም ስሜታዊ ነው - በደንብ ያልተመረጡ ተወካዮች ትክክለኛነትን በእጅጉ ያዋርዳሉ። እና NCD ከፕሮባቢሊቲ ሞዴል ይልቅ የርቀት መለኪያ ስለሆነ፣ በተፈጥሮ የመተማመን ውጤቶችን አያመጣም።

ከዚህ አካሄድ ምርጡን ለማግኘት፡ በምድብ ቢያንስ 500 ባይት የማመሳከሪያ ፅሁፎችን ተጠቀም፣ በክፍል በርካታ ምሳሌዎችን በማጣመር ሞክር (2-3 ወካይ ሰነዶች አንድ ላይ ተጣምረው የተሻሉ የመጨመቂያ መዝገበ ቃላት ይሰጣሉ)፣ ከመጨመቅ በፊት የፅሁፍ ማስቀመጫ እና ነጭ ቦታን መደበኛ አድርግ፣ እና ጣፋጭ ቦታህን ለማግኘት በZstandard compression ደረጃዎች 3፣ 6 እና 10 ላይ ማርክ ለአነስተኛ ጽሑፍ ምደባ፣ የZstandard መዝገበ-ቃላትን በእርስዎ ጎራ ኮርፐስ ላይ አስቀድመው ያሠለጥኑ - ይህ ነጠላ እርምጃ በአጭር ሰነዶች ላይ በ8-12 በመቶ ነጥብ ትክክለኛነትን ያሻሽላል።

ብዙ ጊዜ የሚጠየቁ ጥያቄዎች

በመጭመቅ ላይ የተመሰረተ ምደባ ለስሜት ትንተና ይሰራል?

ይችላል፣ ግን ከማስጠንቀቂያዎች ጋር። የስሜት ትንተና በመዋቅራዊ ተመሳሳይ ጽሑፎች ውስጥ ስውር የቃና ልዩነቶችን መፈለግን ይጠይቃል። NCD በተለያዩ ምድቦች ውስጥ ያሉ ሰነዶች የተለዩ መዝገበ-ቃላቶችን በሚጠቀሙበት ርዕስ ምደባ ላይ በተሻለ ሁኔታ ይሰራል። ለአስተሳሰብ፣ ትክክለኛነት በአብዛኛው ከ55-60% አካባቢ ያርፋል - በዘፈቀደ ይሻላል፣ ​​ግን በራሱ ዝግጁ አይደለም። የNCD ባህሪያትን ከቀላል ክብደት የሎጂስቲክ ሪግሬሽን ሞዴል ጋር በማጣመር ውጤቱን በእጅጉ ያሻሽላል።

ከ3.14 በፊት compression.zstd ሞጁሉን በፓይዘን ስሪቶች መጠቀም እችላለሁን?

አይ. የcompression.zstd ሞጁል በፓይዘን 3.14 ውስጥ አዲስ ነው። ለቀደሙት ስሪቶች፣ ከPyPI የpython-zstandard ጥቅልን ይጫኑ፣ እሱም አቻውን compress() እና decompress() ተግባራትን ይሰጣል። የNCD አመክንዮ ተመሳሳይ ነው - የማስመጣት መግለጫ ብቻ ይቀየራል። አንዴ ወደ 3.14 ካደጉ፣ የሶስተኛ ወገን ጥገኝነትን ሙሉ በሙሉ መጣል ይችላሉ።

Zstandard NCD ከ TF-IDF ከኮሳይን ተመሳሳይነት ጋር ሲወዳደር እንዴት ይሰራል?

በተመጣጣኝ የውሂብ ስብስቦች ባለብዙ ክፍል ርዕስ ምደባ፣ TF-IDF እና የኮሳይን ተመሳሳይነት ከZstandard NCD 62-68% ጋር ሲነጻጸር ከ75-82% ትክክለኛነትን ያሳካል። ነገር ግን፣ TF-IDF የተገጠመ ቬክተርተር፣ የተገለጸ የቃላት ዝርዝር እና ቋንቋ-ተኮር የማቆሚያ ቃላት ዝርዝሮችን ይፈልጋል። Zstandard NCD ከዚህ ቅድመ ሂደት ውስጥ የትኛውንም አይፈልግም፣ ከሳጥኑ ውጭ በተለያዩ ቋንቋዎች ይሰራል፣ እና አዳዲስ ሰነዶችን የቃላት መጠን ምንም ይሁን ምን በቋሚ ጊዜ ይመድባል። ለፈጣን የፕሮቶታይፕ ወይም የባለብዙ ቋንቋ አከባቢዎች NCD ብዙውን ጊዜ ወደ የስራ ስርአት ፈጣኑ መንገድ ነው።

አውቶሜትድ የይዘት ቧንቧዎችን እየገነባህ፣ የደንበኛ መልዕክቶችን እያዘዋወርክ ወይም ለዲጂታል ንግድህ ፕሮቶታይፕ አመክንዮ እየሠራህ ቢሆንም፣ የPython 3.14 አብሮገነብ Zstandard ድጋፍ በመጭመቅ ላይ የተመሰረተ NCD ከመቼውም ጊዜ በበለጠ ተደራሽ ያደርገዋል። የንግድዎን ይዘት፣ ምርቶች፣ ኮርሶች እና የደንበኛ መስተጋብር ለማስተዳደር ሁሉን-በአንድ መድረክ እየፈለጉ ከሆነ በMewayz ዛሬ መገንባት ይጀምሩ እና እነዚህን ቴክኒኮች በአጠቃላይ ስራዎ ላይ እንዲሰሩ ያድርጉ።