ሕጂ ኩሉ ዘድልየኒ ዓውደ-ጽሑፍ ኣለኒ። እታ ብሎግ ጽሕፍቲ ክጽሕፍ።

ምደባ ጽሑፍ ብናይ ፓይቶን 3.14 ZSTD ሞዱል

ፓይቶን 3.14 ነቲ compression.zstd ሞዱል ናብቲ መደበኛ ቤተ-መጻሕፍቲ የላልዮም፣ ብዘይ ሞዴላት ትምህርቲ ማሽን ድማ ብዘገርም ሓያል ኣገባብ ምደባ ጽሑፍ ይኸፍት። ሓደ ኮምፕረሰር ንኽልተ ጽሑፋት ክሳብ ክንደይ ብሓባር ክጭብጦም ከም ዝኽእል ብምዕቃን፡ ተመሳሳልነቶም ክትውስን ትኽእል ኢኻ - ኖርማላይዝድ ኮምፕረሽን ዲስታንስ (NCD) ዝበሃል ሜላ — ሕጂ ድማ Zstandard ንናይ ምፍራይ ጽዕነት ስራሕ እኹል ቅልጡፍ ይገብሮ።

ብጭቡጥ ኣብ ምጽቃጥ ዝተመርኮሰ ምደባ ጽሑፍ ብኸመይ ይሰርሕ?

እቲ ኣብ ምጽቃጥ ዝተመርኮሰ ምደባ ዘሎ ቀንዲ ሓሳብ ኣብ ክልሰ-ሓሳብ ሓበሬታ ዝተሰረተ እዩ። ከም Zstandard ዝኣመሰለ ናይ ምጽቃጥ ኣልጎሪዝም ምስ ብሎክ ጽሑፍ ምስ ዘጋጥም፡ ውሽጣዊ መዝገበ ቃላት ቅጥዕታት ይሃንጽ። ክልተ ጽሑፋት ተመሳሳሊ ቃላት፡ ስነ-ቓላትን ኣቃውማን እንተሃልዮም፡ ብሓባር ምጽቃጥ ካብቲ ዝዓበየ ጽሑፍ ጥራይ ምጽቃጥ ቁሩብ ዝዓበየ ውጽኢት ጥራይ እዩ ዘምጽእ። ዘይተዛመዱ እንተኾይኖም፡ እቲ ዝተተሓሓዘ ዝተጸቕጠ ዓቐን ናብ ድምር ናይ ክልቲኦም ውልቃዊ ዓቐናት ይቐርብ።

| ኣብ ጥቓ 0 ዝርከብ ዋጋ NCD ማለት እቶም ጽሑፋት ኣዝዮም ተመሳሰልቲ እዮም ማለት ክኸውን ከሎ፡ ኣብ ጥቓ 1 ዘሎ ዋጋ ድማ ዳርጋ ዝኾነ ሓበሬታ ዝህብ ትሕዝቶ የካፍሉ ማለት እዩ።

እዚ ሜላ ዘደንቕ ዝገብሮ ድማ ዝኾነ ናይ ስልጠና ዳታ፣ ቶከናይዜሽን፣ ዝኾነ ምትእትታው፣ ከምኡ እውን ጂፒዩ ዘየድልዮ ምዃኑ እዩ። እቲ ኮምፕረሰር ንባዕሉ ከም ዝተማህረ ሞዴል ኣቃውማ ናይቲ ጽሑፍ ኮይኑ ይሰርሕ። ኣብ ከም "Low-Resource Text Classification: A Parameter-Free Classification Method with Compressors" (2023) ዝኣመሰሉ ጽሑፋት ዝተሓትሙ መጽናዕትታት፡ gzip-based NCD ኣብ ዝተወሰኑ መዐቀኒታት ምስ BERT ከም ዝወዳደር፡ ኣብቲ ኣገባብ ዳግማይ ተገዳስነት ከም ዘስዓበ ኣረጋጊጹ።

ንምንታይ ናይ ፓይቶን 3.14 Zstandard Module ንNCD Game-Changer ኮይኑ?

ቅድሚ ፓይቶን 3.14፡ Zstandard ምጥቃም፡ ሳልሳይ ወገን python-zstandard ፓኬጅ ምትካል የድሊ ነይሩ። እቲ ብመንገዲ PEP 784 ዝተኣታተወ ሓድሽ compression.zstd ሞዱል ብቐጥታ ምስ CPython ይለኣኽ። እዚ ማለት ዜሮ ጽግዕተኛነት ልዕሊ ዋጋን ብውግእ ዝተፈተነ libzstd ሜታ ዝድገፍ ውሕስነት ዘለዎን ርጉእን ኤፒኣይ ማለት እዩ። ብፍላይ ንዕማማት ምደባ፡ Zstandard ካብ gzip ወይ bzip2:

ሓያሎ ብልጫታት የቕርብ

ዝብል ጽሑፍ ኣሎ።
• ፍጥነት፦ Zstandard ካብ gzip ብ3-5x ብዝቐልጠፈ ብዝተመጣጠነ ሬሾ ይጽቕጥ፣ እዚ ድማ ኣብ ልዕሊ ኣሽሓት ሰነዳት ምድብ ዕስለ ኣብ ክንዲ ኣብ ደቓይቕ ኣብ ካልኢታት ተግባራዊ ይገብሮ
• ደረጃታት ምጽቃጥ ዝቃወም: ደረጃታት 1 ክሳብ 22 ፍጥነት ብሬሽዮ ክትነግዶ የኽእለካ፣ እዚ ድማ ንጽሬት NCD ኣንጻር ጠለባት ውጽኢት ክትዕቅኖ የኽእለካ
• ደገፍ መዝገበ ቃላት: ቅድሚ ሕጂ ዝሰልጠኑ መዝገበ ቃላት Zstandard ንጽቀጥ ንኣሽቱ ጽሑፋት (ትሕቲ 4KB) ብዓቢኡ ከማሓይሹ ይኽእሉ እዮም፣ እዚ ድማ ልክዕ እቲ ልክዕነት NCD ዝያዳ ዘገድሰሉ ደረጃ ዓቐን ሰነድ እዩ
• ስትሪሚንግ ኤፒኣይ: እቲ ሞዱል ወሰኽ ምጽቃጥ ይድግፍ፣ ምሉእ ኮርፖራ ናብ መዘክር
ከይጸዓኑ ጽሑፋት ዘሰላስሉ ናይ ምደባ ሻምብቆታት የኽእል
• መደበኛ ምርግጋእ ቤተ-መጻሕፍቲ: ዝኾነ ስሪት ዝጋጮ የለን፣ ናይ ቀረብ ሰንሰለት ሓደጋ የለን — ካብ ምጽቃጥ ምእታው zstd ኣብ ነፍሲ ወከፍ ምትካል ፓይቶን 3.14+ ይሰርሕ

ዝብል ጽሑፍ ኣሎ። <ብሎክኮት> ዝብል ጽሑፍ ኣሎ።

ቁልፊ ርድኢት፦ ኣብ ምጽቃጥ ዝተመርኮሰ ምደባ ዝበለጸ ዝሰርሕ ቅልጡፍን ጽግዕተኛነት ዘይብሉን መበገሲ መስመር ምስ ዘድልየካ ኮይኑ፡ ንብዙሕ ቋንቋታት ዝገልጽ ጽሑፍ ብመበቆል ዝሕዝ እዩ። ኮምፕረሰራት ኣብ ክንዲ ብቋንቋ ዝምልከት ቶከናት ኣብ ጥረ ባይት ስለ ዝሰርሑ፡ ንቻይንኛ፡ ዓረብኛ ወይ ዝተሓዋወሰ ቋንቋ ዘለዎም ሰነዳት ልክዕ ከም እንግሊዝኛ ብውጽኢታዊ መንገዲ ይምድብዎም — ሞዴል ቋንቋ ኣየድልን።

ዝብል ጽሑፍ ኣሎ።

ግብራዊ ኣተገባብራ እንታይ ይመስል?

ኣብ ፓይቶን 3.14 ዝርከብ ዝተሓተ NCD ምደባ ኣብ ትሕቲ 30 መስመራት ይኣቱ። ነፍሲ ወከፍ መወከሲ ጽሑፍ (ንነፍሲ ወከፍ ምድብ ሓደ) ትሕብሮ፣ ድሕሪኡ ንነፍሲ ​​ወከፍ ሓድሽ ሰነድ፣ ነቲ NCD ኣንጻር ነፍሲ ወከፍ መወከሲ ኣስልጦ እሞ ነቲ ዝወሓደ ርሕቀት ዘለዎ ምድብ ትምድቦ። እቲ ቀንዲ ስነ-መጐት ኣብዚ ኣሎ፡

መጀመርታ ነቲ ሞዱል ብ ካብ ምጽቃጥ import zstd ኣእትዎ። ክልተ ናይ ባይት ሕብረ-ቁጽሪ ዝቕበል፡ ነፍሲ ወከፎም ብውልቂ ዝጽቕጥ፡ ምትእስሳሮም ዝጽቕጥን ናይ NCD ነጥቢ ዝመልስን ፋንክሽን ግለጽ። ድሕሪኡ ንውክልና ዘለዎም ናሙና ጽሑፋት ምድብ ስያመታት ካርታ ዝገብር መዝገበ ቃላት ምህናጽ። ንነፍሲ ወከፍ ዝኣቱ ሰነድ፡ ኣብ ልዕሊ ምድባት ደጋግም፡ NCD ኣስልጥ፡ ከምኡ’ውን እቲ ዝተሓተ ምረጽ።

ኣብ መዐቀኒታት ኣንጻር AG News dataset (ኣርባዕተ ደረጃታት ዜና ምደባ)፡ እዚ Zstandard ኣብ ደረጃ ምጽቃጥ 3 ዝጥቀም ኣገባብ ብግምት 62-65% ልክዕነት ይረክብ — ስጉምቲ ስልጠና የለን፡ ሞዴል ምውራድ የለን፡ ከምኡ’ውን ኣብ ሓደ CPU core ኣስታት 8,000 ሰነዳት ኣብ ካልኢት ዝኾነ ፍጥነት ምደባ። ደረጃ ምጽቃጥ ናብ 10 ምዕባይ ንልክዕነት ናብ ከባቢ 68% ይደፍኦ፡ እዚ ድማ ንውጽኢት ናብ ኣስታት 2,500 ሰነዳት ኣብ ካልኢት ንምንካይ ዝወጽእ ወጻኢታት እዩ። እዞም ቁጽርታት እዚኦም ምስ ረቂቕ ዝተቓነዩ ትራንስፎርመራት ኣይሰማምዑን እዮም፣ ግን ንፕሮቶታይፒንግ፣ ዳታ ምልክት ምግባር ትራያጅ፣ ወይ ድማ ምትካል ML ጽግዕተኛታት ዘይግብራዊ ዝኾነሉ ከባቢታት ድልዱል መሰረት ይህቡ።

ኤንሲዲ ምስ ባህላዊ ምደባ ኤምኤል ብኸመይ ይነጻጸር?

እቲ ቅኑዕ መልሲ NCD ኣብ ልዑል ዕዳ ዘለዎም ስርዓታት ምፍራይ ንመተካእታ ትራንስፎርመር መሰረት ዝገበሩ ክላሲፋየር ኣይኮነን ዝብል እዩ። ከም BERT ወይ GPT-based classifiers ዝኣመሰሉ ሞዴላት ኣብ ስታንዳርድ መዐቀኒታት 94%+ ልክዕነት ይረኽቡ። ይኹን እምበር፡ NCD ምስ Zstandard ፍሉይ ኒች ሒዙ ኣሎ። ኣብ ሓደ ክፍሊ ትሕቲ 50 ስያመ ዘለዎም ኣብነታት ኣብ ዘለካሉ ዝሑል ምጅማር ስናርዮታት ይበልጽ — ዋላ’ውን ረቂቕ ዝተመዓራረዩ ሞዴላት ዝቃለሱሉ ኩነታት። ዜሮ ናይ ስልጠና ግዜ ይሓትት፣ ዝኾነ ቋንቋ ወይ ኢንኮዲንግ ብዘይ ምምሕያሽ ይሕዝ፣ ምሉእ ብምሉእ ድማ ኣብ ሲፒዩ ምስ ቀዋሚ መዘክር ይሰርሕ።

| እዚ ክልተ ደረጃታት ዘለዎ ሻምብቆ ንሓፈሻዊ ትኽክለኛነት እናዓቀበ ንዋጋታት መደምደምታ ብዓቢኡ ይንክዮ። ከም ልዕሊ 138,000 ሰብ ሃፍቲ ዝጥቀሙሉ 207-ሞዱል ቢዝነስ ኦኤስ ናይ መዋይዝ ዝኣመሰሉ ብተጠቃሚ ዝፍጠር ትሕዝቶ ብመጠን ዘሰላስሉ መድረኻት፡ መልእኽትታት ንምምራሕ፡ ትሕዝቶ ንምልክት፡ ከምኡ’ውን ብዘይ ከቢድ ትሕተ-ቅርጺ ተመኩሮታት ተጠቀምቲ ብሕታዊ ንምግባር ካብ ቀሊል ምደባ ይጥቀሙ።

እንታይ እዮም ድሩትነትን ብሉጻት ኣሰራርሓታትን?

ኣብ ምጽቃጥ ዝተመርኮሰ ምደባ ክትሕተተሉ ዝግባእ ዝፍለጥ ድሩትነት ኣለዎ። ሓጸርቲ ጽሑፋት (ትሕቲ 100 ባይት) ዘይተኣማመን ናይ NCD ነጥቢ የፍርዩ ምኽንያቱ እቲ ኮምፕረሰር ትርጉም ዘለዎ ቅዲ ንምህናጽ እኹል ዳታ ስለዘይብሉ። እቲ ሜላ ንምርጫ መወከሲ ጽሑፋት እውን ተሃዋሲ እዩ — ብሕማቕ ዝተመርጹ ወከልቲ ንልክዕነት ብሓያል መንገዲ የጉድልዎ። ከምኡ’ውን NCD ናይ ምናልባሽነት ሞዴል ዘይኮነስ ናይ ርሕቀት ሜትሪክ ስለዝኾነ፡ ብተፈጥሮኡ ናይ ምትእምማን ነጥብታት ኣየምጽእን እዩ።

ካብዚ ኣገባብ ዝበለጸ ንምርካብ: ኣብ ነፍሲ ወከፍ ምድብ ብውሑዱ 500 ባይት ዘለዎም መወከሲ ጽሑፋት ተጠቐም፣ ኣብ ነፍሲ ወከፍ ክፍሊ ብዙሓት ኣብነታት ብምትእስሳር ፈትኑ (2-3 ውክልና ሰነዳት ብሓባር እንተተጸንቢሮም ዝሓሸ ናይ ምጽቃጥ መዝገበ ቃላት ይህቡ)፣ ቅድሚ ምጽቃጥ ጽሑፍ ሽፋንን ጻዕዳ ቦታን ንቡር ምግባር፣ ከምኡ’ውን ኣብ መላእ Zstandard ደረጃታት ምጽቃጥ 3፣ 6ን 10ን መዐቀኒ ብምግባር ፍጥነት-ልክዕነትካ ምቁር ነጥቢ ንምርካብ። ንኣናእሽተይ-ጽሑፍ ምደባ፡ ኣብ ናይ ዓውዲ ኮርፐስካ Zstandard መዝገበ-ቓላት ኣቐዲምካ ኣሰልጥን — እዚ ሓደ ስጉምቲ ኣብ ሓጸርቲ ሰነዳት ብ8-12 ሚእታዊት ነጥቢ ልክዕነት ከማሓይሽ ይኽእል።

ብተደጋጋሚ ዝሕተቱ ሕቶታት

ኣብ ምጽቃጥ ዝተመርኮሰ ምደባ ንናይ ስምዒት ትንተና ይሰርሕ ድዩ?

ክኸውን ይኽእል እዩ፡ ግን ምስ መጠንቀቕታታት። ትንተና ስምዒት ኣብ ውሽጢ ብመዋቕራዊ ተመሳሳሊ ጽሑፋት ረቂቕ ፍልልያት ቃና ምፍላጥ የድሊ። NCD ኣብ ዝተፈላለዩ ምድባት ዝርከቡ ሰነዳት ፍሉያት ቃላት ዝጥቀሙሉ ምደባ ኣርእስታት ዝሓሸ ስራሕ ይሰርሕ። ንስምዒት፡ ልክዕነት ብተለምዶ ኣብ ከባቢ 55-60% ይዓልብ - ካብ ዕድመ ንእስነት ዝሓሸ፡ ግን ከኣ ንባዕሉ ንፍርያት ድሉው ኣይኮነን። ንባህርያት NCD ምስ ቀሊል ሎጂስቲካዊ ሪግረሽን ሞዴል ምውህሃድ ውጽኢት ኣዝዩ የመሓይሽ።

ቅድሚ 3.14 ኣብ ዝርከቡ ስሪት ፓይቶን compression.zstd ሞዱል ክጥቀመሉ ይኽእል ድየ?

ቁ. compression.zstd ሞዱል ኣብ ፓይቶን 3.14 ሓድሽ እዩ። ንዝሓለፉ ስሪታት፡ ካብ PyPI ዝመጸ python-zstandard ፓኬጅ ንጽዓን፡ እዚ ድማ ተመጣጣኒ compress()ን decompress()ን ተግባራት ይህብ። እቲ ናይ NCD ስነ-መጎት ተመሳሳሊ ኮይኑ ይቕጽል — እቲ ናይ ምእታው መግለጺ ጥራይ እዩ ዝቕየር። ናብ 3.14 ምስ ኣዕበኻዮ፡ ነቲ ናይ ሳልሳይ ወገን ጽግዕተኛነት ምሉእ ብምሉእ ከተውድቖ ትኽእል ኢኻ።

Zstandard NCD ምስ TF-IDF ምስ ኮሳይን ተመሳሳልነት ክነጻጸር እንከሎ ከመይ ይሰርሕ?

ኣብ ብዙሕ-ደርቢ ኣርእስታት ምደባ ምስ ሚዛናዊ ዳታሴት፡ TF-IDF ተወሲኹዎ ኮሳይን ተመሳሳልነት ብተለምዶ ምስ Zstandard NCD 62-68% ክነጻጸር ከሎ 75-82% ልክዕነት ይረክብ። ይኹን እምበር፡ TF-IDF ዝተመጣጠነ ቬክተራይዘር፡ ዝተነጸረ ስነ-ቓላትን ቋንቋ-ፍሉይ ዝርዝር መደቀሲ ቃላትን የድልዮ። Zstandard NCD ካብዚ ቅድመ-መስርሕ ዝኾነ ይኹን ኣይሓትትን፣ ካብ ሳንዱቕ ወጻኢ ኣብ መላእ ቋንቋታት ይሰርሕ፣ ከምኡ’ውን ሓደስቲ ሰነዳት ኣብ ቀዋሚ ግዜ ይምድብ፣ ዓቐን ቃላት ብዘየገድስ። ንቕልጡፍ ፕሮቶታይፕ ወይ ብዙሕ ቋንቋታት ዝዛረቡ ከባቢታት፡ NCD መብዛሕትኡ ግዜ ናብ ዝሰርሕ ስርዓት ዝቐልጠፈ መንገዲ እዩ።

ኣውቶማቲክ ትሕዝቶ ሻምብቆታት ትሃንጽ ትኹን፡ መልእኽቲ ዓማዊል ትመርሕ፡ ወይ ንዲጂታላዊ ቢዝነስካ ፕሮቶታይፕ ምደባ ሎጂክ ትገብር፡ ፓይቶን 3.14 ኣብ ውሽጡ ዘሎ Zstandard ደገፍ ኣብ ምጽቃጥ ዝተመርኮሰ NCD ካብ ዝኾነ እዋን ንላዕሊ ተበጻሒ ይገብሮ። ትሕዝቶ ንግድኻ፡ ፍርያትካ፡ ኮርሳትካን ርክብ ዓማዊልካን ንምምሕዳር ኩሉ ኣብ ሓደ መድረኽ ትደሊ እንተኾንካ፡ ሎሚ ምስ መዋይዝ ምህናጽ ጀምር እሞ ነዞም ሜላታት ኣብ ምሉእ ስርሓትካ ኣብ ስራሕ ኣእትዎም።

ይምድቦም