AG خەۋەرلەر سانلىق مەلۇمات ئامبىرى (تۆت دەرىجىلىك خەۋەرلەرنى تۈرگە ئايرىش) غا قارشى ئۆلچەمدە ، Zstandard نى پىرىسلاش 3-دەرىجىسىدە ئىشلىتىش ئۇسۇلى تەخمىنەن% 62-65 لىك توغرىلىقنى ئەمەلگە ئاشۇرىدۇ - ھېچقانداق مەشىق باسقۇچى ، مودېل چۈشۈرۈش ۋە يەككە CPU يادروسىدا سېكۇنتتا تەخمىنەن 8000 ھۆججەتنىڭ تۈرگە ئايرىش سۈرئىتى. پىرىسلاش سەۋىيىسىنى 10 گە يەتكۈزۈش سېكۇنتىغا 2500 ھۆججەتكە يەتكۈزۈشنى ئازايتىش بەدىلىگە توغرىلىق نىسبىتىنى% 68 ئەتراپىدا ئىتتىرىدۇ. بۇ سانلار ئىنچىكە تەڭشەلگەن تىرانسفورموتورغا ماس كەلمەيدۇ ، ئەمما ئۇلار ئەسلى تىپ يېزىش ، سانلىق مەلۇمات بەلگە سىزىقى ياكى ML غا تايىنىش ئورنىتىش ماس كەلمەيدىغان مۇھىتنى كۈچلۈك ئاساس بىلەن تەمىنلەيدۇ.

NCD ئەنئەنىۋى ML تۈرگە ئايرىش بىلەن قانداق سېلىشتۇرما؟

سەمىمىي جاۋاب شۇكى ، NCD يۇقىرى سوممىلىق ئىشلەپچىقىرىش سىستېمىسىدىكى تىرانسفورموتورنى ئاساس قىلغان تۈرگە ئايرىشنىڭ ئورنى ئەمەس. BERT ياكى GPT نى ئاساس قىلغان تۈرگە ئايرىش تىپىدىكى مودېللار ئۆلچەملىك ئۆلچەمدە% 94 + توغرىلىق دەرىجىسىگە يېتىدۇ. قانداقلا بولمىسۇن ، Zstandard بىلەن NCD ئۆزگىچە بىر ئورۇننى ئىگىلىدى. ئۇ سوغۇق باشلاش سىنارىيىلىرىدىن ئۈستۈن تۇرىدۇ ، بۇ يەردە سىز ھەر بىر سىنىپتا 50 دىن ئاز بەلگە قويۇلغان مىسال بار - ھەتتا ئىنچىكە تەڭشەلگەن مودېللارمۇ تىركىشىدىغان ئەھۋال. ئۇ نۆل مەشىق ۋاقتىنى تەلەپ قىلىدۇ ، ھەر قانداق تىل ياكى كودلاشنى ئۆزگەرتمەيلا بىر تەرەپ قىلىدۇ ھەمدە دائىملىق ئىچكى ساقلىغۇچ بىلەن CPU دا ئىجرا بولىدۇ.

زور مىقداردىكى كەلگەن مەزمۇنلارنى باشقۇرىدىغان كارخانىلارغا نىسبەتەن - قوللاش بېلىتى ، ئىجتىمائىي ئالاقە تورى تىلغا ئېلىنىدۇ ، مەھسۇلات ئوبزورى - Zstandard NCD تۈرگە ئايرىش ماشىنىسى قىممەت باھالىق مودېللار نەتىجىنى مۇكەممەللەشتۈرۈشتىن بۇرۇن ھۆججەتلەرنى دەل ۋاقتىدا تۈرگە ئايرىيدىغان بىرىنچى يول يېتەكچىسى بولالايدۇ. بۇ ئىككى باسقۇچلۇق تۇرۇبا لىنىيىسى ئومۇمىي توغرىلىقنى ساقلاپ قېلىش بىلەن يەكۈن چىقىرىش تەننەرخىنى كۆرۈنەرلىك تۆۋەنلىتىدۇ. ئابونتلار ئىشلەپچىقارغان مەزمۇنلارنى بىر تەرەپ قىلىدىغان سۇپىلار ، مەسىلەن Mewayz نىڭ 137،000 دىن ئارتۇق ئىگىلىك تىكلىگۈچى ئىشلەتكەن 207 مودۇللۇق سودا مەشغۇلات سىستېمىسى ، يېنىك دەرىجىدىكى تۈرگە ئايرىپ يول ئۇچۇرى ، خەتكۈچ مەزمۇنى ۋە ئابونتلارنىڭ تەجرىبىسىنى ئېغىر ئۇل ئەسلىھەسىز خاسلاشتۇرىدۇ.

چەكلىمىلەر ۋە ئەڭ ياخشى ئادەتلەر نېمە؟

پىرىسلاشنى ئاساس قىلغان تۈرگە ئايرىشتا سىز ھېسابلاشقا تېگىشلىك چەكلىمىلەر بار. قىسقا تېكىستلەر (100 بايتتىن تۆۋەن) ئىشەنچسىز NCD نومۇرى ھاسىل قىلىدۇ ، چۈنكى پىرىسلاشتا ئەھمىيەتلىك ئەندىزە بەرپا قىلىشقا يېتەرلىك سانلىق مەلۇمات يوق. بۇ تېخنىكا پايدىلىنىش تېكىستلىرىنى تاللاشقا سەزگۈر - ياخشى تاللانغان ۋەكىللەر توغرىلىق دەرىجىسىنى زور دەرىجىدە تۆۋەنلىتىدۇ. ھەمدە NCD ئېھتىماللىق مودېلى بولماستىن ، بەلكى يىراق مۇساپىلىك ئۆلچەم بولغاچقا ، تەبىئىيلا ئىشەنچ نومۇرى ھاسىل قىلمايدۇ.

بۇ خىل ئۇسۇلدىن ئەڭ كۆپ پايدىغا ئېرىشىش ئۈچۈن: ھەر بىر تۈردە كەم دېگەندە 500 بايىتلىق پايدىلىنىش تېكىستلىرىنى ئىشلىتىڭ ، ھەر بىر سىنىپتا بىر نەچچە مىسالنى بىرلەشتۈرۈشنى سىناق قىلىڭ (2-3 ۋەكىللىك ھۆججەت بىرلەشتۈرۈلگەندىن كېيىن تېخىمۇ ياخشى پىرىسلاش لۇغىتى بېرىدۇ) ، پىرىسلاشتىن ئىلگىرى تېكىست قېپى ۋە ئاق بوشلۇقنى نورماللاشتۇرۇڭ ، Zstandard پىرىسلاش دەرىجىسىنىڭ 3 ، 6 ۋە 10 دەرىجىسىدىكى ئۆلچەملەرنى تېز سۈرئەتتە توغرىلاڭ. كىچىك تېكىستلەرنى تۈرگە ئايرىش ئۈچۈن ، تور دائىرىڭىزدە Zstandard لۇغىتىنى ئالدىن مەشىق قىلىڭ - بۇ يەككە قەدەم قىسقا ھۆججەتلەردە توغرىلىق نىسبىتىنى 8-12 پىرسەنت پوئىنت يۇقىرى كۆتۈرەلەيدۇ.

دائىم سورايدىغان سوئاللار

پىرىسلاشنى ئاساس قىلغان تۈرگە ئايرىش ھېسسىيات ئانالىزى ئۈچۈن ئىشلەمدۇ؟

قىلالايدۇ ، ئەمما ئۆڭكۈرلەر بىلەن. ھېسسىيات ئانالىزى قۇرۇلما جەھەتتىن ئوخشىشىپ كېتىدىغان تېكىستلەر ئىچىدىكى ئىنچىكە ئاھاڭ پەرقىنى بايقاشنى تەلەپ قىلىدۇ. NCD ئوخشىمىغان تۈردىكى ھۆججەتلەر ئوخشىمىغان سۆزلۈكلەرنى ئىشلىتىدىغان تېما تۈرگە ئايرىش ئۈچۈن تېخىمۇ ياخشى ئىشلەيدۇ. ھېسسىياتقا نىسبەتەن ، توغرىلىق ئادەتتە% 55-60 ئەتراپىدا بولىدۇ - ئىختىيارىدىن ياخشى ، ئەمما ئۆزى ئىشلەپچىقىرىشقا تەييار ئەمەس. NCD ئىقتىدارلىرىنى يېنىك لوگىكىلىق چېكىنىش ئەندىزىسى بىلەن بىرلەشتۈرگەندە نەتىجىنى كۆرۈنەرلىك ياخشىلايدۇ.

3.14 دىن بۇرۇن Python نەشرىدىكى compression.zstd مودۇلىنى ئىشلىتەمدىم؟

ياق. Python 3.14 دە compression.zstd مودۇلى يېڭى. ئىلگىرىكى نەشرىگە PyPI دىن python-zstandard بولىقىنى قاچىلاڭ ، بۇ ئوخشاش پىرىسلاش () ۋە decompress () ئىقتىدارىنى تەمىنلەيدۇ. NCD لوگىكىسى يەنىلا ئوخشاش بولۇپ ، پەقەت ئىمپورت باياناتى ئۆزگىرىدۇ. 3.14 گە كۆتۈرۈلگەندىن كېيىن ، ئۈچىنچى تەرەپنىڭ بېقىنىشچانلىقىنى پۈتۈنلەي تاشلىيالايسىز.

كوسېن ئوخشاشلىقى بىلەن TF-IDF غا سېلىشتۇرغاندا Zstandard NCD قانداق قىلىدۇ؟

تەڭپۇڭ سانلىق مەلۇمات جەدۋىلى بىلەن كۆپ قاتلاملىق تېما تۈرگە ئايرىشتا ، TF-IDF ۋە كوسېننىڭ ئوخشاشلىقى Zstandard NCD نىڭ% 62-68 گە سېلىشتۇرغاندا% 75-82 توغرىلىق دەرىجىسىگە يېتىدۇ. قانداقلا بولمىسۇن ، TF-IDF ماسلاشتۇرۇلغان ۋېكتورلاشتۇرغۇچ ، ئېنىق سۆزلۈك ۋە تىلغا خاس توختاش تىزىملىكىنى تەلەپ قىلىدۇ. Zstandard NCD بۇ ئالدىن پىششىقلاپ ئىشلەشنىڭ ھېچقايسىسىنى تەلەپ قىلمايدۇ ، تىل ھالقىسىدا ئىشلەيدۇ ۋە سۆزنىڭ چوڭ-كىچىكلىكىگە قارىماي يېڭى ھۆججەتلەرنى توختىماي تۈرگە ئايرىيدۇ. تېز سۈرئەتلىك تەقلىد قىلىش ياكى كۆپ تىللىق مۇھىتقا نىسبەتەن ، NCD ھەمىشە خىزمەت سىستېمىسىغا تېخىمۇ تېز يول.

مەيلى سىز ئاپتوماتىك مەزمۇن تۇرۇبا يولى ياساۋاتىسىز ، خېرىدارلارنىڭ ئۇچۇرلىرىنى يېتەكلەڭ ياكى رەقەملىك سودىڭىزنىڭ تەقلىدلەشتۈرۈلگەن لوگىكا لوگىكىسى بولسۇن ، Python 3.14 نىڭ ئىچىگە قاچىلانغان Zstandard نى قوللاش پىرىسلاشنى ئاساس قىلغان NCD نى ئىلگىرىكىگە قارىغاندا تېخىمۇ قولايلىق قىلىدۇ. ئەگەر سىز سودا مەزمۇنى ، مەھسۇلات ، دەرس ۋە خېرىدارلارنىڭ ئۆز-ئارا ئالاقىسىنى باشقۇرۇش ئۈچۈن بىرمۇبىر سۇپا ئىزدەۋاتقان بولسىڭىز ، بۈگۈن Mewayz بىلەن قۇرۇشنى باشلاڭ ۋە بۇ تېخنىكىلارنى پۈتكۈل مەشغۇلاتىڭىزغا ئىشلىتىڭ.