使用 Python 3.14 的 ZSTD 模組進行文字分類

Python 3.14 在標準庫中引入了 compression.zstd 模組，它解鎖了一種非常強大的文字分類方法，無需機器學習模型。透過測量壓縮器將兩個文字壓縮在一起的效果，您可以確定它們的相似性（一種稱為標準化壓縮距離 (NCD) 的技術），現在 Zstandard 使其速度足以滿足生產工作負載。

基於壓縮的文字分類實際上是如何運作的？

基於壓縮的分類背後的核心思想植根於資訊理論。當像 Zstandard 這樣的壓縮演算法遇到文字區塊時，它會建立一個內部模式字典。如果兩個文本共享相似的詞彙、語法和結構，則將它們壓縮在一起產生的結果僅比單獨壓縮較大文本稍大。如果它們不相關，則串聯的壓縮大小接近兩個單獨大小的總和。

此關係由歸一化壓縮距離公式捕獲：NCD(x, y) = (C(xy) - min(C(x), C(y))) / max(C(x), C(y))，其中 C(x) 是文本 x 的壓縮大小，C(xy) 是兩個文本連接的壓縮大小。 NCD 值接近 0 表示文字高度相似，而值接近 1 表示它們幾乎沒有共享資訊內容。

這項技術的非凡之處在於它不需要訓練數據，不需要標記化，不需要嵌入，也不需要 GPU。壓縮器本身充當文字結構的學習模型。在《低資源文本分類：使用壓縮器的無參數分類方法》（2023 年）等論文中發表的研究表明，基於 gzip 的 NCD 在某些基準上可與 BERT 相媲美，從而引發了人們對該方法的新興趣。

為什麼 Python 3.14 的 Zstandard 模組會改變 NCD 的遊戲規則？

在Python 3.14之前，使用Zstandard需要安裝第三方python-zstandard套件。透過 PEP 784 引入的新 compression.zstd 模組直接隨 CPython 提供。這意味著零依賴開銷和由 Meta 久經考驗的 libzstd 支援的保證、穩定的 API。特別是對於分類任務，Zstandard 比 gzip 或 bzip2 有以下幾個優點：

• 速度：在同等比率下，Zstandard 的壓縮速度比 gzip 快 3-5 倍，可在幾秒而不是幾分鐘內對數千個文檔進行批量分類
• 可調壓縮等級：1 級到 22 級可讓您以速度換取比率，從而根據吞吐量要求校準 NCD 精度
• 字典支援：預先訓練的 Zstandard 字典可以顯著提高小文本（4KB 以下）的壓縮，這正是 NCD 準確性最重要的文檔大小範圍
• 流 API：此模組支援增量壓縮，支援分類管道處理文本，而無需將整個語料庫載入記憶體
• 標準函式庫穩定性：無版本衝突，無供應鏈風險 - from compression import zstd 適用於每個 Python 3.14+ 安裝

關鍵見解：當您需要一個快速、無依賴性的基線來本地處理多語言文字時，基於壓縮的分類效果最佳。由於壓縮器對原始位元組而不是特定於語言的標記進行操作，因此它們可以像英語一樣有效地對中文、阿拉伯語或混合語言文件進行分類 - 不需要語言模型。

實際實施是什麼樣的？

Python 3.14 中的最小 NCD 分類器少於 30 行。您對每個參考文字（每個類別一個）進行編碼，然後對於每個新文檔，根據每個參考計算 NCD 並分配具有最小距離的類別。核心邏輯如下：

首先，使用 from compression import zstd 導入模組。定義一個函數，該函數接受兩個位元組字串，單獨壓縮每個字串，壓縮它們的串聯，並傳回 NCD 分數。然後建立一個字典，將類別標籤對應到代表性範例文字。對於每個傳入文檔，迭代類別、計算 NCD 並選擇最小值。

在針對 AG News 資料集（四類新聞分類）的基準測試中，這種在壓縮等級 3 下使用 Zstandard 的方法可實現約 62-65% 的準確率 — 無需訓練步驟，無需下載模型，並且在單個 CPU 核心上的分類速度約為每秒 8,000 個文件。將壓縮等級提高到 10 可將準確性提高到 68% 左右，但代價是將吞吐量降低到每秒約 2,500 個文件。這些數字與微調的轉換器不匹配，但它們為原型設計、數據標記分類或安裝 ML 依賴項不切實際的環境提供了強大的基線。

NCD 與傳統的機器學習分類相比如何？

誠實的答案是，NCD 不能取代高風險生產系統中基於變壓器的分類器。基於 BERT 或 GPT 的分類器等模型在標準基準測試中的準確率達到 94% 以上。然而，帶有 Zstandard 的 NCD 佔據了獨特的利基市場。它在冷啟動場景中表現出色，在冷啟動場景中，每個類別的標記範例少於 50 個，在這種情況下，即使經過微調的模型也會遇到困難。它需要零訓練時間，無需修改即可處理任何語言或編碼，並且完全在具有恆定記憶體的 CPU 上運行。

對於管理大量傳入內容（支援請求、社群媒體提及、產品評論）的企業來說，Zstandard NCD 分類器可以充當首過路由器，在更昂貴的模型完善結果之前對文件進行即時分類。這種兩級管道顯著降低了推理成本，同時保持了整體準確性。大規模處理用戶生成內容的平台（例如超過 138,000 名企業家使用的 Mewayz 的 207 個模組的商業作業系統）可以從輕量級分類中受益，無需重型基礎設施即可路由訊息、標記內容和個人化用戶體驗。

有哪些限制和最佳實務？

基於壓縮的分類具有您應該考慮的已知限制。短文字（低於 100 位元組）會產生不可靠的 NCD 分數，因為壓縮器沒有足夠的資料來建立有意義的模式。該技術對參考文本的選擇也很敏感——選擇不當的代表會急劇降低準確性。而且由於 NCD 是一種距離測量而不是機率模型，因此它不會自然產生置信度分數。

要充分利用此方法：使用每個類別至少 500 位元組的參考文本，嘗試連接每個類別的多個範例（將 2-3 個代表性文件連接在一起可產生更好的壓縮字典），在壓縮前標準化文字大小寫和空格，並在 Zstandard 壓縮等級 3、6 和 10 之間進行基準測試，以找到速度準確度的最佳點。對於小文本分類，請在您的領域語料庫上預先訓練 Zstandard 字典 - 這一步驟可以將短文檔的準確性提高 8-12 個百分點。

常見問題

基於壓縮的分類是否適用於情感分析？

可以，但有註意事項。情緒分析需要偵測結構相似文本中細微的音調差異。 NCD 更適合主題分類，其中不同類別的文件使用不同的詞彙表。對於情緒來說，準確率通常在 55-60% 左右——比隨機的要好，但本身還不能用於生產。將 NCD 特徵與輕量級邏輯迴歸模型結合可顯著改善結果。

我可以在3.14之前的Python版本中使用compression.zstd模組嗎？

沒有。 compression.zstd 模組是 Python 3.14 中的新模組。對於早期版本，請安裝 PyPI 中的 python-zstandard 軟體包，該軟體包提供等效的 compress() 和 decompress() 函數。 NCD 邏輯不變 — 只是導入語句改變了。升級到 3.14 後，您可以完全刪除第三方依賴項。

與具有餘弦相似性的 TF-IDF 相比，Zstandard NCD 的表現如何？

在使用平衡資料集的多類別主題分類上，TF-IDF 加餘弦相似度通常可達到 75-82% 的準確率，而 Zstandard NCD 的準確率為 62-68%。然而，TF-IDF 需要一個適當的向量化器、定義的詞彙表和特定語言的停用詞列表。 Zstandard NCD 不需要任何預處理，可以開箱即用地跨語言工作，並且無論詞彙量大小如何都能在恆定時間內對新文件進行分類。對於快速原型或多語言環境，NCD 通常是通往工作系統的更快路徑。

無論您是建立自動化內容管道、路由客戶訊息，還是為數位業務建立分類邏輯原型，Python 3.14 的內建 Zstandard 支援都使基於壓縮的 NCD 比以往更容易存取。如果您正在尋找一個一體化平台來管理您的業務內容、產品、課程和客戶互動，請立即開始使用 Mewayz 進行構建，並將這些技術應用於您的整個運營。