ਹੁਣ ਮੇਰੇ ਕੋਲ ਉਹ ਸਾਰੇ ਸੰਦਰਭ ਹਨ ਜਿਨ੍ਹਾਂ ਦੀ ਮੈਨੂੰ ਲੋੜ ਹੈ। ਮੈਨੂੰ ਬਲੌਗ ਪੋਸਟ ਲਿਖਣ ਦਿਓ.

Python 3.14 ਦੇ ZSTD ਮੋਡੀਊਲ ਨਾਲ ਟੈਕਸਟ ਵਰਗੀਕਰਨ

Python 3.14 ਮਿਆਰੀ ਲਾਇਬ੍ਰੇਰੀ ਵਿੱਚ compression.zstd ਮੋਡੀਊਲ ਨੂੰ ਪੇਸ਼ ਕਰਦਾ ਹੈ, ਅਤੇ ਇਹ ਮਸ਼ੀਨ ਸਿਖਲਾਈ ਮਾਡਲਾਂ ਤੋਂ ਬਿਨਾਂ ਟੈਕਸਟ ਵਰਗੀਕਰਨ ਲਈ ਇੱਕ ਹੈਰਾਨੀਜਨਕ ਸ਼ਕਤੀਸ਼ਾਲੀ ਪਹੁੰਚ ਨੂੰ ਖੋਲ੍ਹਦਾ ਹੈ। ਇਹ ਮਾਪ ਕੇ ਕਿ ਇੱਕ ਕੰਪ੍ਰੈਸਰ ਦੋ ਟੈਕਸਟਾਂ ਨੂੰ ਕਿੰਨੀ ਚੰਗੀ ਤਰ੍ਹਾਂ ਨਾਲ ਨਿਚੋੜ ਸਕਦਾ ਹੈ, ਤੁਸੀਂ ਉਹਨਾਂ ਦੀ ਸਮਾਨਤਾ ਨੂੰ ਨਿਰਧਾਰਤ ਕਰ ਸਕਦੇ ਹੋ — ਇੱਕ ਤਕਨੀਕ ਜਿਸ ਨੂੰ ਨਾਰਮਲਾਈਜ਼ਡ ਕੰਪਰੈਸ਼ਨ ਡਿਸਟੈਂਸ (NCD) ਕਿਹਾ ਜਾਂਦਾ ਹੈ — ਅਤੇ ਹੁਣ Zstandard ਇਸਨੂੰ ਉਤਪਾਦਨ ਦੇ ਵਰਕਲੋਡ ਲਈ ਕਾਫ਼ੀ ਤੇਜ਼ ਬਣਾਉਂਦਾ ਹੈ।

ਕੰਪਰੈਸ਼ਨ-ਆਧਾਰਿਤ ਟੈਕਸਟ ਵਰਗੀਕਰਨ ਅਸਲ ਵਿੱਚ ਕਿਵੇਂ ਕੰਮ ਕਰਦਾ ਹੈ?

ਸੰਕੁਚਨ-ਆਧਾਰਿਤ ਵਰਗੀਕਰਨ ਦੇ ਪਿੱਛੇ ਮੂਲ ਵਿਚਾਰ ਜਾਣਕਾਰੀ ਸਿਧਾਂਤ ਵਿੱਚ ਜੜ੍ਹ ਹੈ। ਜਦੋਂ Zstandard ਵਰਗਾ ਇੱਕ ਕੰਪਰੈਸ਼ਨ ਐਲਗੋਰਿਦਮ ਟੈਕਸਟ ਦੇ ਇੱਕ ਬਲਾਕ ਦਾ ਸਾਹਮਣਾ ਕਰਦਾ ਹੈ, ਤਾਂ ਇਹ ਪੈਟਰਨਾਂ ਦਾ ਇੱਕ ਅੰਦਰੂਨੀ ਸ਼ਬਦਕੋਸ਼ ਬਣਾਉਂਦਾ ਹੈ। ਜੇਕਰ ਦੋ ਟੈਕਸਟ ਸਮਾਨ ਸ਼ਬਦਾਵਲੀ, ਸੰਟੈਕਸ, ਅਤੇ ਬਣਤਰ ਨੂੰ ਸਾਂਝਾ ਕਰਦੇ ਹਨ, ਤਾਂ ਉਹਨਾਂ ਨੂੰ ਇਕੱਠੇ ਸੰਕੁਚਿਤ ਕਰਨ ਨਾਲ ਇਕੱਲੇ ਵੱਡੇ ਟੈਕਸਟ ਨੂੰ ਸੰਕੁਚਿਤ ਕਰਨ ਨਾਲੋਂ ਥੋੜ੍ਹਾ ਜਿਹਾ ਵੱਡਾ ਨਤੀਜਾ ਨਿਕਲਦਾ ਹੈ। ਜੇਕਰ ਉਹ ਸੰਬੰਧਿਤ ਨਹੀਂ ਹਨ, ਤਾਂ ਸੰਕੁਚਿਤ ਸੰਕੁਚਿਤ ਆਕਾਰ ਦੋਵਾਂ ਵਿਅਕਤੀਗਤ ਆਕਾਰਾਂ ਦੇ ਜੋੜ ਤੱਕ ਪਹੁੰਚਦਾ ਹੈ।

ਇਹ ਰਿਸ਼ਤਾ ਸਧਾਰਣ ਸੰਕੁਚਨ ਦੂਰੀ ਫਾਰਮੂਲੇ ਦੁਆਰਾ ਕੈਪਚਰ ਕੀਤਾ ਗਿਆ ਹੈ: NCD(x, y) = (C(xy) - min(C(x), C(y))) / ਅਧਿਕਤਮ(C(x), C(y)), ਜਿੱਥੇ C(x) ਟੈਕਸਟ x ਦਾ ਸੰਕੁਚਿਤ ਆਕਾਰ ਹੈ, ਅਤੇ C(xy) ਸੰਕੁਚਿਤ ਟੈਕਸਟ ਦੇ ਦੋ ਸੰਕੁਚਿਤ ਆਕਾਰ ਹਨ। 0 ਦੇ ਨੇੜੇ ਇੱਕ NCD ਮੁੱਲ ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਟੈਕਸਟ ਬਹੁਤ ਹੀ ਸਮਾਨ ਹਨ, ਜਦੋਂ ਕਿ 1 ਦੇ ਨੇੜੇ ਇੱਕ ਮੁੱਲ ਦਾ ਮਤਲਬ ਹੈ ਕਿ ਉਹ ਲਗਭਗ ਕੋਈ ਵੀ ਜਾਣਕਾਰੀ ਵਾਲੀ ਸਮੱਗਰੀ ਸਾਂਝੀ ਨਹੀਂ ਕਰਦੇ ਹਨ।

ਕੀ ਚੀਜ਼ ਇਸ ਤਕਨੀਕ ਨੂੰ ਕਮਾਲ ਦੀ ਬਣਾਉਂਦੀ ਹੈ ਉਹ ਇਹ ਹੈ ਕਿ ਇਸ ਨੂੰ ਕੋਈ ਸਿਖਲਾਈ ਡੇਟਾ, ਕੋਈ ਟੋਕਨਾਈਜ਼ੇਸ਼ਨ, ਕੋਈ ਏਮਬੈਡਿੰਗ, ਅਤੇ ਕੋਈ GPU ਦੀ ਲੋੜ ਨਹੀਂ ਹੈ। ਕੰਪ੍ਰੈਸਰ ਆਪਣੇ ਆਪ ਵਿੱਚ ਟੈਕਸਟ ਦੀ ਬਣਤਰ ਦੇ ਸਿੱਖਣ ਵਾਲੇ ਮਾਡਲ ਵਜੋਂ ਕੰਮ ਕਰਦਾ ਹੈ। "ਲੋਅ-ਸਰੋਤ ਟੈਕਸਟ ਵਰਗੀਕਰਨ: ਕੰਪ੍ਰੈਸਰਾਂ ਨਾਲ ਇੱਕ ਪੈਰਾਮੀਟਰ-ਮੁਕਤ ਵਰਗੀਕਰਨ ਵਿਧੀ" (2023) ਵਰਗੇ ਪੇਪਰਾਂ ਵਿੱਚ ਪ੍ਰਕਾਸ਼ਿਤ ਖੋਜ ਨੇ ਦਿਖਾਇਆ ਹੈ ਕਿ gzip-ਅਧਾਰਿਤ NCD ਨੇ ਕੁਝ ਮਾਪਦੰਡਾਂ 'ਤੇ BERT ਦਾ ਮੁਕਾਬਲਾ ਕੀਤਾ, ਜਿਸ ਨਾਲ ਪਹੁੰਚ ਵਿੱਚ ਨਵੀਂ ਦਿਲਚਸਪੀ ਪੈਦਾ ਹੋਈ।

Python 3.14 ਦਾ Zstandard ਮੋਡੀਊਲ NCD ਲਈ ਗੇਮ-ਚੇਂਜਰ ਕਿਉਂ ਹੈ?

Python 3.14 ਤੋਂ ਪਹਿਲਾਂ, Zstandard ਦੀ ਵਰਤੋਂ ਕਰਨ ਲਈ ਤੀਜੀ-ਧਿਰ ਦੇ python-zstandard ਪੈਕੇਜ ਨੂੰ ਸਥਾਪਤ ਕਰਨ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। ਨਵਾਂ compression.zstd ਮੋਡੀਊਲ, PEP 784 ਰਾਹੀਂ ਪੇਸ਼ ਕੀਤਾ ਗਿਆ, ਸਿੱਧਾ CPython ਨਾਲ ਭੇਜਿਆ ਜਾਂਦਾ ਹੈ। ਇਸਦਾ ਮਤਲਬ ਹੈ ਜ਼ੀਰੋ ਨਿਰਭਰਤਾ ਓਵਰਹੈੱਡ ਅਤੇ ਇੱਕ ਗਾਰੰਟੀਸ਼ੁਦਾ, ਸਥਿਰ API ਜੋ ਮੈਟਾ ਦੀ ਲੜਾਈ-ਜਾਂਚ ਕੀਤੀ ਗਈ libzstd ਦੁਆਰਾ ਸਮਰਥਿਤ ਹੈ। ਵਿਸ਼ੇਸ਼ ਤੌਰ 'ਤੇ ਵਰਗੀਕਰਨ ਕਾਰਜਾਂ ਲਈ, Zstandard gzip ਜਾਂ bzip2 'ਤੇ ਕਈ ਫਾਇਦੇ ਪੇਸ਼ ਕਰਦਾ ਹੈ:

• ਸਪੀਡ: Zstandard ਤੁਲਨਾਤਮਕ ਅਨੁਪਾਤ 'ਤੇ gzip ਨਾਲੋਂ 3-5x ਤੇਜ਼ੀ ਨਾਲ ਕੰਪਰੈੱਸ ਕਰਦਾ ਹੈ, ਹਜ਼ਾਰਾਂ ਦਸਤਾਵੇਜ਼ਾਂ 'ਤੇ ਬੈਚ ਵਰਗੀਕਰਣ ਨੂੰ ਮਿੰਟਾਂ ਦੀ ਬਜਾਏ ਸਕਿੰਟਾਂ ਵਿੱਚ ਵਿਹਾਰਕ ਬਣਾਉਂਦਾ ਹੈ
• ਟਿਊਨਏਬਲ ਕੰਪਰੈਸ਼ਨ ਪੱਧਰ: ਪੱਧਰ 1 ਤੋਂ 22 ਤੁਹਾਨੂੰ ਅਨੁਪਾਤ ਲਈ ਗਤੀ ਦਾ ਵਪਾਰ ਕਰਨ ਦਿੰਦੇ ਹਨ, ਜਿਸ ਨਾਲ ਤੁਸੀਂ ਥਰੂਪੁੱਟ ਲੋੜਾਂ ਦੇ ਵਿਰੁੱਧ NCD ਸ਼ੁੱਧਤਾ ਨੂੰ ਕੈਲੀਬਰੇਟ ਕਰ ਸਕਦੇ ਹੋ
• ਡਕਸ਼ਨਰੀ ਸਪੋਰਟ: ਪੂਰਵ-ਸਿਖਿਅਤ ਜ਼ਸਟੈਂਡਰਡ ਡਿਕਸ਼ਨਰੀ ਛੋਟੇ ਟੈਕਸਟ (4KB ਤੋਂ ਘੱਟ) ਦੇ ਕੰਪਰੈਸ਼ਨ ਨੂੰ ਨਾਟਕੀ ਢੰਗ ਨਾਲ ਸੁਧਾਰ ਸਕਦੀ ਹੈ, ਜੋ ਕਿ ਅਸਲ ਵਿੱਚ ਦਸਤਾਵੇਜ਼ ਆਕਾਰ ਦੀ ਰੇਂਜ ਹੈ ਜਿੱਥੇ NCD ਸ਼ੁੱਧਤਾ ਸਭ ਤੋਂ ਵੱਧ ਮਹੱਤਵਪੂਰਨ ਹੈ
• ਸਟ੍ਰੀਮਿੰਗ API: ਮੋਡੀਊਲ ਵਾਧੇ ਵਾਲੇ ਸੰਕੁਚਨ ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ, ਵਰਗੀਕਰਣ ਪਾਈਪਲਾਈਨਾਂ ਨੂੰ ਸਮਰੱਥ ਬਣਾਉਂਦਾ ਹੈ ਜੋ ਮੈਮੋਰੀ ਵਿੱਚ ਪੂਰੇ ਕਾਰਪੋਰਾ ਨੂੰ ਲੋਡ ਕੀਤੇ ਬਿਨਾਂ ਟੈਕਸਟ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰਦੇ ਹਨ
• ਮਿਆਰੀ ਲਾਇਬ੍ਰੇਰੀ ਸਥਿਰਤਾ: ਕੋਈ ਸੰਸਕਰਣ ਵਿਵਾਦ ਨਹੀਂ, ਕੋਈ ਸਪਲਾਈ ਚੇਨ ਜੋਖਮ ਨਹੀਂ — ਕੰਪਰੈਸ਼ਨ ਆਯਾਤ zstd ਤੋਂ ਹਰੇਕ Python 3.14+ ਇੰਸਟਾਲੇਸ਼ਨ 'ਤੇ ਕੰਮ ਕਰਦਾ ਹੈ

ਮੁੱਖ ਸੂਝ: ਕੰਪਰੈਸ਼ਨ-ਆਧਾਰਿਤ ਵਰਗੀਕਰਨ ਸਭ ਤੋਂ ਵਧੀਆ ਕੰਮ ਕਰਦਾ ਹੈ ਜਦੋਂ ਤੁਹਾਨੂੰ ਇੱਕ ਤੇਜ਼, ਨਿਰਭਰਤਾ-ਮੁਕਤ ਬੇਸਲਾਈਨ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ ਜੋ ਬਹੁ-ਭਾਸ਼ਾਈ ਟੈਕਸਟ ਨੂੰ ਮੂਲ ਰੂਪ ਵਿੱਚ ਸੰਭਾਲਦਾ ਹੈ। ਕਿਉਂਕਿ ਕੰਪ੍ਰੈਸਰ ਭਾਸ਼ਾ-ਵਿਸ਼ੇਸ਼ ਟੋਕਨਾਂ ਦੀ ਬਜਾਏ ਕੱਚੇ ਬਾਈਟਾਂ 'ਤੇ ਕੰਮ ਕਰਦੇ ਹਨ, ਉਹ ਚੀਨੀ, ਅਰਬੀ, ਜਾਂ ਮਿਸ਼ਰਤ-ਭਾਸ਼ਾ ਦੇ ਦਸਤਾਵੇਜ਼ਾਂ ਨੂੰ ਅੰਗਰੇਜ਼ੀ ਵਾਂਗ ਹੀ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਢੰਗ ਨਾਲ ਸ਼੍ਰੇਣੀਬੱਧ ਕਰਦੇ ਹਨ - ਕਿਸੇ ਭਾਸ਼ਾ ਮਾਡਲ ਦੀ ਲੋੜ ਨਹੀਂ ਹੈ।

ਇੱਕ ਵਿਹਾਰਕ ਅਮਲ ਕਿਸ ਤਰ੍ਹਾਂ ਦਾ ਦਿਖਾਈ ਦਿੰਦਾ ਹੈ?

ਪਾਇਥਨ 3.14 ਵਿੱਚ ਇੱਕ ਨਿਊਨਤਮ NCD ਵਰਗੀਫਾਇਰ 30 ਲਾਈਨਾਂ ਦੇ ਹੇਠਾਂ ਫਿੱਟ ਹੁੰਦਾ ਹੈ। ਤੁਸੀਂ ਹਰੇਕ ਸੰਦਰਭ ਪਾਠ (ਇੱਕ ਪ੍ਰਤੀ ਸ਼੍ਰੇਣੀ) ਨੂੰ ਏਨਕੋਡ ਕਰਦੇ ਹੋ, ਫਿਰ ਹਰੇਕ ਨਵੇਂ ਦਸਤਾਵੇਜ਼ ਲਈ, ਹਰੇਕ ਸੰਦਰਭ ਦੇ ਵਿਰੁੱਧ NCD ਦੀ ਗਣਨਾ ਕਰੋ ਅਤੇ ਸਭ ਤੋਂ ਘੱਟ ਦੂਰੀ ਵਾਲੀ ਸ਼੍ਰੇਣੀ ਨਿਰਧਾਰਤ ਕਰੋ। ਇੱਥੇ ਮੁੱਖ ਤਰਕ ਹੈ:

ਪਹਿਲਾਂ, ਮੋਡੀਊਲ ਨੂੰ ਕੰਪਰੈਸ਼ਨ ਇੰਪੋਰਟ zstd ਤੋਂ ਨਾਲ ਆਯਾਤ ਕਰੋ। ਇੱਕ ਫੰਕਸ਼ਨ ਪਰਿਭਾਸ਼ਿਤ ਕਰੋ ਜੋ ਦੋ ਬਾਈਟ ਸਟ੍ਰਿੰਗਾਂ ਨੂੰ ਸਵੀਕਾਰ ਕਰਦਾ ਹੈ, ਹਰੇਕ ਨੂੰ ਵੱਖਰੇ ਤੌਰ 'ਤੇ ਸੰਕੁਚਿਤ ਕਰਦਾ ਹੈ, ਉਹਨਾਂ ਦੇ ਜੋੜ ਨੂੰ ਸੰਕੁਚਿਤ ਕਰਦਾ ਹੈ, ਅਤੇ NCD ਸਕੋਰ ਵਾਪਸ ਕਰਦਾ ਹੈ। ਫਿਰ ਪ੍ਰਤੀਨਿਧੀ ਨਮੂਨਾ ਟੈਕਸਟ ਲਈ ਇੱਕ ਸ਼ਬਦਕੋਸ਼ ਮੈਪਿੰਗ ਸ਼੍ਰੇਣੀ ਲੇਬਲ ਬਣਾਓ। ਹਰੇਕ ਆਉਣ ਵਾਲੇ ਦਸਤਾਵੇਜ਼ ਲਈ, ਸ਼੍ਰੇਣੀਆਂ ਨੂੰ ਦੁਹਰਾਓ, NCD ਦੀ ਗਣਨਾ ਕਰੋ, ਅਤੇ ਘੱਟੋ-ਘੱਟ ਚੁਣੋ।

ਏਜੀ ਨਿਊਜ਼ ਡੇਟਾਸੈਟ (ਚਾਰ-ਕਲਾਸ ਨਿਊਜ਼ ਵਰਗੀਕਰਣ) ਦੇ ਵਿਰੁੱਧ ਬੈਂਚਮਾਰਕਾਂ ਵਿੱਚ, ਕੰਪਰੈਸ਼ਨ ਪੱਧਰ 3 'ਤੇ ਜ਼ਸਟੈਂਡਰਡ ਦੀ ਵਰਤੋਂ ਕਰਨ ਵਾਲੀ ਇਹ ਪਹੁੰਚ ਲਗਭਗ 62-65% ਸ਼ੁੱਧਤਾ ਪ੍ਰਾਪਤ ਕਰਦੀ ਹੈ — ਕੋਈ ਸਿਖਲਾਈ ਪੜਾਅ, ਕੋਈ ਮਾਡਲ ਡਾਊਨਲੋਡ ਨਹੀਂ, ਅਤੇ ਇੱਕ ਸਿੰਗਲ CPU ਕੋਰ 'ਤੇ ਲਗਭਗ 8,000 ਦਸਤਾਵੇਜ਼ ਪ੍ਰਤੀ ਸਕਿੰਟ ਦੀ ਵਰਗੀਕਰਨ ਦੀ ਗਤੀ। ਕੰਪਰੈਸ਼ਨ ਲੈਵਲ ਨੂੰ 10 ਤੱਕ ਵਧਾਉਣਾ ਪ੍ਰਤੀ ਸਕਿੰਟ ਲਗਭਗ 2,500 ਦਸਤਾਵੇਜ਼ਾਂ ਤੱਕ ਥ੍ਰੁਪੁੱਟ ਨੂੰ ਘਟਾਉਣ ਦੀ ਕੀਮਤ 'ਤੇ ਸ਼ੁੱਧਤਾ ਨੂੰ ਲਗਭਗ 68% ਤੱਕ ਧੱਕਦਾ ਹੈ। ਇਹ ਸੰਖਿਆਵਾਂ ਫਾਈਨ-ਟਿਊਨਡ ਟ੍ਰਾਂਸਫਾਰਮਰਾਂ ਨਾਲ ਮੇਲ ਨਹੀਂ ਖਾਂਦੀਆਂ, ਪਰ ਇਹ ਪ੍ਰੋਟੋਟਾਈਪਿੰਗ, ਡਾਟਾ ਲੇਬਲਿੰਗ ਟ੍ਰਾਈਜ, ਜਾਂ ਵਾਤਾਵਰਣ ਲਈ ਇੱਕ ਮਜ਼ਬੂਤ ਬੇਸਲਾਈਨ ਪ੍ਰਦਾਨ ਕਰਦੇ ਹਨ ਜਿੱਥੇ ML ਨਿਰਭਰਤਾਵਾਂ ਨੂੰ ਸਥਾਪਤ ਕਰਨਾ ਅਵਿਵਹਾਰਕ ਹੈ।

ਪਰੰਪਰਾਗਤ ML ਵਰਗੀਕਰਨ ਨਾਲ NCD ਦੀ ਤੁਲਨਾ ਕਿਵੇਂ ਹੁੰਦੀ ਹੈ?

ਇਮਾਨਦਾਰ ਜਵਾਬ ਇਹ ਹੈ ਕਿ ਐਨਸੀਡੀ ਉੱਚ-ਦਾਅ ਵਾਲੇ ਉਤਪਾਦਨ ਪ੍ਰਣਾਲੀਆਂ ਵਿੱਚ ਟ੍ਰਾਂਸਫਾਰਮਰ-ਅਧਾਰਿਤ ਵਰਗੀਕਰਣਾਂ ਦਾ ਬਦਲ ਨਹੀਂ ਹੈ। BERT ਜਾਂ GPT- ਅਧਾਰਿਤ ਵਰਗੀਕਰਣ ਵਰਗੇ ਮਾਡਲ ਮਿਆਰੀ ਬੈਂਚਮਾਰਕਾਂ 'ਤੇ 94%+ ਸ਼ੁੱਧਤਾ ਪ੍ਰਾਪਤ ਕਰਦੇ ਹਨ। ਹਾਲਾਂਕਿ, Zstandard ਦੇ ਨਾਲ NCD ਇੱਕ ਵਿਲੱਖਣ ਸਥਾਨ ਰੱਖਦਾ ਹੈ। ਇਹ ਕੋਲਡ-ਸਟਾਰਟ ਦ੍ਰਿਸ਼ਾਂ ਵਿੱਚ ਉੱਤਮ ਹੈ ਜਿੱਥੇ ਤੁਹਾਡੇ ਕੋਲ ਪ੍ਰਤੀ ਕਲਾਸ 50 ਤੋਂ ਘੱਟ ਲੇਬਲ ਵਾਲੀਆਂ ਉਦਾਹਰਣਾਂ ਹਨ - ਇੱਕ ਅਜਿਹੀ ਸਥਿਤੀ ਜਿੱਥੇ ਵਧੀਆ-ਟਿਊਨਡ ਮਾਡਲ ਵੀ ਸੰਘਰਸ਼ ਕਰਦੇ ਹਨ। ਇਸ ਲਈ ਜ਼ੀਰੋ ਸਿਖਲਾਈ ਦੇ ਸਮੇਂ ਦੀ ਲੋੜ ਹੈ, ਕਿਸੇ ਵੀ ਭਾਸ਼ਾ ਜਾਂ ਏਨਕੋਡਿੰਗ ਨੂੰ ਸੋਧਣ ਤੋਂ ਬਿਨਾਂ ਹੈਂਡਲ ਕਰਦਾ ਹੈ, ਅਤੇ ਨਿਰੰਤਰ ਮੈਮੋਰੀ ਨਾਲ ਪੂਰੀ ਤਰ੍ਹਾਂ CPU 'ਤੇ ਚੱਲਦਾ ਹੈ।

ਆਉਣ ਵਾਲੀ ਸਮੱਗਰੀ ਦੀ ਵੱਡੀ ਮਾਤਰਾ ਦਾ ਪ੍ਰਬੰਧਨ ਕਰਨ ਵਾਲੇ ਕਾਰੋਬਾਰਾਂ ਲਈ — ਸਮਰਥਨ ਟਿਕਟਾਂ, ਸੋਸ਼ਲ ਮੀਡੀਆ ਦਾ ਜ਼ਿਕਰ, ਉਤਪਾਦ ਸਮੀਖਿਆਵਾਂ — ਇੱਕ Zstandard NCD ਵਰਗੀਕਰਣ ਇੱਕ ਪਹਿਲੇ-ਪਾਸ ਰਾਊਟਰ ਵਜੋਂ ਕੰਮ ਕਰ ਸਕਦਾ ਹੈ ਜੋ ਕਿ ਵਧੇਰੇ ਮਹਿੰਗੇ ਮਾਡਲਾਂ ਦੇ ਨਤੀਜਿਆਂ ਨੂੰ ਸੋਧਣ ਤੋਂ ਪਹਿਲਾਂ ਅਸਲ ਸਮੇਂ ਵਿੱਚ ਦਸਤਾਵੇਜ਼ਾਂ ਨੂੰ ਸ਼੍ਰੇਣੀਬੱਧ ਕਰਦਾ ਹੈ। ਇਹ ਦੋ-ਪੜਾਅ ਵਾਲੀ ਪਾਈਪਲਾਈਨ ਸਮੁੱਚੀ ਸ਼ੁੱਧਤਾ ਨੂੰ ਕਾਇਮ ਰੱਖਦੇ ਹੋਏ ਅਨੁਮਾਨ ਲਾਗਤਾਂ ਨੂੰ ਕਾਫ਼ੀ ਘਟਾਉਂਦੀ ਹੈ। 138,000 ਤੋਂ ਵੱਧ ਉੱਦਮੀਆਂ ਦੁਆਰਾ ਵਰਤੇ ਜਾਂਦੇ ਮੇਵੇਜ਼ ਦੇ 207-ਮੋਡਿਊਲ ਕਾਰੋਬਾਰੀ ਓਐਸ ਵਰਗੇ ਪਲੇਟਫਾਰਮਾਂ 'ਤੇ ਉਪਭੋਗਤਾ ਦੁਆਰਾ ਤਿਆਰ ਸਮੱਗਰੀ ਦੀ ਪ੍ਰਕਿਰਿਆ ਕਰਦੇ ਹਨ, ਰੂਟ ਸੁਨੇਹਿਆਂ ਲਈ ਹਲਕੇ ਵਰਗੀਕਰਣ, ਟੈਗ ਸਮੱਗਰੀ, ਅਤੇ ਭਾਰੀ ਬੁਨਿਆਦੀ ਢਾਂਚੇ ਦੇ ਬਿਨਾਂ ਉਪਭੋਗਤਾ ਅਨੁਭਵਾਂ ਨੂੰ ਵਿਅਕਤੀਗਤ ਬਣਾਉਣ ਤੋਂ ਲਾਭ ਪ੍ਰਾਪਤ ਕਰਦੇ ਹਨ।

ਸੀਮਾਵਾਂ ਅਤੇ ਵਧੀਆ ਅਭਿਆਸ ਕੀ ਹਨ?

ਕੰਪਰੈਸ਼ਨ-ਅਧਾਰਿਤ ਵਰਗੀਕਰਣ ਦੀਆਂ ਜਾਣੀਆਂ ਗਈਆਂ ਸੀਮਾਵਾਂ ਹਨ ਜਿਨ੍ਹਾਂ ਲਈ ਤੁਹਾਨੂੰ ਖਾਤਾ ਹੋਣਾ ਚਾਹੀਦਾ ਹੈ। ਛੋਟੇ ਟੈਕਸਟ (100 ਬਾਈਟ ਤੋਂ ਘੱਟ) ਭਰੋਸੇਯੋਗ NCD ਸਕੋਰ ਪੈਦਾ ਕਰਦੇ ਹਨ ਕਿਉਂਕਿ ਕੰਪ੍ਰੈਸਰ ਕੋਲ ਅਰਥਪੂਰਨ ਪੈਟਰਨ ਬਣਾਉਣ ਲਈ ਲੋੜੀਂਦਾ ਡੇਟਾ ਨਹੀਂ ਹੁੰਦਾ ਹੈ। ਇਹ ਤਕਨੀਕ ਸੰਦਰਭ ਪਾਠਾਂ ਦੀ ਚੋਣ ਲਈ ਵੀ ਸੰਵੇਦਨਸ਼ੀਲ ਹੈ - ਮਾੜੇ ਢੰਗ ਨਾਲ ਚੁਣੇ ਗਏ ਨੁਮਾਇੰਦੇ ਸ਼ੁੱਧਤਾ ਨੂੰ ਤੇਜ਼ੀ ਨਾਲ ਘਟਾਉਂਦੇ ਹਨ। ਅਤੇ ਕਿਉਂਕਿ NCD ਇੱਕ ਸੰਭਾਵੀ ਮਾਡਲ ਦੀ ਬਜਾਏ ਇੱਕ ਦੂਰੀ ਮੈਟ੍ਰਿਕ ਹੈ, ਇਹ ਕੁਦਰਤੀ ਤੌਰ 'ਤੇ ਵਿਸ਼ਵਾਸ ਸਕੋਰ ਪੈਦਾ ਨਹੀਂ ਕਰਦਾ ਹੈ।

ਇਸ ਪਹੁੰਚ ਤੋਂ ਵੱਧ ਤੋਂ ਵੱਧ ਪ੍ਰਾਪਤ ਕਰਨ ਲਈ: ਪ੍ਰਤੀ ਸ਼੍ਰੇਣੀ ਘੱਟੋ-ਘੱਟ 500 ਬਾਈਟ ਦੇ ਸੰਦਰਭ ਪਾਠਾਂ ਦੀ ਵਰਤੋਂ ਕਰੋ, ਪ੍ਰਤੀ ਕਲਾਸ ਕਈ ਉਦਾਹਰਣਾਂ ਨੂੰ ਜੋੜ ਕੇ ਪ੍ਰਯੋਗ ਕਰੋ (2-3 ਪ੍ਰਤੀਨਿਧੀ ਦਸਤਾਵੇਜ਼ ਇਕੱਠੇ ਮਿਲ ਕੇ ਬਿਹਤਰ ਕੰਪਰੈਸ਼ਨ ਸ਼ਬਦਕੋਸ਼ ਪੈਦਾ ਕਰਦੇ ਹਨ), ਕੰਪਰੈਸ਼ਨ ਤੋਂ ਪਹਿਲਾਂ ਟੈਕਸਟ ਕੇਸਿੰਗ ਅਤੇ ਵ੍ਹਾਈਟਸਪੇਸ ਨੂੰ ਸਧਾਰਣ ਕਰੋ, ਅਤੇ Zstandard ਕੰਪਰੈਸ਼ਨ ਪੱਧਰਾਂ 3, 6, ਅਤੇ 10-ਕੁਰੈਕ ਦੀ ਮਿੱਠੀ ਸਪੀਡ ਲੱਭੋ। ਛੋਟੇ-ਪਾਠ ਵਰਗੀਕਰਣ ਲਈ, ਆਪਣੇ ਡੋਮੇਨ ਕਾਰਪਸ 'ਤੇ ਜ਼ਸਟੈਂਡਰਡ ਡਿਕਸ਼ਨਰੀ ਨੂੰ ਪ੍ਰੀ-ਟ੍ਰੇਨ ਕਰੋ — ਇਹ ਸਿੰਗਲ ਕਦਮ ਛੋਟੇ ਦਸਤਾਵੇਜ਼ਾਂ 'ਤੇ 8-12 ਪ੍ਰਤੀਸ਼ਤ ਅੰਕਾਂ ਤੱਕ ਸ਼ੁੱਧਤਾ ਨੂੰ ਸੁਧਾਰ ਸਕਦਾ ਹੈ।

ਅਕਸਰ ਪੁੱਛੇ ਜਾਣ ਵਾਲੇ ਸਵਾਲ

ਕੀ ਸੰਕੁਚਨ-ਆਧਾਰਿਤ ਵਰਗੀਕਰਨ ਭਾਵਨਾ ਵਿਸ਼ਲੇਸ਼ਣ ਲਈ ਕੰਮ ਕਰਦਾ ਹੈ?

ਇਹ ਹੋ ਸਕਦਾ ਹੈ, ਪਰ ਚੇਤਾਵਨੀਆਂ ਨਾਲ। ਭਾਵਨਾ ਵਿਸ਼ਲੇਸ਼ਣ ਲਈ ਢਾਂਚਾਗਤ ਤੌਰ 'ਤੇ ਸਮਾਨ ਟੈਕਸਟ ਦੇ ਅੰਦਰ ਸੂਖਮ ਧੁਨੀ ਅੰਤਰਾਂ ਦਾ ਪਤਾ ਲਗਾਉਣ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। NCD ਵਿਸ਼ਾ ਵਰਗੀਕਰਨ ਲਈ ਬਿਹਤਰ ਕੰਮ ਕਰਦਾ ਹੈ ਜਿੱਥੇ ਵੱਖ-ਵੱਖ ਸ਼੍ਰੇਣੀਆਂ ਦੇ ਦਸਤਾਵੇਜ਼ ਵੱਖ-ਵੱਖ ਸ਼ਬਦਾਵਲੀ ਵਰਤਦੇ ਹਨ। ਭਾਵਨਾ ਲਈ, ਸ਼ੁੱਧਤਾ ਆਮ ਤੌਰ 'ਤੇ ਲਗਭਗ 55-60% ਹੁੰਦੀ ਹੈ - ਬੇਤਰਤੀਬੇ ਨਾਲੋਂ ਬਿਹਤਰ, ਪਰ ਆਪਣੇ ਆਪ ਉਤਪਾਦਨ ਲਈ ਤਿਆਰ ਨਹੀਂ। ਹਲਕੇ ਭਾਰ ਵਾਲੇ ਲੌਜਿਸਟਿਕ ਰਿਗਰੈਸ਼ਨ ਮਾਡਲ ਦੇ ਨਾਲ NCD ਵਿਸ਼ੇਸ਼ਤਾਵਾਂ ਨੂੰ ਜੋੜਨ ਨਾਲ ਨਤੀਜਿਆਂ ਵਿੱਚ ਕਾਫ਼ੀ ਸੁਧਾਰ ਹੁੰਦਾ ਹੈ।

ਕੀ ਮੈਂ 3.14 ਤੋਂ ਪਹਿਲਾਂ Python ਸੰਸਕਰਣਾਂ ਵਿੱਚ compression.zstd ਮੋਡੀਊਲ ਦੀ ਵਰਤੋਂ ਕਰ ਸਕਦਾ ਹਾਂ?

ਨਹੀਂ। Python 3.14 ਵਿੱਚ compression.zstd ਮੋਡੀਊਲ ਨਵਾਂ ਹੈ। ਪੁਰਾਣੇ ਸੰਸਕਰਣਾਂ ਲਈ, PyPI ਤੋਂ python-zstandard ਪੈਕੇਜ ਇੰਸਟਾਲ ਕਰੋ, ਜੋ ਬਰਾਬਰ compress() ਅਤੇ decompress() ਫੰਕਸ਼ਨ ਪ੍ਰਦਾਨ ਕਰਦਾ ਹੈ। NCD ਤਰਕ ਇੱਕੋ ਜਿਹਾ ਰਹਿੰਦਾ ਹੈ — ਸਿਰਫ਼ ਆਯਾਤ ਬਿਆਨ ਬਦਲਦਾ ਹੈ। ਇੱਕ ਵਾਰ ਜਦੋਂ ਤੁਸੀਂ 3.14 ਤੱਕ ਅੱਪਗ੍ਰੇਡ ਕਰ ਲੈਂਦੇ ਹੋ, ਤਾਂ ਤੁਸੀਂ ਤੀਜੀ-ਧਿਰ ਦੀ ਨਿਰਭਰਤਾ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਛੱਡ ਸਕਦੇ ਹੋ।

ਕੋਸਾਈਨ ਸਮਾਨਤਾ ਵਾਲੇ TF-IDF ਦੀ ਤੁਲਨਾ ਵਿੱਚ Zstandard NCD ਕਿਵੇਂ ਪ੍ਰਦਰਸ਼ਨ ਕਰਦਾ ਹੈ?

ਸੰਤੁਲਿਤ ਡੇਟਾਸੈਟਾਂ ਦੇ ਨਾਲ ਬਹੁ-ਕਲਾਸ ਵਿਸ਼ੇ ਵਰਗੀਕਰਨ 'ਤੇ, TF-IDF ਪਲੱਸ ਕੋਸਾਈਨ ਸਮਾਨਤਾ ਆਮ ਤੌਰ 'ਤੇ Zstandard NCD ਦੇ 62-68% ਦੇ ਮੁਕਾਬਲੇ 75-82% ਸ਼ੁੱਧਤਾ ਪ੍ਰਾਪਤ ਕਰਦੀ ਹੈ। ਹਾਲਾਂਕਿ, TF-IDF ਨੂੰ ਇੱਕ ਫਿੱਟ ਵੈਕਟੋਰਾਈਜ਼ਰ, ਇੱਕ ਪਰਿਭਾਸ਼ਿਤ ਸ਼ਬਦਾਵਲੀ, ਅਤੇ ਭਾਸ਼ਾ-ਵਿਸ਼ੇਸ਼ ਸਟਾਪਵਰਡ ਸੂਚੀਆਂ ਦੀ ਲੋੜ ਹੁੰਦੀ ਹੈ। Zstandard NCD ਨੂੰ ਇਸ ਪ੍ਰੀਪ੍ਰੋਸੈਸਿੰਗ ਦੀ ਕੋਈ ਲੋੜ ਨਹੀਂ ਹੈ, ਬਕਸੇ ਤੋਂ ਬਾਹਰ ਸਾਰੀਆਂ ਭਾਸ਼ਾਵਾਂ ਵਿੱਚ ਕੰਮ ਕਰਦਾ ਹੈ, ਅਤੇ ਸ਼ਬਦਾਵਲੀ ਦੇ ਆਕਾਰ ਦੀ ਪਰਵਾਹ ਕੀਤੇ ਬਿਨਾਂ ਨਿਰੰਤਰ ਸਮੇਂ ਵਿੱਚ ਨਵੇਂ ਦਸਤਾਵੇਜ਼ਾਂ ਦਾ ਵਰਗੀਕਰਨ ਕਰਦਾ ਹੈ। ਤੇਜ਼ ਪ੍ਰੋਟੋਟਾਈਪਿੰਗ ਜਾਂ ਬਹੁ-ਭਾਸ਼ਾਈ ਵਾਤਾਵਰਣਾਂ ਲਈ, NCD ਅਕਸਰ ਇੱਕ ਕਾਰਜ ਪ੍ਰਣਾਲੀ ਲਈ ਤੇਜ਼ ਮਾਰਗ ਹੁੰਦਾ ਹੈ।

ਭਾਵੇਂ ਤੁਸੀਂ ਸਵੈਚਲਿਤ ਸਮੱਗਰੀ ਪਾਈਪਲਾਈਨਾਂ ਬਣਾ ਰਹੇ ਹੋ, ਗਾਹਕ ਸੁਨੇਹਿਆਂ ਨੂੰ ਰੂਟਿੰਗ ਕਰ ਰਹੇ ਹੋ, ਜਾਂ ਤੁਹਾਡੇ ਡਿਜੀਟਲ ਕਾਰੋਬਾਰ ਲਈ ਪ੍ਰੋਟੋਟਾਈਪ ਵਰਗੀਕਰਣ ਤਰਕ ਬਣਾ ਰਹੇ ਹੋ, Python 3.14 ਦਾ ਬਿਲਟ-ਇਨ Zstandard ਸਮਰਥਨ ਕੰਪਰੈਸ਼ਨ-ਅਧਾਰਿਤ NCD ਨੂੰ ਪਹਿਲਾਂ ਨਾਲੋਂ ਵਧੇਰੇ ਪਹੁੰਚਯੋਗ ਬਣਾਉਂਦਾ ਹੈ। ਜੇਕਰ ਤੁਸੀਂ ਆਪਣੀ ਵਪਾਰਕ ਸਮੱਗਰੀ, ਉਤਪਾਦਾਂ, ਕੋਰਸਾਂ, ਅਤੇ ਗਾਹਕਾਂ ਦੇ ਅੰਤਰਕਿਰਿਆਵਾਂ ਦਾ ਪ੍ਰਬੰਧਨ ਕਰਨ ਲਈ ਇੱਕ ਆਲ-ਇਨ-ਵਨ ਪਲੇਟਫਾਰਮ ਲੱਭ ਰਹੇ ਹੋ, ਤਾਂ ਅੱਜ ਹੀ Mewayz ਨਾਲ ਬਣਾਉਣਾ ਸ਼ੁਰੂ ਕਰੋ ਅਤੇ ਇਹਨਾਂ ਤਕਨੀਕਾਂ ਨੂੰ ਆਪਣੇ ਪੂਰੇ ਕੰਮ ਵਿੱਚ ਕੰਮ ਕਰਨ ਲਈ ਰੱਖੋ।