Batching ຢ່າງຕໍ່ເນື່ອງຈາກຫຼັກການທໍາອິດ (2025)

batching ຢ່າງຕໍ່ເນື່ອງແມ່ນເຕັກນິກການກໍານົດເວລາ inference dynamic ທີ່ເພີ່ມການສົ່ງຜ່ານຮາດແວສູງສຸດໂດຍການໃສ່ຄໍາຮ້ອງຂໍໃຫມ່ເຂົ້າໄປໃນຊຸດການປະມວນຜົນທີ່ຫ້າວຫັນໃນຂະນະທີ່ຊ່ອງຫວ່າງຂຶ້ນ, ກໍາຈັດວົງຈອນການຄິດໄລ່ທີ່ບໍ່ມີປະໂຫຍດລະຫວ່າງວຽກ. ການເຂົ້າໃຈມັນຈາກຫຼັກການທໍາອິດເປີດເຜີຍວ່າເປັນຫຍັງມັນຈຶ່ງກາຍເປັນສະຖາປັດຕະຍະກໍາພື້ນຖານສໍາລັບທຸກລະບົບການໃຫ້ບໍລິການ AI ທີ່ມີປະສິດທິພາບສູງທີ່ໃຊ້ໃນຂະຫນາດໃນປີ 2025.

ອັນ​ໃດ​ເປັນ​ການ​ຕໍ່​ເນື່ອງ​ກັນ​ແທ້ ແລະ​ເປັນ​ຫຍັງ​ການ​ຈັດ​ຊຸດ​ແບບ​ຄົງ​ທີ່​ບໍ່​ໄດ້?

ເພື່ອ​ໃຫ້​ຮູ້​ບຸນ​ຄຸນ​ຕໍ່​ການ​ຜະ​ລິດ​ຕະ​ຫຼອດ​ໄປ, ທ່ານ​ທໍາ​ອິດ​ຕ້ອງ​ເຂົ້າ​ໃຈ​ສິ່ງ​ທີ່​ມັນ​ທົດ​ແທນ. batching ແບບດັ້ງເດີມກຸ່ມຈໍານວນຄົງທີ່ຂອງຄໍາຮ້ອງຂໍຮ່ວມກັນ, ປະມວນຜົນໃຫ້ເຂົາເຈົ້າເປັນຫນ່ວຍດຽວ, ແລະພຽງແຕ່ຍອມຮັບການຮ້ອງຂໍໃຫມ່ຫຼັງຈາກ batch ທັງຫມົດສໍາເລັດ. ຂໍ້ບົກພ່ອງທີ່ສໍາຄັນແມ່ນວ່າຮູບແບບພາສາຂະຫນາດໃຫຍ່ສ້າງ tokens ທີ່ມີຄວາມຍາວປ່ຽນແປງໄດ້ - ຫນຶ່ງຄໍາຮ້ອງຂໍອາດຈະຢຸດເຊົາຫຼັງຈາກ 20 tokens ໃນຂະນະທີ່ອີກອັນຫນຶ່ງຢູ່ໃນຊຸດດຽວກັນແລ່ນສໍາລັບ 2,000. ທຸກໆ GPU ຢູ່ໃນກຸ່ມນັ່ງຢູ່ຊື່ໆລໍຖ້າໃຫ້ລຳດັບທີ່ດົນທີ່ສຸດເພື່ອໃຫ້ສຳເລັດກ່ອນທີ່ວຽກໃໝ່ຈະເລີ່ມໄດ້.

ການເຜີຍແຜ່ແບບຕໍ່ເນື່ອງ, ບຸກເບີກໃນເອກະສານສຳຄັນປີ 2022 "Orca: A Distributed Serving Systems for Transformer-Based Generative Models," ທຳລາຍຂໍ້ຈຳກັດນີ້ທັງໝົດ. ມັນດໍາເນີນການຢູ່ໃນ ລະດັບການຊໍ້າຄືນ ແທນທີ່ຈະເປັນລະດັບການຮ້ອງຂໍ. ຫຼັງຈາກທຸກໆຄັ້ງຕໍ່ຫນ້າຜ່ານຕົວແບບ, ຜູ້ຈັດຕາຕະລາງຈະກວດເບິ່ງວ່າລໍາດັບໃດກໍ່ໄດ້ມາຮອດ token ສຸດທ້າຍຂອງລໍາດັບ. ຖ້າມັນມີ, ສະລັອດຕິງນັ້ນຈະຖືກຍຶດຄືນໃນທັນທີແລະຖືກມອບຫມາຍໃຫ້ກັບຄໍາຮ້ອງຂໍທີ່ມີແຖວ - ບໍ່ຕ້ອງລໍຖ້າ, ບໍ່ມີສິ່ງເສດເຫຼືອ. ອົງປະກອບ batch ປ່ຽນແປງຢ່າງຄ່ອງແຄ້ວກັບທຸກຂັ້ນຕອນການຖອດລະຫັດ, ຮັກສາການນຳໃຊ້ຮາດແວໃຫ້ໃກ້ຄຽງກັບລະດັບສູງສຸດທາງທິດສະດີຕະຫຼອດເວລາ.

KV Cache ມີປະຕິກິລິຍາແນວໃດກັບ batching ຢ່າງຕໍ່ເນື່ອງໃນລະດັບລະບົບ?

ຖານຄວາມຈຳຂອງຄີ-ຄ່າແມ່ນໂຄງສ້າງໜ່ວຍຄວາມຈຳທີ່ເຮັດໃຫ້ການອະນຸມານຂອງໝໍ້ແປງສາມາດຖອດຖອນໄດ້. ສໍາລັບທຸກ token ທີ່ປະມວນຜົນແລ້ວ, ໂມເດວຈະຄິດໄລ່ປຸ່ມເອົາໃຈໃສ່ ແລະຄ່າທີ່ຕ້ອງເກັບຮັກສາໄວ້ເພື່ອໃຫ້ໂທເຄັນຕໍ່ໄປບໍ່ໃຫ້ມີການຄິດໄລ່ຊ້ຳຊ້ອນ. ໃນລະບົບ batching ແບບຄົງທີ່, ການຈັດສັນ KV cache ແມ່ນກົງໄປກົງມາ: ສະຫງວນຄວາມຊົງຈໍາຕາມອັດຕາສ່ວນກັບຄວາມຍາວລໍາດັບສູງສຸດສໍາລັບທຸກຄໍາຮ້ອງຂໍໃນ batch.

ການບີບອັດຢ່າງຕໍ່ເນື່ອງເຮັດໃຫ້ສັບສົນອັນນີ້ຢ່າງສະຫງ່າງາມ. ເນື່ອງຈາກວ່າການຮ້ອງຂໍເຂົ້າແລະອອກຈາກຊຸດໃນເວລາທີ່ບໍ່ສາມາດຄາດເດົາໄດ້, ລະບົບບໍ່ສາມາດຈັດສັນຫນ່ວຍຄວາມຈໍາທີ່ຕິດກັນລ່ວງຫນ້າ. ນີ້ແມ່ນເຫດຜົນທີ່ຊັດເຈນວ່າເປັນຫຍັງ PagedAttention ຂອງ vLLM - ນໍາສະເຫນີໃນປີ 2023 - ກາຍເປັນສິ່ງທີ່ແຍກອອກຈາກ batching ຢ່າງຕໍ່ເນື່ອງໃນການປະຕິບັດການຜະລິດ. PagedAttention ຢືມຕົວແບບຈໍາລອງຫນ້າຄວາມຊົງຈໍາ virtual ຈາກລະບົບປະຕິບັດການ, ແບ່ງ KV cache ເຂົ້າໄປໃນບລັອກທີ່ບໍ່ຕິດກັນທີ່ມີຂະຫນາດເທົ່າທຽມກັນ. ຫນ້າ cache ຂອງລໍາດັບສາມາດກະແຈກກະຈາຍໄປທົ່ວຫນ່ວຍຄວາມຈໍາ GPU ຄືກັນກັບຫນ້າຫນ່ວຍຄວາມຈໍາ virtual ຖືກກະແຈກກະຈາຍໄປທົ່ວ RAM ທາງດ້ານຮ່າງກາຍ. ຜົນໄດ້ຮັບແມ່ນສິ່ງເສດເຫຼືອຂອງຫນ່ວຍຄວາມຈໍາໃກ້ສູນຈາກການ fragmentation, ເຊິ່ງແປໂດຍກົງກັບຂະຫນາດ batch ທີ່ສູງຂຶ້ນແລະຜ່ານທີ່ສູງຂຶ້ນໂດຍບໍ່ມີການລົງທຶນຮາດແວເພີ່ມເຕີມ.

ກົນ​ໄກ​ການ​ຈັດ​ຕາ​ຕະ​ລາງ​ຫຼັກ​ທີ່​ເຮັດ​ໃຫ້​ການ​ເຮັດ​ວຽກ​ເປັນ​ຊຸດ​ຕໍ່​ເນື່ອງ​ແມ່ນ​ຫຍັງ?

ສາມ​ການ​ຕັດ​ສິນ​ໃຈ​ການ​ຈັດ​ຕາ​ຕະ​ລາງ​ທີ່​ຂຶ້ນ​ກັບ​ກັນ ຄວບ​ຄຸມ​ທຸກ​ລະ​ບົບ batching ຢ່າງ​ຕໍ່​ເນື່ອງ:

• ນະໂຍບາຍການຈອງລ່ວງໜ້າ: ເມື່ອຄວາມດັນຂອງໜ່ວຍຄວາມຈຳສູງ ແລະຄຳຮ້ອງຂໍຄວາມສຳຄັນອັນໃໝ່ມາຮອດ, ຜູ້ກຳນົດເວລາຕ້ອງຕັດສິນໃຈວ່າຈະໃຫ້ລຳດັບຄວາມສຳຄັນຕໍ່າທີ່ເຮັດວຽກໄວ້ລ່ວງໜ້າ, ປ່ຽນ KV cache ຂອງຕົນເປັນ CPU RAM, ຫຼື ຄິດໄລ່ມັນຄືນໃໝ່ໃນພາຍຫຼັງ. Swap-based preemption ຮັກສາການຄິດໄລ່ແຕ່ໃຊ້ແບນວິດ PCIe; ການຄິດໄລ່ຄືນໃໝ່ເຮັດໃຫ້ເສຍຮອບ GPU ແຕ່ຮັກສາຄວາມຈຳໃຫ້ສະອາດ.
• ການຄວບຄຸມການຮັບເຂົ້າຮຽນ: ຜູ້ກຳນົດເວລາຕ້ອງຄາດຄະເນວ່າ KV cache ຂອງຄຳຮ້ອງຂໍໃໝ່ຈະພໍດີກັບໜ່ວຍຄວາມຈຳທີ່ມີຢູ່ຕະຫຼອດອາຍຸການຜະລິດເຕັມຫຼືບໍ່. ການຄາດຄະນິດບໍ່ເຖິງສາເຫດທີ່ເກີດຈາກຄວາມຈຳທີ່ເກີດຂັດຂ້ອງລະຫວ່າງກາງລຳດັບ; overestimating starves ແຖວໂດຍບໍ່ຈໍາເປັນ. ລະບົບທີ່ທັນສະໄຫມໃຊ້ການແຈກຢາຍຄວາມຍາວ profiled ແລະ buffers ການຈອງເພື່ອດຸ່ນດ່ຽງຄວາມສ່ຽງເຫຼົ່ານີ້.
• Chunked prefill: ໄລຍະ prefill — ການປະມວນຜົນ input prompt ຂອງຜູ້ໃຊ້ — compute-bound and can monopolize GPU , ຊັກຊ້າການຖອດລະຫັດຂັ້ນຕອນສໍາລັບລໍາດັບທີ່ແລ່ນແລ້ວ. Chunked prefill ແຍກການກະຕຸ້ນເຕືອນຍາວອອກເປັນ chunks ຂະຫນາດຄົງທີ່ interleaved ກັບ decode iterations, ຫຼຸດຜ່ອນເວລາກັບ token latency ທໍາອິດສໍາລັບຜູ້ໃຊ້ພ້ອມໆກັນໃນຄ່າໃຊ້ຈ່າຍຂອງ prefill ວັດຖຸດິບຕ່ໍາເລັກນ້ອຍ.
• ການຈັດແຖວບູລິມະສິດ: ການຮ້ອງຂໍພາກສ່ວນການນຳໃຊ້ວິສາຫະກິດໂດຍລະດັບ SLA. Latency-sensitive API ໂທຫາວຽກ batch ທີ່ພະຍາຍາມດີທີ່ສຸດ. ຖ້າບໍ່ມີຊັ້ນນີ້, ວຽກສະຫຼຸບເອກະສານຍາວອັນດຽວສາມາດຫຼຸດປະສົບການຂອງຜູ້ໃຊ້ແບບໂຕ້ຕອບໄດ້ຫຼາຍຮ້ອຍເຊດຊັນພ້ອມກັນ.

"Batching ຢ່າງຕໍ່ເນື່ອງບໍ່ພຽງແຕ່ປັບປຸງການສົ່ງຕໍ່ເທົ່ານັ້ນ — ມັນປັບໂຄງສ້າງຕົວແບບເສດຖະກິດຂອງ AI inference. ໂດຍການຮັກສາ GPUs ຖືກຄອບຄອງຢູ່ໃນ granularity ແທນທີ່ຈະກ່ວາການຮ້ອງຂໍ granularity, operators ບັນລຸ 5–10× ປະສິດທິພາບສູງກວ່າ 5–10 × ຮາດແວດຽວກັນ, ຊຶ່ງເປັນ lever ທີ່ໃຫຍ່ທີ່ສຸດດຽວທີ່ມີເພື່ອຫຼຸດຜ່ອນຄ່າໃຊ້ຈ່າຍຕໍ່ 5 in-20 serving."

ການ​ນຳ​ໃຊ້​ຕົວ​ຈິງ​ໃນ​ໂລກ​ວັດ​ແທກ​ຜົນ​ໄດ້​ຮັບ​ແນວ​ໃດ?

Benchmark ຜົນ​ໄດ້​ຮັບ​ຈາກ Anyscale, ຮ່ວມ​ກັນ​ກັບ​ການ​ແຜ່​ພັນ​ທີ່​ເປັນ​ເອ​ກະ​ລາດ​ໃນ​ຫຼາຍ​ຄອບ​ຄົວ​ຕົວ​ແບບ​ໃນ​ປີ 2024, ສະ​ແດງ​ໃຫ້​ເຫັນ batching ຢ່າງ​ຕໍ່​ເນື່ອງ​ໃນ​ລະ​ຫວ່າງ 23× ແລະ 36× throughput ທີ່​ສູງ​ຂຶ້ນ​ເມື່ອ​ທຽບ​ໃສ່​ກັບ batching ແບບ​ຄົງ​ທີ່ naïve ຢູ່​ໃຕ້​ຮູບ​ແບບ​ການ​ຈະ​ລາ​ຈອນ​ທີ່​ເປັນ​ຈິງ. ຜົນປະໂຫຍດແມ່ນຈະແຈ້ງທີ່ສຸດໃນເວລາທີ່ຄວາມແຕກຕ່າງກັນຄວາມຍາວຂອງຄໍາຮ້ອງຂໍແມ່ນສູງ — ແນ່ນອນວ່າເງື່ອນໄຂທີ່ມີລັກສະນະການສົນທະນາການຜະລິດ AI workloads ບ່ອນທີ່ຄໍາຖາມຂອງຜູ້ໃຊ້ຕັ້ງແຕ່ສາມຄໍາເຕືອນເຖິງການຍື່ນສະເຫນີເອກະສານຫຼາຍຫນ້າ.

Latency ບອກເລື່ອງທີ່ລະອຽດອ່ອນກວ່າ. ໂທເຄນເວລາຕໍ່ເວລາທໍາອິດປັບປຸງຢ່າງຫຼວງຫຼາຍເພາະວ່າລະບົບບໍ່ໄດ້ລໍຖ້າຊຸດຄົງທີ່ເຕັມທີ່ຈະປະກອບກ່ອນທີ່ຈະເລີ່ມຕົ້ນການຕື່ມຂໍ້ມູນກ່ອນ. latency ລະຫວ່າງໂທເຄັນຍັງຄົງຄົງທີ່ພາຍໃຕ້ການໂຫຼດປານກາງແຕ່ຫຼຸດລົງຢ່າງສະຫງ່າງາມພາຍໃຕ້ການອີ່ມຕົວແທນທີ່ຈະຍຸບລົງ, ເພາະວ່າຕົວກໍານົດເວລາຍັງສືບຕໍ່ສ້າງຄວາມກ້າວຫນ້າໃນທຸກລໍາດັບການເຄື່ອນໄຫວເຖິງແມ່ນວ່າໃນເວລາທີ່ຄິວເຕີບໂຕເລິກ. ສໍາລັບທຸລະກິດທີ່ສ້າງຄຸນສົມບັດ AI ໃນເວລາຈິງ, ເສັ້ນໂຄ້ງການເຊື່ອມໂຊມທີ່ງົດງາມນີ້ມັກຈະມີຄວາມສໍາຄັນທາງດ້ານການຄ້າຫຼາຍກວ່າຕົວເລກທີ່ຜ່ານສູງສຸດ.

ວິ​ສາ​ຫະ​ກິດ​ສາ​ມາດ​ນໍາ​ໃຊ້​ຫຼັກ​ການ batching ຢ່າງ​ຕໍ່​ເນື່ອງ​ນອກ​ເຫນືອ​ໄປ​ຈາກ AI Inference?

ຄວາມເຂົ້າໃຈທາງສະຖາປັດຕະຍະກຳທີ່ຢູ່ເບື້ອງຫຼັງການດຳເນີນການຕໍ່ເນື່ອງ - ຮັບເອົາຊັບພະຍາກອນຄືນມາໃນປະລິມານທີ່ເໝາະສົມທີ່ສຸດ ແລະມອບໝາຍໃໝ່ໃນທັນທີ ແທນທີ່ຈະລໍຖ້າໃຫ້ໜ່ວຍວຽກທີ່ລະອຽດອ່ອນສຳເລັດ - ແມ່ນຫຼັກການທົ່ວໄປສຳລັບລະບົບໃດນຶ່ງໃນການຈັດການວຽກທີ່ຕ່າງກັນ. ລະບົບປະຕິບັດການຂອງທຸລະກິດປະເຊີນກັບສິ່ງທ້າທາຍດຽວກັນ: ວຽກງານຂອງໄລຍະເວລາທີ່ແຕກຕ່າງກັນຢ່າງໃຫຍ່ຫຼວງທີ່ແຂ່ງຂັນສໍາລັບຄວາມສາມາດໃນການປຸງແຕ່ງຮ່ວມກັນໃນທົ່ວຂະບວນການເຮັດວຽກ CRM, ການຕະຫຼາດອັດຕະໂນມັດ, ທໍ່ການວິເຄາະ, ແລະການດໍາເນີນງານ e-commerce.

Mewayz ນຳໃຊ້ປັດຊະຍານີ້ໃນທົ່ວລະບົບທຸລະກິດ 207-ໂມດູນ OS ຂອງຕົນ, ກຳນົດທິດທາງວຽກງານໃນການເຮັດວຽກແບບໄດນາມິກໃນທົ່ວແພລດຟອມປະສົມປະສານທີ່ໃຊ້ໂດຍທຸລະກິດ 138,000 ທົ່ວໂລກ. ແທນທີ່ຈະບັງຄັບໃຫ້ທີມງານລໍຖ້າຮອບການລາຍງານ batch, ຄິວການອະນຸມັດຕາມລໍາດັບ, ຫຼືການຍື່ນມືຂອງເຄື່ອງມື siled, Mewayz ປະມວນຜົນກິດຈະກໍາທາງທຸລະກິດຢ່າງຕໍ່ເນື່ອງ — ການໃຫ້ອາຫານທີ່ສໍາເລັດແລ້ວເຂົ້າໄປໃນໂມດູນລຸ່ມນ້ໍາໃນທັນທີທີ່ຕົວກໍານົດເວລາ batching ຢ່າງຕໍ່ເນື່ອງ feeds ຊ່ອງ GPU ປົດປ່ອຍກັບຄືນໄປບ່ອນຄິວຮ້ອງຂໍ. ຜົນໄດ້ຮັບແມ່ນການປັບປຸງໂດຍຜ່ານການວັດແທກໃນການດໍາເນີນທຸລະກິດຕົວຈິງ, ບໍ່ພຽງແຕ່ດັດຊະນີ.

ຄຳຖາມທີ່ຖາມເລື້ອຍໆ

ເປັນ batching ຢ່າງຕໍ່ເນື່ອງຄືກັນກັບ batching ແບບໄດນາມິກໃນ TensorFlow Serving?

ບໍ່. batching ແບບເຄື່ອນໄຫວຂອງ TensorFlow Serving ປະກອບການຮ້ອງຂໍເຂົ້າໄປໃນ batches ຂອງຂະຫນາດຕົວແປໂດຍອີງໃສ່ປ່ອງຢ້ຽມທີ່ໃຊ້ເວລາແລະຄວາມເລິກຂອງແຖວ, ແຕ່ມັນຍັງປະມວນຜົນແຕ່ລະ batch ເປັນປະລໍາມະນູຕັ້ງແຕ່ເລີ່ມຕົ້ນຈົນເຖິງສໍາເລັດຮູບ. batching ຢ່າງຕໍ່ເນື່ອງດໍາເນີນການຢູ່ໃນຂັ້ນຕອນການສ້າງ token ສ່ວນບຸກຄົນ, ອະນຸຍາດໃຫ້ອົງປະກອບ batch ມີການປ່ຽນແປງທຸກ passward. ຄວາມແຕກຕ່າງຂອງ granularity ແມ່ນວ່າເປັນຫຍັງ batching ຢ່າງຕໍ່ເນື່ອງບັນລຸຜົນທີ່ສູງຂຶ້ນຢ່າງຫຼວງຫຼາຍສໍາລັບວຽກງານການຜະລິດ autoregressive ໂດຍສະເພາະ.

ການ​ຜະ​ລິດ​ແບບ​ຕໍ່​ເນື່ອງ​ຮຽກ​ຮ້ອງ​ໃຫ້​ມີ​ການ​ປ່ຽນ​ແປງ​ສະ​ຖາ​ປັດ​ຕະ​ຍະ​ກໍາ​ຂອງ​ຕົວ​ແບບ​ບໍ?

ສະຖາປັດຕະຍະກຳຂອງໝໍ້ແປງມາດຕະຖານຕ້ອງການບໍ່ມີການດັດແກ້. batching ຢ່າງຕໍ່ເນື່ອງແມ່ນປະຕິບັດທັງຫມົດຢູ່ໃນຊັ້ນໃຫ້ບໍລິການໂດຍຜ່ານການປ່ຽນແປງຕາຕະລາງ inference, ຜູ້ຈັດການຫນ່ວຍຄວາມຈໍາ, ແລະ kernel ຄວາມສົນໃຈ. ຢ່າງໃດກໍ່ຕາມ, ການເພີ່ມປະສິດທິພາບບາງຢ່າງ - ໂດຍສະເພາະແມ່ນ PagedAttention - ຕ້ອງການ CUDA kernels ແບບກຳນົດເອງທີ່ປ່ຽນແທນການປະຕິບັດຕາມມາດຕະຖານ, ເຊິ່ງແມ່ນເຫດຜົນທີ່ວ່າກອບການຜະລິດແບບຕໍ່ເນື່ອງລະດັບການຜະລິດເຊັ່ນ vLLM ແລະ TensorRT-LLM ບໍ່ແມ່ນການທົດແທນແບບເລື່ອນລົງສໍາລັບເຊີບເວີ inference ທົ່ວໄປ.

ຂໍ້​ຈຳ​ກັດ​ຂອງ​ຮາດ​ແວ​ອັນ​ໃດ​ຈຳ​ກັດ​ປະ​ສິດ​ທິ​ພາບ​ການ​ຜະ​ລິດ​ແບບ​ຕໍ່​ເນື່ອງ?

GPU HBM bandwidth ແລະຄວາມຈຸ VRAM ທັງໝົດແມ່ນຂໍ້ຈຳກັດຕົ້ນຕໍ. ແຄດ KV ທີ່ໃຫຍ່ກວ່າຕ້ອງການຄວາມຊົງຈໍາຫຼາຍ, ຈໍາກັດການສອດຄ່ອງສູງສຸດ. ການເຊື່ອມຕໍ່ລະຫວ່າງກັນແບນວິດສູງ (NVLink, Infiniband) ກາຍເປັນສິ່ງສຳຄັນສຳລັບການນຳໃຊ້ຫຼາຍ GPU ບ່ອນທີ່ KV cache ຕ້ອງໄດ້ແຈກຢາຍໃນທົ່ວອຸປະກອນ. ໃນສະພາບແວດລ້ອມທີ່ມີຂໍ້ຈໍາກັດຂອງຫນ່ວຍຄວາມຈໍາ, ປະລິມານທີ່ຮຸກຮານຂອງຄ່າແຄດ KV (ຈາກ FP16 ຫາ INT8 ຫຼື INT4) ຟື້ນຟູຄວາມອາດສາມາດໃນຄ່າໃຊ້ຈ່າຍຂອງການຫຼຸດລົງຄວາມຖືກຕ້ອງເລັກນ້ອຍທີ່ຍອມຮັບໄດ້ສໍາລັບຄໍາຮ້ອງສະຫມັກການຄ້າສ່ວນໃຫຍ່.

ບໍ່ວ່າທ່ານຈະສ້າງຄຸນສົມບັດທີ່ຂັບເຄື່ອນດ້ວຍ AI ຫຼືການວາງແຜນການດຳເນີນທຸລະກິດທີ່ຊັບຊ້ອນໃນທົ່ວອົງກອນຂອງທ່ານ, ຫຼັກການພື້ນຖານແມ່ນຄືກັນຄື: ລົບລ້າງເວລາຫວ່າງ, ດຶງຄວາມອາດສາມາດຄືນໃໝ່ຢ່າງຕໍ່ເນື່ອງ, ແລະປະມວນຜົນການເຮັດວຽກຫຼາຍຂຶ້ນກັບຊັບພະຍາກອນທີ່ເຈົ້າມີຢູ່ແລ້ວ. Mewayz ເອົາຫຼັກການນັ້ນໄປສູ່ການປະຕິບັດໃນທົ່ວ 207 ໂມດູນປະສົມປະສານ - ຈາກ CRM ແລະ e-commerce ໄປຫາການວິເຄາະແລະການຮ່ວມມືຂອງທີມງານ - ເລີ່ມຕົ້ນທີ່ $ 19 ຕໍ່ເດືອນ.

ພ້ອມທີ່ຈະດໍາເນີນທຸລະກິດຂອງທ່ານຢ່າງເຕັມຮູບແບບບໍ? ເລີ່ມການທົດລອງໃຊ້ຟຣີຂອງທ່ານຢູ່ app.mewayz.com ແລະເບິ່ງວ່າທຸລະກິດ 138,000 ດຳເນີນທຸລະກິດທີ່ສະຫຼາດຂຶ້ນກັບ Mewayz.