پهرين اصولن کان مسلسل بيچنگ (2025)

مسلسل بيچنگ هڪ متحرڪ انفرنس شيڊولنگ ٽيڪنڪ آهي جيڪا هارڊويئر ذريعي وڌ کان وڌ ڪري ٿي نئين درخواستن کي هڪ فعال پروسيسنگ بيچ ۾ داخل ڪندي ان وقت جڏهن هڪ سلاٽ آزاد ٿئي ٿو، نوڪرين جي وچ ۾ بيڪار ڪمپيوٽ سائيڪل کي ختم ڪندي. ان کي پهرين اصولن کان سمجھڻ سان اهو ظاهر ٿئي ٿو ته اهو 2025 ۾ پيماني تي مقرر ڪيل هر اعليٰ ڪارڪردگي AI سرونگ سسٽم لاءِ بنيادي فن تعمير ڇو ٿي چڪو آهي.

مسلسل بيچنگ اصل ۾ ڇا آهي ۽ جامد بيچنگ ڇو ناڪام ٿي؟

مسلسل بيچنگ جي ساراهه ڪرڻ لاءِ، توهان کي پهريان سمجهڻ گهرجي ته ان کي ڇا بدلايو ويو آهي. روايتي جامد بيچنگ گروپن جي ھڪڙي مقرر ٿيل تعداد ۾ درخواستن کي گڏ ڪري ٿو، انھن کي ھڪڙي يونٽ جي طور تي پروسيس ڪري ٿو، ۽ صرف مڪمل بيچ ختم ٿيڻ کان پوء نئين درخواستن کي قبول ڪري ٿو. نازڪ نقص اهو آهي ته وڏي ٻولي جا ماڊل متغير ڊگھي جا ٽوڪن ٺاهيندا آهن - هڪ درخواست 20 ٽوڪن کان پوءِ ختم ٿي سگهي ٿي جڏهن ته ٻي ساڳئي بيچ ۾ 2,000 تائين هلندي آهي. ھر GPU ڪلستر ۾ بيھي بيھي رھيو آھي انتظار ۾ سڀ کان ڊگھي تسلسل جي مڪمل ٿيڻ کان اڳ جو ڪو نئون ڪم شروع ٿي سگھي.

مسلسل بيچنگ، 2022 جي تاريخي پيپر ۾ پيش ڪيل "Orca: A Distributed Serving System for Transformer-based Generative Models"، هن رڪاوٽ کي مڪمل طور تي ٽوڙي ٿو. اهو ڪم ڪري ٿو تڪرار سطح بجاءِ درخواست جي سطح. ماڊل ذريعي هر هڪ اڳتي وڌڻ کان پوء، شيڊولر چيڪ ڪري ٿو ته ڇا ڪو سلسلو ان جي آخري-آف-سيڪينس ٽوڪن تائين پهچي ويو آهي. جيڪڏهن اهو آهي، اهو سلاٽ فوري طور تي ٻيهر اعلان ڪيو ويو آهي ۽ هڪ قطار واري درخواست تي تفويض ڪيو ويو آهي - نه انتظار، نه فضول. بيچ جي جوڙجڪ هر وقت ڊيڪوڊ قدم سان fluidly شفٽ ٿيندي آهي، هارڊويئر جي استعمال کي هر وقت نظرياتي وڌ کان وڌ ويجھو رکندي.

ڪي وي ڪيش سسٽم جي سطح تي مسلسل بيچنگ سان ڪيئن لاڳاپو رکي ٿو؟

ڪي-ويل ڪيش ميموري ڍانچي آهي جيڪا ٽرانسفارمر انفرنس کي ٽريڪ ڪرڻ جي قابل بڻائي ٿي. پروسيس ٿيل هر ٽوڪن لاءِ، ماڊل توجه جي چاٻين ۽ قدرن کي گڏ ڪري ٿو جيڪي برقرار رکڻ گهرجن، تنهن ڪري ايندڙ ٽوڪن بيڪار حسابن کي نه ورجائيندا آهن. جامد بيچنگ سسٽم ۾، KV ڪيش مختص ڪرڻ سڌو آهي: بيچ ۾ هر درخواست لاءِ وڌ ۾ وڌ ترتيب جي ڊيگهه جي تناسب سان ميموري کي محفوظ ڪريو.

مسلسل بيچنگ هن کي خوبصورت طريقي سان پيچيده ڪري ٿي. ڇو ته درخواستون بيچ ۾ داخل ٿين ٿيون ۽ نڪرنديون آھن غير متوقع وقتن تي، سسٽم اڳ ۾ مقرر ٿيل متضاد ميموري بلاڪ کي مختص نٿو ڪري سگھي. اهو ئي سبب آهي ته vLLM جو PagedAttention - 2023 ۾ متعارف ڪرايو ويو - پيداوار جي مقرري ۾ مسلسل بيچنگ کان الڳ ٿي ويو. PagedAttention ورچوئل ميموري پيجنگ ماڊل کي آپريٽنگ سسٽم کان قرض وٺي ٿو، KV ڪيش کي برابر سائيز جي غير ملندڙ بلاڪن ۾ ورهائي ٿو. ھڪڙي ترتيب جي ڪيش صفحن کي GPU ميموري ۾ پکڙيل ٿي سگھي ٿو جيئن ورچوئل ميموري صفحا فزيڪل رام ۾ پکڙيل آھن. نتيجو ٽڪنڊي مان ميموري جي ويجھو صفر آهي، جيڪو سڌو سنئون ترجمو ڪري ٿو اعليٰ بيچ جي سائيز ۽ اعليٰ ٿروپٽ کان سواءِ اضافي هارڊويئر سيڙپڪاري جي.

اصل شيڊولنگ ميڪانيزم ڇا آهن جيڪي مسلسل بيچنگ جو ڪم ڪن ٿا؟

ٽي باضابطه شيڊيولنگ فيصلا هر مسلسل بيچنگ سسٽم کي سنڀاليندا آهن:

• پريمپشن پاليسي: جڏهن ميموري جو دٻاءُ تمام گهڻو هوندو آهي ۽ هڪ نئين اعليٰ ترجيحي درخواست اچي ٿي، ته شيڊيولر کي اهو فيصلو ڪرڻو پوندو ته ڇا هلندڙ گهٽ-ترجيح واري تسلسل کي اڳڀرائي ڪرڻ گهرجي، ان جي KV ڪيش کي سي پي يو ريم ۾ تبديل ڪري، يا ان کي بعد ۾ شروع کان ٻيهر حساب ڏي. ادل تي ٻڌل پريمپشن حساب کي محفوظ ڪري ٿو پر PCIe بينڊوڊٿ استعمال ڪري ٿو. recomputation GPU سائيڪلن کي ضايع ڪري ٿو پر ياداشت کي صاف رکي ٿو.
• داخلا ڪنٽرول: شيڊيولر کي اڳڪٿي ڪرڻ گهرجي ته ڇا هڪ نئين درخواست جي KV ڪيش دستياب ياداشت ۾ ان جي پوري نسل جي زندگيءَ ۾ فٽ ٿيندي. گھٽ ۾ گھٽ ميموري جي حادثن جي وچ ۾ ترتيب جي سببن کي گھٽائڻ؛ حد کان وڌيڪ اندازو لڳائڻ قطار کي غير ضروري طور تي تاري ٿو. جديد سسٽم انهن خطرن کي متوازن ڪرڻ لاءِ پروفائل ٿيل ڊگھائي تقسيم ۽ رزرويشن بفر استعمال ڪن ٿا.
• Chunked prefill: اڳڀرائي وارو مرحلو - صارف جي ان پٽ پرامپٽ تي عمل ڪرڻ - ڪمپيوٽ- پابند آهي ۽ GPU تي اجارداري ڪري سگهي ٿو، اڳ ۾ ئي هلندڙ تسلسل لاءِ ڊيڪوڊ مرحلن کي دير ڪري ٿو. chunked prefill ڊگھي پرمپٽس کي مقرر ٿيل سائز جي حصن ۾ ورهائي ٿو جيڪو ڊيڪوڊ آئٽريشن سان وچڙ ۾ اچي ٿو، گھٽ ۾ گھٽ گھٽ اڳڀرائي واري ٿروپٽ جي قيمت تي سمورو استعمال ڪندڙن لاءِ وقت کان پهرين ٽوڪن جي دير کي گھٽائي ٿو.
• ترجيح واري قطار: انٽرپرائز ڊيپلائيمينٽ سيگمينٽ درخواستون SLA ٽائر طرفان. Latency-sensitive API ڪال ڪري ٿو پريمپٽ بهترين ڪوشش بيچ نوڪريون. ھن پرت کان سواءِ، ھڪڙي ڊگھي ڊگھي دستاويز جي اختصار جو ٽاسڪ سوين سمورو سيشنن لاءِ انٽرايڪٽو استعمال ڪندڙ تجربو کي خراب ڪري سگھي ٿو.

"مسلسل بيچنگ صرف ان ذريعي نه ٿو بهتري - اهو AI انفرنس جي اقتصادي ماڊل کي بحال ڪري ٿو. GPUs کي ريٽريشن گرينولرٽي تي قابض رکڻ بجاءِ گرينولرٽي جي درخواست ڪرڻ سان، آپريٽرز هڪجهڙائي واري هارڊويئر مان 5-10× وڌيڪ اثرائتي استعمال حاصل ڪن ٿا، جيڪو في 2-5 کي گھٽائڻ لاءِ واحد سڀ کان وڏو ليور دستياب آهي.

ريئل-ورلڊ ڊيپلائيمينٽس ڪارڪردگي حاصلات کي ڪيئن ماپيندا آهن؟

بينچ مارڪ جا نتيجا Anyscale مان، 2024 ۾ ڪيترن ئي ماڊل خاندانن ۾ آزاد پيداوار سان گڏ، مسلسل بيچنگ ڊيليوري ڏيکاري ٿو 23× ۽ 36× جي وچ ۾ اعليٰ ٿرو پُٽ جي مقابلي ۾ حقيقي ٽرئفڪ جي نمونن تحت غير مستحڪم بيچنگ جي مقابلي ۾. حاصلات سڀ کان وڌيڪ واضح ٿين ٿا جڏهن درخواست جي ڊيگهه ويرينس تمام گهڻي آهي - بلڪل اهي حالتون جيڪي پيداوار جي ڳالهه ٻولهه واري AI ڪم لوڊ جي خاصيت ڪن ٿيون جتي صارف سوالن جي حد تائين ٽن-لفظن جي اشارن کان ملٽي-پيج دستاويز جمع ڪرڻ تائين.

Letency هڪ وڌيڪ نرالي ڪهاڻي ٻڌائي ٿي. وقت کان پھريون ٽوڪن ڊرامائي طور تي بھتر ٿئي ٿو ڇاڪاڻ ته سسٽم ھاڻي مڪمل جامد بيچ جي گڏ ٿيڻ جو انتظار نه ڪندو آھي اڳڀرائي شروع ڪرڻ کان اڳ. انٽر-ٽوڪن ليٽيسي وچولي لوڊ جي تحت مستحڪم رهي ٿي پر زوال پذير ٿيڻ جي بجاءِ سنترپت هيٺ، ڇاڪاڻ ته شيڊيولر سڀني فعال تسلسلن تي اڳتي وڌڻ جاري رکي ٿو جيتوڻيڪ قطار گهڻي ٿي وڃي. ڪاروبار لاءِ حقيقي وقت ۾ AI خاصيتون ٺاهي رهيا آهن، هي شاندار تباهي وارو وکر اڪثر تجارتي طور تي چوٽي ذريعي نمبرن جي ڀيٽ ۾ وڌيڪ اهم آهي.

ڪاروبار ڪيئن لاڳو ڪري سگھن ٿا مسلسل بيچنگ اصولن کي AI انفرنس کان اڳتي؟

مسلسل بيچنگ جي پويان آرڪيٽيڪچرل بصيرت - وسيلن کي ٻيهر دعويٰ ڪريو بهترين ممڪن گرينولرٽي تي ۽ انهن کي فوري طور تي ٻيهر تفويض ڪرڻ بجاءِ ڪم جي ختم ٿيڻ لاءِ هڪ ٿلهي گرين يونٽ جو انتظار ڪرڻ - هڪ عام اصول آهي ڪنهن به سسٽم لاءِ هيٽروجنيئس ڪم لوڊ کي منظم ڪرڻ لاءِ. ڪاروباري آپريٽنگ سسٽم هڪ ئي چئلينج کي منهن ڏئي رهيا آهن: سي آر ايم ڪم فلوز، مارڪيٽنگ آٽوميشن، اينالائيٽڪس پائپ لائنز، ۽ اي ڪامرس آپريشنز جي وچ ۾ گڏيل پروسيسنگ جي صلاحيت لاءِ مقابلي ۾ جهنگلي طور تي مختلف دورن جا ڪم.

Mewayz هن فلسفي کي پنهنجي 207-ماڊيول ڪاروباري OS تي لاڳو ڪري ٿو، متحرڪ طور تي آپريشنل ڪم لوڊز کي هڪ مربوط پليٽ فارم تي سڄي دنيا ۾ 138,000 ڪاروبار استعمال ڪري ٿو. ٽيمن کي مجبور ڪرڻ جي بجاءِ بيچ رپورٽنگ جي چڪرن جو انتظار ڪرڻ لاءِ، ترتيب وار منظوري واري قطار، يا سيل ٿيل ٽول هينڊ آف، Mewayz ڪاروباري واقعن کي مسلسل پروسيس ڪري ٿو - مڪمل ٿيل آئوٽ پُٽ کي فوري طور ھيٺئين ماڊيول ۾ فيڊنگ ڪرڻ جي طريقي سان مسلسل بيچنگ شيڊيولر فيڊ GPU سلاٽ کي آزاد ڪري ٿو درخواست جي قطار ۾ واپس. نتيجو اهو آهي ته حقيقي ڪاروباري عملن ۾ ماپيبل ٿرو پُٽ بهتري آهي، نه رڳو معيارن ۾.

اڪثر پڇيا ويندڙ سوال

ڇا مسلسل بيچنگ ساڳي آهي جيئن TensorFlow Serving ۾ متحرڪ بيچنگ؟

نه. TensorFlow Serving جي متحرڪ بيچنگ وقت جي ونڊوز ۽ قطار جي کوٽائي جي بنياد تي متغير سائيز جي بيچ ۾ درخواستن کي گڏ ڪري ٿي، پر اهو اڃا تائين هر بيچ کي شروع کان ختم ٿيڻ تائين ايٽمي طور تي پروسيس ڪري ٿو. مسلسل بيچنگ انفرادي ٽوڪن نسل جي قدم تي هلندي آهي، بيچ جي جوڙجڪ کي هر اڳتي وڌڻ واري پاس کي تبديل ڪرڻ جي اجازت ڏئي ٿي. گرينولرٽي فرق اهو آهي ته مسلسل بيچنگ خاص طور تي خودڪشي واري نسل جي ڪم جي لوڊ لاءِ خاص طور تي اعليٰ ذريعي حاصل ڪري ٿي.

ڇا مسلسل بيچنگ لاءِ ماڊل آرڪيٽيڪچر تبديلين جي ضرورت آهي؟

معياري ٽرانسفارمر آرڪيٽيڪچر کي ڪا به ترميم جي ضرورت ناهي. مسلسل بيچنگ مڪمل طور تي لاڳو ٿئي ٿي سرونگ پرت تي تبديلين جي ذريعي انفرنس شيڊولر، ميموري مئنيجر، ۽ توجه ڪنيل. جڏهن ته، ڪجهه اصلاحون - خاص طور تي PagedAttention - ڪسٽم CUDA ڪنلن جي ضرورت آهي جيڪي معياري توجه جي عملن کي تبديل ڪن ٿا، اهو ئي سبب آهي ته پيداوار-گريڊ مسلسل بيچنگ فريم ورڪ جهڙوڪ vLLM ۽ TensorRT-LLM عام مقصد جي انفرنس سرورز لاءِ ڊراپ-ان متبادل نه آهن.

ڪهڙي هارڊويئر جي رڪاوٽون مسلسل بيچنگ جي اثرائتي کي محدود ڪري ٿي؟

GPU HBM بينڊوڊٿ ۽ ڪل VRAM گنجائش بنيادي رڪاوٽون آھن. وڏي KV ڪيچز کي وڌيڪ ميموري جي ضرورت هوندي آهي، وڌ ۾ وڌ سنگت کي محدود ڪندي. هاءِ بينڊوڊٿ انٽر ڪنيڪٽس (NVLink، Infiniband) ملٽي-GPU جي ترتيبن لاءِ نازڪ بڻجي ويندا آهن جتي KV ڪيش کي سڀني ڊوائيسز ۾ ورهايو وڃي. ميموري جي محدود ماحول ۾، KV ڪيش ويلز جي جارحتي مقدار (FP16 کان INT8 يا INT4 تائين) هڪ ننڍڙي درستگي جي تباهي جي قيمت تي صلاحيت بحال ڪري ٿي جيڪا اڪثر تجارتي ايپليڪيشنن لاءِ قابل قبول آهي.

ڇا توهان AI سان هلندڙ خاصيتون ٺاهي رهيا آهيو يا پنهنجي پوري تنظيم ۾ پيچيده ڪاروباري عملن کي ترتيب ڏئي رهيا آهيو، بنيادي اصول هڪجهڙا آهن: بيڪار وقت کي ختم ڪريو، ظرفيت کي مسلسل بحال ڪريو، ۽ انهن وسيلن سان وڌيڪ ڪم ڪريو جيڪي توهان وٽ اڳ ۾ ئي آهن. Mewayz ان اصول کي عملي طور تي 207 مربوط ماڊلز ۾ رکي ٿو - CRM ۽ اي ڪامرس کان وٺي اينالائيٽڪس ۽ ٽيم جي تعاون تائين - $19 في مهيني کان شروع ٿي.