กำลังสองที่มีราคาแพง: เส้นต้นทุนตัวแทน LLM

กำลังสองที่มีราคาแพง: เส้นต้นทุนตัวแทน LLM

ต้นทุนตัวแทน LLM ไม่ได้ปรับขนาดเป็นเส้นตรง แต่จะเติบโตเป็นสองเท่า ซึ่งหมายความว่าเมื่อเวิร์กโฟลว์ของคุณมีความซับซ้อนและจำนวนก้าวเพิ่มขึ้น การใช้โทเค็นของคุณ (และใบเรียกเก็บเงินของคุณ) จะเร่งความเร็วได้เร็วกว่าที่ทีมส่วนใหญ่คาดไว้มาก การทำความเข้าใจเส้นโค้งต้นทุนนี้ไม่ใช่ทางเลือกอีกต่อไป มันเป็นความแตกต่างระหว่างกลยุทธ์ AI ที่ทำกำไรกับกลยุทธ์ที่ทำให้งบประมาณของคุณหมดไปอย่างเงียบๆ

เหตุใดต้นทุนตัวแทน LLM จึงเป็นไปตามรูปแบบกำลังสอง?

สาเหตุที่แท้จริงคือการสะสมบริบท ทุกครั้งที่ตัวแทน LLM ดำเนินการตามขั้นตอน — การเรียกใช้เครื่องมือ อ่านไฟล์ ประเมินการตัดสินใจ — มันจะผนวกผลลัพธ์นั้นต่อท้ายหน้าต่างบริบทที่ทำงานอยู่ เมื่อตัวแทนดำเนินการขั้นตอนต่อไป จะต้องดำเนินการขั้นตอนก่อนหน้าทั้งหมดอีกครั้ง เวิร์กโฟลว์สิบขั้นตอนไม่มีค่าใช้จ่ายสิบเท่าต่อการเรียกขั้นตอนเดียว อาจมีราคาเกือบห้าสิบห้าเท่า เนื่องจากคุณจะต้องจ่ายเงินสำหรับผลรวมรูปสามเหลี่ยมของการโต้ตอบบริบททุกครั้ง

นี่ไม่ใช่พฤติกรรมของผู้ขายหรือข้อผิดพลาดชั่วคราว เป็นพื้นฐานของวิธีที่โมเดลที่ใช้หม้อแปลงไฟฟ้าคำนวณความสนใจ โทเค็นทุกอันเข้าร่วมกับโทเค็นก่อนหน้าทั้งหมด ซึ่งหมายความว่าบริบทของโทเค็น 10,000 รายการมีค่าใช้จ่ายประมาณสี่เท่าในการประมวลผลเท่ากับหนึ่งในโทเค็น 5,000 รายการ และตัวแทนก็ขยายบริบทของตนให้เป็นโทเค็นนับแสนโทเค็นในงานที่ใช้เวลานานได้อย่างมีความสุข

อะไรคือสิ่งที่ทีมขับเคลื่อนต้นทุนในโลกแห่งความเป็นจริงประมาทเลินเล่ออย่างต่อเนื่อง?

การคาดการณ์ต้นทุนส่วนใหญ่มุ่งเน้นไปที่สิ่งที่ชัดเจน: ราคา API ต่อโทเค็น แต่ทีมที่มีประสบการณ์จะเรียนรู้อย่างรวดเร็วถึงตัวคูณที่ซ่อนอยู่ซึ่งประกอบกับเอฟเฟกต์กำลังสอง:

ลองวนซ้ำ: เมื่อตัวแทนล้มเหลวในขั้นตอนที่เจ็ดจากสิบและลองใหม่ตั้งแต่ต้น คุณจะต้องชำระเงินสำหรับขั้นตอนก่อนหน้าทั้งเจ็ดอีกครั้ง บวกกับความพยายามใหม่

รายละเอียดการเรียกเครื่องมือ: เอเจนต์ที่ส่งคืนเพย์โหลด JSON แบบเต็มจาก API ภายนอก แทนที่จะสรุปผลลัพธ์ที่ขยายบริบทอย่างรวดเร็ว บางครั้งเพิ่มโทเค็น 2,000–5,000 ต่อการเรียกใช้เครื่องมือ

ตัวแทนย่อยแบบขนาน: การเรียกใช้ตัวแทนหลายรายพร้อมกันจะคูณต้นทุนข้ามเส้นโค้งกำลังสองของแต่ละตัวแทน ไม่ใช่แค่ข้ามจำนวนตัวแทนเท่านั้น

ความซ้ำซ้อนพร้อมท์ของระบบ: พรอมต์ระบบ 3,000 โทเค็นจะถูกฉีดซ้ำในทุกขั้นตอน ซึ่งหมายความว่าเวิร์กโฟลว์ 20 ขั้นตอนจะจ่ายสำหรับ 60,000 โทเค็นของพร้อมท์ของระบบเพียงอย่างเดียวก่อนที่จะประมวลผลข้อมูลงานจริงบรรทัดเดียว

การผ่านการประเมินและการไตร่ตรอง: เจ้าหน้าที่ที่วิจารณ์ตนเองหรือตรวจสอบผลลัพธ์ของพวกเขาจะเพิ่มการอนุมานเพิ่มเติมทั้งหมด โดยแต่ละคนจะจ่ายต้นทุนบริบทสะสมเต็มจำนวนที่จุดนั้นในเวิร์กโฟลว์

"ช่วงเวลาที่อันตรายที่สุดในการนำตัวแทน LLM มาใช้คือเมื่อมีบางอย่างเริ่มทำงาน ทีมปรับขนาดเวิร์กโฟลว์ เพิ่มขั้นตอน เพิ่มตัวแทน และค้นพบโครงสร้างต้นทุนกำลังสองเมื่อได้รับใบแจ้งหนี้เท่านั้น เมื่อถึงเวลานั้น สถาปัตยกรรมก็จะถูกรวมเข้าไว้แล้ว"

ธุรกิจต่างๆ จะสามารถหาทางออกจากต้นทุนกำลังสองได้อย่างไร?

ข่าวดีก็คือว่าการปรับขนาดกำลังสองนั้นเป็นสิ่งที่หลีกเลี่ยงไม่ได้ เนื่องจากเป็นตัวเลือกการออกแบบที่สามารถย้อนกลับบางส่วนได้ด้วยสถาปัตยกรรมแบบตั้งใจ กลยุทธ์การบรรเทาผลกระทบที่มีประสิทธิผลสูงสุด ได้แก่ การตัดบริบท โดยที่ตัวแทนได้รับคำสั่งอย่างชัดเจนให้สรุปและละทิ้งผลลัพธ์ระดับกลาง แทนที่จะคงไว้ซึ่งผลลัพธ์ของเครื่องมือดิบ รูปแบบเอเจนต์แบบลำดับชั้นยังช่วยได้อย่างมาก แทนที่จะใช้เอเจนต์ที่รันระยะยาวตัวเดียวที่สะสมบริบทขนาดใหญ่ คุณจะเตรียมเอเจนต์ย่อยที่มีอายุสั้นซึ่งแต่ละเอเจนต์จัดการงานแคบๆ ส่งต่อข้อมูลสรุปแบบย่อ และยุติ

การแคชเป็นอีกเครื่องมือหนึ่งที่ไม่ค่อยได้ใช้งาน การแคชพร้อมท์ — ขณะนี้รองรับโดยผู้ให้บริการโมเดลรายใหญ่ส่วนใหญ่ — ช่วยให้คุณหลีกเลี่ยงการจ่ายซ้ำสำหรับส่วนที่คงที่ของบริบทของคุณ เช่น ข้อความแจ้งของระบบและเอกสารอ้างอิง สำหรับธุรกิจที่ใช้เวิร์กโฟลว์อัตโนมัติปริมาณมาก การดำเนินการนี้เพียงอย่างเดียวสามารถลดต้นทุนได้ 30–60% สุดท้ายนี้ การกำหนดเส้นทางโมเดล — การส่งงานย่อยที่ง่ายกว่าไปยังโมเดลที่เล็กกว่าและราคาถูกกว่า ในขณะที่สงวนโมเดลชายแดนไว้สำหรับการตัดสินใจที่ต้องใช้เหตุผลอย่างหนัก — ทำให้เส้นต้นทุนแบนลงอย่างมาก

สิ่งนี้หมายความว่าอย่างไรสำหรับธุรกิจที่พยายามจัดงบประมาณการดำเนินงาน AI?

การจัดทำงบประมาณซอฟต์แวร์แบบดั้งเดิมถือว่าต้นทุนขึ้นอยู่กับผู้ใช้

Related Posts

• เครื่องมือแซนด์บ็อกซ์บรรทัดคำสั่งที่รู้จักกันน้อยของ macOS (2025)
• ผู้บริหาร Waymo เผยบริษัทจ้างพนักงานระยะไกลในฟิลิปปินส์
• ระบบควบคุมภาพ Sony Jumbotron (1998) [pdf]
• วิศวกรซิลิคอนวัลเลย์ถูกฟ้องในข้อหาส่งความลับไปยังอิหร่าน