Đắt bậc hai: Đường cong chi phí đại lý LLM

Đắt bậc hai: Đường cong chi phí đại lý LLM

Chi phí đại lý LLM không tăng theo tuyến tính — chúng tăng theo phương trình bậc hai, nghĩa là khi quy trình làm việc của bạn tăng độ phức tạp và số bước, mức tiêu thụ mã thông báo (và hóa đơn của bạn) tăng nhanh hơn nhiều so với dự đoán của hầu hết các nhóm. Việc hiểu đường cong chi phí này không còn là điều bắt buộc nữa; đó là sự khác biệt giữa một chiến lược AI có lợi nhuận và một chiến lược lặng lẽ làm cạn kiệt ngân sách của bạn.

Tại sao chi phí đại lý LLM lại tuân theo mô hình bậc hai?

Nguyên nhân sâu xa là sự tích lũy bối cảnh. Mỗi khi tác nhân LLM thực hiện một bước — gọi một công cụ, đọc tệp, đánh giá một quyết định — nó sẽ thêm kết quả đó vào cửa sổ ngữ cảnh đang chạy của nó. Khi tác nhân thực hiện bước tiếp theo, nó phải xử lý lại tất cả các bước trước đó. Quy trình làm việc mười bước không tốn gấp mười lần một cuộc gọi một bước; nó có thể có giá gần gấp 55 lần, vì về cơ bản bạn đang trả tiền cho tổng tam giác của mỗi tương tác ngữ cảnh.

Đây không phải là lỗi của nhà cung cấp hay lỗi tạm thời. Nó là nền tảng cho cách các mô hình dựa trên máy biến áp tính toán sự chú ý. Mỗi mã thông báo đều tương ứng với mọi mã thông báo trước đó, có nghĩa là bối cảnh 10.000 mã thông báo có chi phí xử lý gấp khoảng bốn lần so với một trong 5.000 mã thông báo — và các đại lý vui vẻ phát triển bối cảnh của họ thành hàng trăm nghìn mã thông báo trong các nhiệm vụ dài hạn.

Nhóm điều khiển chi phí trong thế giới thực luôn đánh giá thấp những gì?

Hầu hết các dự báo chi phí đều tập trung vào điều hiển nhiên: giá mỗi mã thông báo API. Nhưng các đội có kinh nghiệm sẽ nhanh chóng tìm hiểu các số nhân ẩn tạo nên hiệu ứng bậc hai:

Thử lại vòng lặp: Khi nhân viên hỗ trợ không thành công ở bước thứ bảy trong số mười bước và thử lại từ đầu, bạn sẽ thanh toán lại tất cả bảy bước trước đó — cộng với lần thử mới.

Mức độ chi tiết của lệnh gọi công cụ: Các tác nhân trả về tải trọng JSON đầy đủ từ các API bên ngoài thay vì kết quả tóm tắt làm bối cảnh phình to một cách nhanh chóng, đôi khi thêm 2.000–5.000 mã thông báo cho mỗi lệnh gọi công cụ.

Các tác nhân phụ song song: Việc chạy nhiều tác nhân đồng thời sẽ nhân chi phí trên đường cong bậc hai riêng lẻ của từng tác nhân, chứ không chỉ trên số lượng tác nhân.

Dự phòng lời nhắc hệ thống: Lời nhắc hệ thống 3.000 mã thông báo được đưa lại ở mỗi bước, nghĩa là quy trình làm việc 20 bước chỉ trả 60.000 mã thông báo lời nhắc hệ thống trước khi một dòng dữ liệu tác vụ thực tế được xử lý.

Các thẻ đánh giá và phản ánh: Các tổng đài viên tự phê bình hoặc xác minh kết quả đầu ra của họ sẽ thêm toàn bộ các thẻ suy luận bổ sung, mỗi thẻ sẽ thanh toán toàn bộ chi phí ngữ cảnh tích lũy tại thời điểm đó trong quy trình làm việc.

"Thời điểm nguy hiểm nhất trong quá trình áp dụng đại lý LLM là khi có thứ gì đó bắt đầu hoạt động. Các nhóm mở rộng quy trình làm việc, thêm các bước, thêm đại lý — và chỉ khám phá cấu trúc chi phí bậc hai khi hóa đơn đến. Đến lúc đó, kiến ​​trúc đã được đưa vào."

Làm thế nào các doanh nghiệp có thể kiến ​​trúc theo cách thoát khỏi chi phí bậc hai?

Tin tốt là việc chia tỷ lệ bậc hai là không thể tránh khỏi - đó là một lựa chọn thiết kế có thể đảo ngược một phần với kiến ​​trúc có chủ ý. Các chiến lược giảm nhẹ hiệu quả nhất bao gồm việc cắt bớt bối cảnh, trong đó các tác nhân được hướng dẫn rõ ràng để tóm tắt và loại bỏ các kết quả trung gian thay vì giữ lại các kết quả đầu ra của công cụ thô. Các mẫu tác nhân phân cấp cũng giúp ích đáng kể: thay vì một tác nhân chạy dài tích lũy một bối cảnh lớn, bạn sắp xếp các tác nhân phụ có thời gian tồn tại ngắn mà mỗi tác vụ xử lý một nhiệm vụ hẹp, đưa ra một bản tóm tắt ngắn gọn và chấm dứt.

Bộ nhớ đệm là một đòn bẩy khác chưa được sử dụng đúng mức. Bộ nhớ đệm nhắc nhở — hiện được hầu hết các nhà cung cấp mô hình lớn hỗ trợ — cho phép bạn tránh phải trả lại tiền cho các phần tĩnh trong ngữ cảnh của mình, chẳng hạn như lời nhắc hệ thống và tài liệu tham khảo. Đối với các doanh nghiệp chạy quy trình làm việc tự động hóa khối lượng lớn, chỉ riêng điều này đã có thể giảm chi phí từ 30–60%. Cuối cùng, định tuyến mô hình - gửi các nhiệm vụ đơn giản hơn đến các mô hình nhỏ hơn, rẻ hơn trong khi dành các mô hình biên giới cho các quyết định nặng về lý luận - làm phẳng đường cong chi phí một cách đáng kể.

Điều này có ý nghĩa gì đối với các doanh nghiệp đang cố gắng lập ngân sách cho hoạt động AI?

Lập ngân sách phần mềm truyền thống giả định rằng chi phí tăng theo người dùng

Related Posts

• Công cụ hộp cát dòng lệnh ít được biết đến của macOS (2025)
• Hành Trình Mật Mã của DJB: Từ Anh Hùng Code Đến Kẻ Phá Rối Tiêu Chuẩn
• Cựu công nghệ -> Người vô gia cư ở SF
• CXMT đã cung cấp chip DDR4 với giá chỉ bằng một nửa giá thị trường hiện hành