비용이 많이 드는 이차식: LLM 에이전트 비용 곡선

비용이 많이 드는 이차식: LLM 에이전트 비용 곡선

LLM 에이전트 비용은 선형적으로 증가하지 않습니다. 즉, 워크플로의 복잡성과 단계 수가 증가함에 따라 토큰 소비(및 청구서)가 대부분의 팀이 예상하는 것보다 훨씬 빠르게 가속화된다는 의미입니다. 이 비용 곡선을 이해하는 것은 더 이상 선택 사항이 아닙니다. 수익성 있는 AI 전략과 조용히 예산을 낭비하는 전략의 차이입니다.

LLM 에이전트 비용이 2차 패턴을 따르는 이유는 무엇입니까?

근본 원인은 컨텍스트 축적입니다. LLM 에이전트는 도구 호출, 파일 읽기, 결정 평가 등의 단계를 수행할 때마다 해당 결과를 실행 중인 컨텍스트 창에 추가합니다. 에이전트가 다음 단계를 수행할 때 모든 이전 단계를 다시 처리해야 합니다. 10단계 워크플로에는 단일 단계 호출의 10배 비용이 들지 않습니다. 기본적으로 모든 컨텍스트 상호 작용의 삼각합에 대해 비용을 지불하기 때문에 비용은 55배에 가깝습니다.

이는 공급업체의 문제나 일시적인 버그가 아닙니다. 이는 변환기 기반 모델이 주의를 계산하는 방법의 기본입니다. 모든 토큰은 모든 이전 토큰을 관리합니다. 즉, 10,000개 토큰의 컨텍스트를 처리하는 데 드는 비용은 5,000개 토큰 중 하나를 처리하는 데 드는 비용의 대략 4배입니다. 에이전트는 장기 실행 작업 전반에 걸쳐 자신의 컨텍스트를 수십만 개의 토큰으로 행복하게 확장합니다.

실제 비용 요인 팀이 지속적으로 과소평가하는 것은 무엇입니까?

대부분의 비용 예측은 명백한 토큰당 API 가격에 초점을 맞춥니다. 그러나 숙련된 팀은 2차 효과를 합성하는 숨겨진 승수를 빠르게 학습합니다.

재시도 루프: 에이전트가 10단계 중 7단계에서 실패하고 처음부터 다시 시도하면 이전 7단계와 새로운 시도에 대한 비용을 다시 지불하게 됩니다.

도구 호출 상세성: 요약된 결과가 아닌 외부 API에서 전체 JSON 페이로드를 반환하는 에이전트는 컨텍스트를 빠르게 부풀려 도구 호출당 2,000~5,000개의 토큰을 추가하는 경우도 있습니다.

병렬 하위 에이전트: 여러 에이전트를 동시에 실행하면 에이전트 수뿐만 아니라 각 에이전트의 개별 2차 곡선에 걸쳐 비용이 배가됩니다.

시스템 프롬프트 중복성: 3,000개의 토큰 시스템 프롬프트가 모든 단계에서 다시 주입됩니다. 즉, 20단계 워크플로는 실제 작업 데이터의 한 줄이 처리되기 전에 시스템 프롬프트의 60,000개 토큰에 대한 비용만 지불한다는 의미입니다.

평가 및 반영 패스: 출력을 자체 비판하거나 확인하는 에이전트는 전체 추가 추론 패스를 추가하며, 각 패스는 워크플로의 해당 지점에서 누적된 전체 컨텍스트 비용을 지불합니다.

"LLM 에이전트 채택에서 가장 위험한 순간은 무언가가 작동하기 시작할 때입니다. 팀은 워크플로를 확장하고, 단계를 추가하고, 에이전트를 추가하고 청구서가 도착할 때만 2차 비용 구조를 발견합니다. 그때쯤이면 아키텍처가 이미 구워진 것입니다."

기업은 어떻게 2차 비용을 절감할 수 있나요?

좋은 소식은 2차 스케일링이 불가피하지 않다는 것입니다. 이는 의도적인 아키텍처를 통해 부분적으로 되돌릴 수 있는 설계 선택입니다. 가장 효과적인 완화 전략에는 원시 도구 출력을 유지하는 대신 중간 결과를 요약하고 삭제하도록 에이전트에 명시적으로 지시하는 컨텍스트 정리가 포함됩니다. 계층적 에이전트 패턴도 큰 도움이 됩니다. 대규모 컨텍스트를 축적하는 하나의 장기 실행 에이전트 대신 각각 좁은 작업을 처리하고 간략한 요약을 전달하고 종료하는 단기 하위 에이전트를 조율합니다.

캐싱은 활용도가 낮은 또 다른 수단입니다. 현재 대부분의 주요 모델 제공업체에서 지원하는 프롬프트 캐싱을 사용하면 시스템 프롬프트 및 참조 문서와 같은 컨텍스트의 정적 부분에 대한 비용을 지불하지 않아도 됩니다. 대용량 자동화 워크플로를 실행하는 기업의 경우 이것만으로도 비용을 30~60% 절감할 수 있습니다. 마지막으로 모델 라우팅(추론이 많은 결정을 위해 프론티어 모델을 예약하면서 더 작고 저렴한 모델에 간단한 하위 작업을 보내는 것)은 비용 곡선을 극적으로 평탄화합니다.

이는 AI 운영 예산을 책정하려는 기업에 무엇을 의미합니까?

기존 소프트웨어 예산 책정에서는 비용이 사용자에 따라 확장된다고 가정합니다.

Related Posts

• DJB의 암호학적 오디세이: 코드 영웅에서 표준 비판자로
• CXMT, DDR4 칩을 시장 평균 가격의 절반 수준에 공급 중
• 눈 내리는 곳에서 살면서 배울 수 있는 교훈
• 메타프로젝트 수행