高価な二次関数: LLM エージェントのコスト曲線

高価な二次関数: LLM エージェントのコスト曲線

LLM エージェントのコストは直線的に増加するのではなく、二次関数的に増加します。つまり、ワークフローの複雑さとステップ数が増加するにつれて、トークンの消費 (および請求) が、ほとんどのチームの予想よりもはるかに速く加速します。このコスト曲線を理解することはもはや必須ではありません。それは、収益性の高い AI 戦略と、静かに予算を枯渇させる AI 戦略の違いです。

LLM エージェントのコストが二次パターンに従うのはなぜですか?

根本的な原因はコンテキストの蓄積です。 LLM エージェントは、ツールの呼び出し、ファイルの読み取り、決定の評価などのステップを実行するたびに、その結​​果を実行中のコンテキスト ウィンドウに追加します。エージェントが次のステップを実行するときは、それまでのすべてのステップを再度処理する必要があります。 10 ステップのワークフローでは、シングルステップの呼び出しの 10 倍のコストがかかりません。基本的にすべてのコンテキスト インタラクションの三角和の料金を支払うことになるため、55 倍近いコストがかかる可能性があります。

これはベンダーの癖や一時的なバグではありません。これは、トランスフォーマーベースのモデルがアテンションを計算する方法の基本です。すべてのトークンは、以前のすべてのトークンに対応します。つまり、10,000 個のトークンのコンテキストの処理には、5,000 個のトークンの 1 個の処理に比べて約 4 倍のコストがかかります。また、エージェントは、長時間実行されるタスクにわたってコンテキストを喜んで数十万個のトークンにまで拡大します。

チームが一貫して過小評価している現実世界のコスト要因は何ですか?

ほとんどのコスト予測は、トークンごとの API 価格という明らかな点に焦点を当てています。しかし、経験豊富なチームは、二次効果を増大させる隠れた乗数をすぐに学習します。

再試行ループ: エージェントが 10 段階中 7 段階で失敗し、最初から再試行すると、それまでの 7 段階すべての費用と、新たな試行費用が再度支払われます。

ツール呼び出しの冗長性: 要約された結果ではなく、外部 API から完全な JSON ペイロードを返すエージェントはコンテキストを急速に肥大化し、ツール呼び出しごとに 2,000 ～ 5,000 のトークンが追加される場合があります。

並列サブエージェント: 複数のエージェントを同時に実行すると、エージェントの数だけでなく、各エージェントの個別の二次曲線全体でコストが増加します。

システム プロンプトの冗長性: 3,000 トークンのシステム プロンプトが各ステップで再挿入されます。つまり、20 ステップのワークフローでは、実際のタスク データの 1 行が処理される前に、システム プロンプトだけで 60,000 トークンの費用が発生します。

評価パスとリフレクション パス: 出力を自己批判または検証するエージェントは、推論パス全体を追加し、それぞれがワークフローのその時点で累積されたコンテキスト コストの全額を支払います。

「LLM エージェントの導入で最も危険な瞬間は、何かが機能し始めたときです。チームはワークフローを拡張し、ステップを追加し、エージェントを追加します。そして、請求書が届いたときに初めて 2 次コスト構造を発見します。その時点で、アーキテクチャはすでに組み込まれています。」

企業は二次コストから抜け出す方法をどのように設計できるでしょうか?

良いニュースは、二次スケーリングは避けられないものではなく、意図的なアーキテクチャで部分的に逆転できる設計上の選択であるということです。最も効果的な軽減戦略には、未加工のツール出力を保持するのではなく、中間結果を要約して破棄するようエージェントに明示的に指示するコンテキスト プルーニングが含まれます。階層エージェント パターンも非常に役立ちます。1 つの長期実行エージェントが大規模なコンテキストを蓄積するのではなく、それぞれが狭いタスクを処理し、コンパクトな概要を渡して終了する、存続期間の短いサブエージェントを調整します。

キャッシュも十分に活用されていない手段です。プロンプト キャッシュ (現在、ほとんどの主要なモデル プロバイダーでサポートされています) を使用すると、システム プロンプトや参照ドキュメントなどのコンテキストの静的な部分に対する再支払いを回避できます。大量の自動ワークフローを実行している企業の場合、これだけでコストを 30 ～ 60% 削減できます。最後に、モデル ルーティング (より単純なサブタスクをより小規模で安価なモデルに送信し、フロンティア モデルを推論が重要な意思決定のために確保する) により、コスト曲線が劇的に平坦化されます。

これは、AI 運用の予算を計上しようとしている企業にとって何を意味しますか?

従来のソフトウェアの予算編成では、コストがユーザーに応じて増減することを前提としています。

Related Posts

• DJBの暗号学的オデッセイ：コードヒーローから標準規格の批評家へ
• macOS のあまり知られていないコマンドライン サンドボックス ツール (2025)
• HUD、非市民を公営住宅から退去させる規則を提案
• CXMT は、一般的な市場価格の約半分の価格で DDR4 チップを提供してきました。