Coûteux quadratique : la courbe de coût des agents LLM

Coûteux quadratique : la courbe de coût des agents LLM

Les coûts des agents LLM n'évoluent pas de manière linéaire : ils augmentent de façon quadratique, ce qui signifie qu'à mesure que vos flux de travail deviennent plus complexes et comptent plus d'étapes, votre consommation de jetons (et votre facture) s'accélère beaucoup plus rapidement que ne le prévoient la plupart des équipes. Comprendre cette courbe de coûts n’est plus une option ; c’est la différence entre une stratégie d’IA rentable et une stratégie qui saigne discrètement votre budget.

Pourquoi les coûts des agents LLM suivent-ils un modèle quadratique ?

La cause première est l’accumulation de contexte. Chaque fois qu'un agent LLM effectue une étape (appel d'un outil, lecture d'un fichier, évaluation d'une décision), il ajoute ce résultat à sa fenêtre contextuelle en cours d'exécution. Lorsque l'agent passe à l'étape suivante, il doit à nouveau traiter toutes les étapes précédentes. Un flux de travail en dix étapes ne coûte pas dix fois plus qu'un appel en une seule étape ; cela peut coûter près de cinquante-cinq fois, car vous payez essentiellement pour la somme triangulaire de chaque interaction contextuelle.

Il ne s'agit pas d'une bizarrerie du fournisseur ou d'un bug temporaire. C’est fondamental pour la façon dont les modèles basés sur des transformateurs calculent l’attention. Chaque jeton s'occupe de chaque jeton précédent, ce qui signifie qu'un contexte de 10 000 jetons coûte environ quatre fois plus cher à traiter qu'un seul de 5 000 jetons – et les agents développent volontiers leurs contextes en centaines de milliers de jetons pour des tâches de longue durée.

Quels sont les facteurs de coûts réels que les équipes sous-estiment constamment ?

La plupart des projections de coûts se concentrent sur l’évidence : le prix par jeton de l’API. Mais les équipes expérimentées découvrent rapidement les multiplicateurs cachés qui aggravent l’effet quadratique :

Réessayer les boucles : lorsqu'un agent échoue à l'étape sept sur dix et réessaye à partir de zéro, vous payez à nouveau pour les sept étapes précédentes, plus la nouvelle tentative.

Verbosité des appels d'outils : les agents qui renvoient des charges utiles JSON complètes à partir d'API externes plutôt que des résultats résumés gonflent rapidement le contexte, ajoutant parfois 2 000 à 5 000 jetons par appel d'outil.

Sous-agents parallèles : l'exécution simultanée de plusieurs agents multiplie les coûts sur la courbe quadratique individuelle de chaque agent, et pas seulement sur le nombre d'agents.

Redondance des invites système : une invite système de 3 000 jetons est réinjectée à chaque étape, ce qui signifie qu'un flux de travail en 20 étapes paie pour 60 000 jetons d'invite système uniquement avant qu'une seule ligne de données de tâche réelle ne soit traitée.

Passes d'évaluation et de réflexion : les agents qui s'autocritiquent ou vérifient leurs résultats ajoutent des passes d'inférence supplémentaires entières, chacune payant le coût total du contexte accumulé à ce stade du flux de travail.

"Le moment le plus dangereux dans l'adoption d'un agent LLM est celui où quelque chose commence à fonctionner. Les équipes font évoluer le flux de travail, ajoutent des étapes, ajoutent des agents - et ne découvrent la structure quadratique des coûts que lorsque la facture arrive. À ce moment-là, l'architecture est déjà intégrée."

Comment les entreprises peuvent-elles s’affranchir des coûts quadratiques ?

La bonne nouvelle est que la mise à l’échelle quadratique n’est pas inévitable : il s’agit d’un choix de conception qui peut être partiellement inversé grâce à une architecture intentionnelle. Les stratégies d'atténuation les plus efficaces incluent l'élagage du contexte, où les agents sont explicitement invités à résumer et à ignorer les résultats intermédiaires plutôt que de conserver les sorties brutes des outils. Les modèles d'agent hiérarchiques sont également d'une grande aide : au lieu qu'un agent de longue durée accumule un contexte massif, vous orchestrez des sous-agents de courte durée qui gèrent chacun une tâche précise, transmettent un résumé compact et se terminent.

La mise en cache est un autre levier sous-utilisé. La mise en cache des invites, désormais prise en charge par la plupart des principaux fournisseurs de modèles, vous permet d'éviter de payer à nouveau pour des parties statiques de votre contexte telles que les invites système et les documents de référence. Pour les entreprises exécutant des flux de travail automatisés à grand volume, cela peut à lui seul réduire les coûts de 30 à 60 %. Enfin, le routage des modèles – en envoyant des sous-tâches plus simples vers des modèles plus petits et moins chers tout en réservant les modèles frontières aux décisions nécessitant un raisonnement lourd – aplatit considérablement la courbe des coûts.

Qu'est-ce que cela signifie pour les entreprises qui tentent de budgétiser leurs opérations d'IA ?

La budgétisation traditionnelle des logiciels suppose que les coûts évoluent avec les utilisateurs

Related Posts

• LCM : Gestion du contexte sans perte [pdf]
• Outil de sandboxing en ligne de commande peu connu de macOS (2025)
• CXMT propose des puces DDR4 à environ la moitié du prix du marché.
• L'IRS a perdu 40 % de son personnel informatique et 80 % de ses dirigeants technologiques lors d'une restructuration pour plus d'« efficacité »