Caro cuadrático: la curva de costos del agente LLM

Caro cuadrático: la curva de costos del agente LLM

Los costos de los agentes de LLM no aumentan linealmente: crecen cuadráticamente, lo que significa que a medida que sus flujos de trabajo crecen en complejidad y número de pasos, su consumo de tokens (y su factura) se acelera mucho más rápido de lo que la mayoría de los equipos anticipan. Comprender esta curva de costos ya no es opcional; es la diferencia entre una estrategia de IA rentable y una que desangra silenciosamente su presupuesto.

¿Por qué los costos de los agentes de LLM siguen un patrón cuadrático?

La causa fundamental es la acumulación de contexto. Cada vez que un agente de LLM da un paso (llamar a una herramienta, leer un archivo, evaluar una decisión) agrega ese resultado a su ventana de contexto en ejecución. Cuando el agente da el siguiente paso, debe procesar todos los pasos anteriores nuevamente. Un flujo de trabajo de diez pasos no cuesta diez veces más que una llamada de un solo paso; puede costar cerca de cincuenta y cinco veces, porque esencialmente estás pagando por la suma triangular de cada interacción contextual.

Esto no es una peculiaridad del proveedor ni un error temporal. Es fundamental para la forma en que los modelos basados ​​en transformadores calculan la atención. Cada token atiende a cada token anterior, lo que significa que procesar un contexto de 10 000 tokens cuesta aproximadamente cuatro veces más que uno de 5000 tokens, y los agentes felizmente hacen crecer sus contextos hasta convertirlos en cientos de miles de tokens en tareas de larga duración.

¿Cuáles son los factores que impulsan los costos del mundo real que los equipos subestiman constantemente?

La mayoría de las proyecciones de costos se centran en lo obvio: el precio API por token. Pero los equipos experimentados aprenden rápidamente los multiplicadores ocultos que agravan el efecto cuadrático:

Bucles de reintento: cuando un agente falla en el paso siete de diez y vuelve a intentarlo desde cero, usted paga nuevamente por los siete pasos anteriores, más el nuevo intento.

Verbosidad de las llamadas a herramientas: los agentes que devuelven cargas útiles JSON completas desde API externas en lugar de resultados resumidos inflan el contexto rápidamente, agregando a veces entre 2000 y 5000 tokens por llamada a la herramienta.

Subagentes paralelos: ejecutar varios agentes simultáneamente multiplica los costos en la curva cuadrática individual de cada agente, no solo en la cantidad de agentes.

Redundancia de avisos del sistema: se reinyecta un aviso del sistema de 3000 tokens en cada paso, lo que significa que un flujo de trabajo de 20 pasos paga solo por 60 000 tokens de aviso del sistema antes de que se procese una sola línea de datos de tareas reales.

Pases de evaluación y reflexión: los agentes que autocritican o verifican sus resultados agregan pases de inferencia adicionales completos, y cada uno paga el costo total del contexto acumulado en ese punto del flujo de trabajo.

"El momento más peligroso en la adopción de agentes LLM es cuando algo comienza a funcionar. Los equipos escalan el flujo de trabajo, agregan pasos, agregan agentes y solo descubren la estructura de costos cuadráticos cuando llega la factura. Para entonces, la arquitectura ya está integrada".

¿Cómo pueden las empresas diseñar su salida de los costos cuadráticos?

La buena noticia es que la escala cuadrática no es inevitable: es una elección de diseño que puede revertirse parcialmente con una arquitectura intencional. Las estrategias de mitigación más efectivas incluyen la poda de contexto, donde se instruye explícitamente a los agentes a resumir y descartar resultados intermedios en lugar de retener los resultados brutos de las herramientas. Los patrones jerárquicos de agentes también ayudan significativamente: en lugar de que un agente de larga duración acumule un contexto masivo, se organizan subagentes de corta duración, cada uno de los cuales maneja una tarea limitada, entrega un resumen compacto y finaliza.

El almacenamiento en caché es otra palanca infrautilizada. El almacenamiento en caché de avisos, ahora compatible con la mayoría de los principales proveedores de modelos, le permite evitar tener que pagar por partes estáticas de su contexto, como avisos del sistema y documentos de referencia. Para las empresas que ejecutan flujos de trabajo automatizados de gran volumen, esto por sí solo puede reducir los costos entre un 30% y un 60%. Finalmente, el enrutamiento de modelos (enviar subtareas más simples a modelos más pequeños y más baratos mientras se reservan modelos de frontera para decisiones que requieren mucho razonamiento) aplana dramáticamente la curva de costos.

¿Qué significa esto para las empresas que intentan presupuestar las operaciones de IA?

El presupuesto de software tradicional supone que los costos aumentan con los usuarios.

Related Posts

• La Odisea Criptográfica de DJB: De Héroe del Código a Crítico de Estándares
• CXMT ha estado ofreciendo chips DDR4 a aproximadamente la mitad del precio predominante en el mercado.
• Juego de niños: la nueva generación tecnológica y el fin del pensamiento
• LCM: Gestión del contexto sin pérdidas [pdf]