Economía de la inferencia

🔀Enrutamiento de modelos#

Arquitectura híbrida: vanguardia + SLM

El patrón que se está consolidando en producción: modelo de vanguardia = núcleo de razonamiento (planificación, decisiones complejas, síntesis final); SLM = enrutamiento / ejecución / inferencia en el borde (clasificación sencilla, ejecución rápida, procesamiento local). Enviar todas las solicitudes a modelos de la categoría de GPT-5 es un diseño ineficiente. La pregunta de ingeniería es: ¿qué tipos de tareas pueden resolver los SLM con la calidad de un modelo de vanguardia y en cuáles debe intervenir este último?

Flujo de enrutamiento#

Intención → Clasificar → Enrutar → Caché

1) Enrutamiento por intención: el SLM clasifica el tipo de solicitud → el SLM resuelve las tareas sencillas y deriva las complejas al modelo de vanguardia. 2) Compresión del contexto: el SLM resume el contexto extenso antes de pasarlo al modelo de vanguardia, reduciendo los tokens. 3) Filtrado de resultados: el SLM valida y posprocesa la salida del modelo de vanguardia. 4) Ejecución que tiene en cuenta la caché: los patrones repetidos se atienden desde la caché o mediante el SLM. Un flujo bien diseñado reduce las llamadas al modelo de vanguardia en un 60-80%.

Phi-4: el SLM como capa de ejecución#

Una decisión de diseño, no una concesión

La serie Phi-4 de Microsoft muestra que los SLM ya no son 'modelos más pequeños con peor rendimiento'. Phi-4-mini (3.8 mil millones de parámetros) iguala a modelos más grandes en pruebas de matemáticas y programación gracias a datos sintéticos de entrenamiento de alta calidad. El cambio: los SLM como componentes de una capa de ejecución diseñados para tareas específicas dentro de una arquitectura distribuida de agentes, no como asistentes independientes.

Debilidades pendientes de los SLM#

3 modos de fallo

① Fiabilidad con contextos largos: la consistencia disminuye al superar las decenas de miles de tokens. ② Estabilidad frente a las alucinaciones: mayores tasas de error en razonamientos complejos sobre hechos. ③ Consistencia de los agentes en múltiples pasos: la coherencia del plan se degrada a lo largo de muchos pasos. No son solo problemas derivados de reducir el tamaño, sino que reflejan los límites de los métodos de entrenamiento actuales. La métrica clave que conviene seguir es en qué aspectos la próxima versión de Phi cierra estas brechas.

🤖Explosión de costos de los flujos con agentes#

El consumo de tokens crece de forma compuesta

Chatbot tradicional: 1 mensaje del usuario → 1 respuesta del LLM. Flujo de trabajo con agentes: descomposición de la tarea (1-3 llamadas) + N llamadas de ejecución de subtareas (incluido el uso de herramientas) + M llamadas de verificación/reintento + síntesis final (1-2 llamadas). Una tarea sencilla de programación se procesa en 10-50 llamadas a LLM. Cada paso incorpora el contexto anterior y la cantidad de tokens crece geométricamente con la profundidad del agente. Por eso el costo de inferencia se convirtió en un problema de COGS.

Economía unitaria de los agentes de programación#

Precios fijos × aumento del uso

Cursor, Windsurf, Devin y GitHub Copilot comparten el mismo problema estructural: la suscripción mensual es fija, pero el costo de inferencia aumenta con el uso del agente. Los usuarios intensivos que generan más valor también generan más costos. Para alcanzar la rentabilidad, el costo de inferencia debe disminuir más rápido de lo que crece el uso, algo que solo se puede lograr mediante el enrutamiento de modelos, el despliegue de SLM y un uso intensivo de la caché.

Expansión de Claude Code como agente#

autocompletado → ejecución autónoma

La hoja de ruta de Claude Code de Anthropic busca pasar del autocompletado a la ejecución autónoma de múltiples pasos: le pasas una incidencia de GitHub y el agente analiza la base de código, delimita el cambio, escribe la implementación, ejecuta las pruebas y abre una PR. La métrica competitiva pasa de 'líneas de código generadas por sesión' a 'horas ahorradas desde la incidencia hasta el despliegue en producción'. La capa de orquestación de agentes se convierte en el producto.

Oportunidad para startups: SaaS de auditoría de agentes#

La trazabilidad pasa a ser un requisito de cumplimiento

Cuando los agentes de IA modifican de forma autónoma el código en producción, saber 'qué decisión llevó a qué cambio' se convierte en un requisito de seguridad y cumplimiento normativo. Aún no hay un actor dominante. Tres necesidades por cubrir: (1) estructurar los registros de acciones de los agentes para facilitar su auditoría, (2) plataformas de ajuste fino de agentes por dominio para bases de código empresariales, (3) middleware de orquestación de múltiples agentes para equipos que ejecutan Claude Code + Cursor + Devin simultáneamente.

🛡️IA para defensa: el mismo problema de inferencia#

Con exigencias de seguridad gubernamentales

La IA para defensa afronta la misma presión económica de la inferencia, pero con restricciones varios órdenes de magnitud más exigentes. FedRAMP High, DoD Impact Level 5/6, requisitos de soberanía de NATO, entornos con aislamiento físico. La capa Ontology de Palantir + los programas MAVEN/TITAN muestran cómo es una infraestructura de IA que cumple las exigencias gubernamentales. La ronda de 18 mil millones de dólares de Helsing indica que la defensa europea está construyendo la misma pila tecnológica de forma independiente.

Helsing, $18 mil millones: la apuesta por un Palantir europeo#

$1.2 mil millones a $18 mil millones, con respaldo de Daniel Ek

Helsing, con sede en Múnich, capta 1.2 mil millones de dólares con una valoración de 18 mil millones de dólares. Asistencia táctica aérea con IA, procesamiento de señales de radar y automatización de C2 para las fuerzas armadas de NATO. La tesis de la ronda: la defensa europea está en el mismo punto de inflexión en el que estaba Palantir en EE. UU. hace 5 años. Los contratistas principales tradicionales (BAE, Rheinmetall) no pueden construir la capa de software. La valoración de Helsing de 18 mil millones de dólares demuestra que el SW de IA para defensa se valora como un negocio de plataformas, no como servicios por proyecto.

Arquitectura de inferencia con aislamiento físico#

La restricción estructural de la IA gubernamental

IA de consumo: una llamada a la API de Claude/GPT. IA gubernamental: los datos clasificados no pueden salir del perímetro de aislamiento físico. FedRAMP High = datos federales no sensibles (Azure Government, AWS GovCloud). Impact Level 5/6 = datos clasificados del DoD (se requiere aislamiento físico). El despliegue de 'IA soberana' de Palantir ejecuta los modelos en instalaciones propias, en las redes de información clasificada SIPR/JWICS. Por eso la IA para defensa tiene barreras competitivas estructurales: la barrera de infraestructura es real.

👨‍💻Ingeniero de costos de inferencia de LLM#

El nuevo rol al que nadie ha dado nombre aún

El ingeniero que diseña la estructura de costos de los productos de IA. Construye flujos de enrutamiento (qué solicitud va a qué modelo), realiza el ajuste fino de SLM para tareas de un dominio e implementa la compresión del contexto y la caché. El nombre del puesto aún no aparece en la mayoría de las JDs: sus funciones se mezclan en ofertas de 'ingeniero de infraestructura de ML' e 'ingeniero de plataformas de IA'. Pero en las empresas SaaS nativas de IA y en los equipos de productos de IA de las grandes tecnológicas, ya es el rol técnico más decisivo para los costos.

Vías de acceso#

Backend + ML + FinOps convergen aquí

Tres vías de acceso sólidas: (1) Ingenieros de backend: la experiencia en diseño de API y monitoreo de costos es directamente aplicable; (2) Ingenieros de ML: la experiencia en ajuste fino y evaluación es el activo central; (3) Ingenieros de DevOps/infraestructura: ya han desarrollado una mentalidad FinOps. Ninguna de estas vías requiere empezar de cero. La especialización surge al combinar las habilidades existentes de una forma nueva.

Herramientas de 2026#

vLLM + Ollama + LangSmith

Modelos SLM: Phi-4-mini, Llama 3.2 3B/1B, Gemma 2 2B. Modelos de vanguardia: GPT-4o, Claude Sonnet. Servidores de inferencia: vLLM, Ollama, TensorRT-LLM, llama.cpp. Evaluación: Promptflow, LangSmith, evaluaciones a medida. Monitoreo: Datadog, Langfuse, Phoenix. Punto de partida: despliegue local con Ollama → comparar el rendimiento con modelos de vanguardia → construir un clasificador sencillo de complejidad → enrutar tráfico real → medir la diferencia de costos.