Philia Sophia – Javier Forero

Inteligencia artificial · Decisiones

Usar el modelo de IA más potente para cada pequeña decisión es como mandar a todos los pacientes al neurocirujano. La madurez está en asignar la inteligencia justa a cada caso, y eso solo funciona si el sistema sabe cuándo no sabe.

En este artículo

Urgencias: el triaje que la IA olvidó

Piensa en la última vez que entraste a una sala de urgencias. Antes de ver a un médico, alguien te hizo tres preguntas, te tomó la presión y te asignó un color. Esa persona no te diagnosticó. Hizo algo más útil para el hospital: decidió qué nivel de atención necesitabas. El dolor de garganta espera; el dolor en el pecho pasa de inmediato.

Nadie en ese hospital piensa que el neurocirujano sobra. Es al revés: como su tiempo es escaso, se reserva para los casos donde cambia el desenlace. Mandarle todos los pacientes colapsaría el hospital y haría esperar justo al que sí lo necesitaba.

Ahora mira cómo se construyeron muchas aplicaciones de inteligencia artificial. Llega una tarea, cualquiera, y va directo al modelo de lenguaje más grande disponible —un LLM, por sus siglas en inglés: el tipo de sistema que hay detrás de ChatGPT, Claude o Gemini—. Clasificar un correo, extraer una fecha, validar el formato de un RUT, un RUC o un CUIT: todo pasa por el mismo modelo. Es enviar cada paciente al neurocirujano, o usar una excavadora para apretar un tornillo.

En un artículo anterior conté que la mayoría de los proyectos que llegan pidiendo “un agente de IA” son, en realidad, automatizaciones deterministas, y lo comparé con pagarle a un abogado por hora para que llene un formulario. Aquí doy el paso siguiente: la pregunta no es solo si una tarea necesita IA, sino cuánta, y qué debe pasar cuando el sistema no está seguro.

Inteligencia proporcional, explicada en simple

A esa idea la llamo inteligencia proporcional: aplicar a cada decisión una cantidad de inteligencia computacional proporcional a su dificultad, a su incertidumbre y a lo que cuesta equivocarse. No es un término académico estándar —es una etiqueta didáctica—, pero resume una dirección en la que convergen varias líneas de investigación.

El error no es usar modelos grandes, sino suponer que todas las tareas merecen la misma cantidad de inteligencia. Y la conclusión tampoco es “usemos siempre el pequeño”: un destornillador es igual de absurdo para cavar los cimientos de un edificio. El problema real es de emparejamiento.

La pieza que falta: un sistema que sepa decir “no sé”

El triaje tiene una condición que casi nadie menciona: quien clasifica tiene que saber cuándo no sabe. Una enfermera que marca a todos como “estable” con total seguridad es peligrosa aunque acierte con la mayoría, porque sus errores no dejan rastro. La que dice “esto no lo tengo claro, que lo vea el médico” es la que hace funcionar el sistema. En IA, eso se llama calibración.

La mejor forma de entenderla viene de la meteorología. Una pronosticadora que dice “70 % de probabilidad de lluvia” está bien calibrada cuando, de todos los días en que dijo 70 %, llovió más o menos en siete de cada diez. No se le pide que acierte siempre; se le pide que su número signifique algo. Por algo una medida clásica de este problema, el puntaje de Brier, la propuso en 1950 un meteorólogo. Si un modelo dice estar 90 % seguro en cien casos y acierta en sesenta, cualquier regla del tipo “si la confianza supera 0,9, automatiza” se vuelve una trampa.

Más exactos, pero peor calibrados

En 2017, un equipo de la Universidad de Cornell encabezado por Chuan Guo mostró que las redes neuronales modernas eran mucho más exactas que las de una década atrás, pero estaban peor calibradas. En los modelos de lenguaje hay un matiz que suele perderse: los recién preentrenados tienden a estar razonablemente calibrados, y la calibración se deteriora cuando se los ajusta con preferencias humanas para que conversen mejor —el llamado RLHF, aprendizaje por refuerzo con retroalimentación humana—. OpenAI lo reportó con GPT-4 y trabajos posteriores lo encontraron en muchos otros modelos. Los entrenamos para sonar útiles y, en el camino, les enseñamos a sonar más seguros de lo que están.

Por qué adivinan

En 2025, investigadores de OpenAI y Georgia Tech —Kalai, Nachum, Vempala y Zhang— propusieron una explicación que cualquier estudiante entiende. En un examen donde la respuesta en blanco vale cero y la equivocada también, adivinar nunca castiga y a veces premia. Según su análisis, la mayoría de las pruebas con que se clasifican los modelos puntúan así, y los sistemas aprenden que admitir incertidumbre es peor negocio que arriesgar una respuesta plausible. Es la idea central de este artículo: si medimos solo aciertos, premiamos la temeridad.

La tercera opción: abstenerse

La estadística lleva décadas trabajando una salida: que un sistema de decisión tenga tres resultados posibles —acertar, equivocarse o abstenerse—. Se conoce como predicción selectiva (un trabajo de referencia es el de Geifman y El-Yaniv, NeurIPS 2017) y deja dos palabras útiles para cualquier comité: cobertura, el porcentaje de casos que el sistema decide solo, y riesgo selectivo, el porcentaje de esas decisiones automáticas que sale mal. La pregunta pasa de “¿qué tanto acierta?” a “¿cuántos casos puedo automatizar sin superar el error que mi negocio tolera?”. Su extensión, aprender a delegar (Mozannar y Sontag, ICML 2020), enseña al sistema a pasarle el caso a un modelo más capaz o a una persona.

Dos preguntas distintas que le hacemos a la confianza

Esta es la parte que casi nadie separa y que, como estadístico, me parece la más importante. A la confianza de un modelo le hacemos dos preguntas diferentes:

1. ¿Es honesta en promedio? Si dice 90 %, ¿acierta cerca del 90 %? Eso es calibración, y se resume con el ECE (error de calibración esperado: la distancia promedio entre lo que el modelo dice y lo que pasa; cero es perfecto).
2. ¿Separa los aciertos de los errores? Cuando se equivoca, ¿su confianza baja? Eso se llama discriminación, y es lo que permite poner un umbral.

Parecen lo mismo y no lo son. Un modelo puede ser honesto en promedio y equivocarse con la misma seguridad con la que acierta.

Un caso que lo muestra con números

El 15 de septiembre de 2026, la empresa TypeSafe lanzó Jev, un modelo que no redacta texto: recibe una situación y unas preguntas cerradas definidas de antemano, y devuelve cada respuesta con su probabilidad. Su argumento resume bien el problema: si un modelo acierta el 95 % de las veces pero no avisa cuándo está en el otro 5 %, esa tarea no se puede automatizar.

Días después, un proyecto independiente de código abierto, judge-audit, probó a Jev y a otros modelos, entre ellos Claude Sonnet 4.5, con 200 correos empresariales sintéticos llenos de trampas: inyección de instrucciones (texto escondido que intenta darle órdenes al modelo), homoglifos (letras de otro alfabeto que parecen iguales), ambigüedad e ingeniería social.

Léelo despacio, porque contradice la intuición. Claude Sonnet 4.5 acertó un punto más y tuvo mejor calibración promedio: en una tabla de posiciones, gana. Pero cuando se equivocaba reportaba 0,88 de confianza, casi lo mismo que cuando acertaba, así que no había dónde poner el umbral: para no dejar pasar ningún error habría que exigir tanta confianza que solo quedaría el 2 % de los casos. Jev bajaba a 0,60 cuando fallaba, y ante las inyecciones su confianza cayó de 0,996 a 0,71. Esa caída no es un defecto: es la señal que un sistema necesita para decir “esto no lo decido yo”. Con el umbral donde empezaban sus dudas, el 73 % de los casos quedaba automatizado sin un solo error observado, a un costo más de cien veces menor. No fue perfecto: con los correos ambiguos su confianza no bajó, justo donde debía.

Las dos últimas filas enseñan otras trampas. DeepSeek R1 baja mucho su confianza al fallar, pero bastan unos pocos errores muy seguros para que su cobertura sin error caiga a cero: manda la cola, no la media. Y el modelo pequeño estaba más seguro cuando se equivocaba que cuando acertaba. Su confianza no informa: decora.

Los aviones que no volvieron

Hay una razón más profunda para desconfiar de un “cero errores observados”, y la mejor forma de contarla es una historia de la Segunda Guerra Mundial. Los bombarderos regresaban de sus misiones con impactos en las alas, el fuselaje y la cola, y la reacción natural era blindar donde había más agujeros. El matemático Abraham Wald, del Grupo de Investigación Estadística de la Universidad de Columbia, propuso mirarlo al revés: esos eran los aviones que habían vuelto. Sus agujeros mostraban dónde un avión podía ser alcanzado y sobrevivir. Los que recibieron disparos en los motores o en la cabina no estaban en la muestra, porque nunca regresaron. A eso se le llama sesgo del superviviente.

Con la IA ocurre lo mismo. Los errores que ves son los que regresan a la base: los casos que el sistema escaló, los que alguien revisó, los que generaron un reclamo. Los errores cometidos con alta confianza no regresan: el sistema los ejecutó sin avisar, nadie los revisó y no aparecen en ningún informe. Un modelo que acierta el 96 % y se equivoca con seguridad no tiene pocos errores; tiene errores invisibles. Y suelen ser los más caros —un crédito mal aprobado, un fraude que pasó, un paciente clasificado como estable—, porque se acumulan en silencio hasta que el daño es grande.

La lección de Wald se traduce en una regla operativa: blinda donde no hay agujeros. En la práctica, revisa una muestra aleatoria de las decisiones que el sistema automatizó con confianza alta, no solo de las que escaló. Y mide los errores por lo que cuestan, no solo por cuántos son: la exactitud cuenta igual un correo mal enrutado que un pago fraudulento aprobado.

Lo que la investigación ya sabía

Nada de esto nació con los modelos de lenguaje. Gastar cómputo según el caso tiene al menos una década de investigación detrás, en cuatro niveles:

En cascadas, el trabajo de referencia es FrugalGPT (Chen, Zaharia y Zou, de Stanford; TMLR, 2024): encadenar modelos de menor a mayor costo, y detenerse cuando la respuesta es suficientemente confiable, igualó al mejor modelo individual con ahorros de hasta 98 %. En enrutamiento, RouteLLM (UC Berkeley, Anyscale y Canva; ICLR 2025) entrenó routers —clasificadores que leen la consulta y deciden a qué modelo enviarla— y, frente a usar solo GPT-4, redujo costos en más de 85 % en conversación general, 45 % en preguntas de conocimiento y 35 % en matemáticas, conservando el 95 % de la calidad. Trabajos de 2024 como AutoMix, TREACLE y RouterDC llegan a lo mismo: no hay un modelo óptimo para todas las consultas.

Cómo se ve un sistema proporcional

La arquitectura deja de ser “problema → modelo grande → respuesta” y se parece al triaje: se identifica el tipo de problema, se asigna la herramienta mínima suficiente, una política decide qué hacer según la confianza y lo que pasó después sirve para ajustar los umbrales.

Los umbrales son ilustrativos: se fijan con tus datos y con lo que cuesta equivocarse. La salida de la IA deja de ser una respuesta y se convierte en cuatro piezas: decisión, probabilidad, política y acción. La inteligencia pasa de ser generativa a ser un componente de control operativo.

El router también se equivoca con total seguridad

La misma auditoría probó a Jev como router: decidir si una tarea iba a un modelo barato o a uno potente. Con las opciones escritas como etiquetas desnudas, no envió al potente ni una de las 40 tareas difíciles, con una confianza mediana de 0,96: su 66,7 % de exactitud era lo que obtendría una moneda pegada a la cara “fácil”. Con una línea de descripción por opción, envió 37 de las 40, y sus tres fallos llegaron con confianza de entre 0,56 y 0,60, frente a 0,93 cuando acertaba.

Mismo modelo, mismas tareas: la falla estaba en la especificación. El prompt —la instrucción que le das a un modelo— no desaparece; se transforma en la definición de la decisión, sus alternativas y sus reglas. Y ojo con otra confusión: que la respuesta siempre tenga un formato válido no significa que sea correcta. “Aprobar, 0,96” puede ser impecable en su estructura y equivocado en la realidad; lo primero lo revisa un validador automático, lo segundo solo la comparación con casos verificados por personas.

No necesitas un modelo especial para empezar

Con los modelos que ya usas puedes obtener señales de incertidumbre mejores que el número que el modelo escribe: hacer la misma pregunta varias veces y medir cuánto coinciden las respuestas, usar las probabilidades internas cuando el servicio las expone, o recalibrar los puntajes con tus decisiones históricas. Para una garantía formal, la estadística ofrece la predicción conformal, que permite afirmar cosas como “con 90 % de probabilidad, la respuesta correcta está en este conjunto”. Todas necesitan lo mismo: casos resueltos por personas para comparar.

La economía: de costo por token a costo por decisión exitosa

La conversación económica sobre IA generativa giró alrededor del costo por token (el fragmento de texto por el que cobran los proveedores, más o menos tres cuartos de palabra). Para una empresa, la unidad que importa es el costo por decisión exitosa: modelos, validaciones, revisión humana y errores que se escapan, divididos por las decisiones que salieron bien.

Un ejemplo ilustrativo, en dólares porque así se cobran los modelos: un millón de decisiones al mes; el modelo grande cuesta USD 0,01 por decisión y acierta el 96 %; revisar un caso a mano cuesta USD 1, lo que valen unos minutos de un analista (ajústalo al salario de tu país). En la versión proporcional, la mitad de los casos se resuelve con reglas, una cuarta parte con un modelo pequeño, una quinta con uno intermedio y el 5 % con el de frontera; el 30 % se escala a revisión y, en lo automatizado, se escapa un error de cada doscientos.

Tres lecciones. Primera: la inferencia es la línea más pequeña en todos los escenarios; el precio del token distrae de lo que pesa, que es la revisión y los errores. Segunda: si equivocarse es barato, no revisar nada puede ser lo más eficiente, porque pagar un control innecesario también es desperdicio; es lo que propone la matriz de proporcionalidad del control. Tercera: si equivocarse es caro, la arquitectura proporcional gana con holgura, y la palanca no es la exactitud del modelo sino la cobertura segura, que depende de la calibración. Es lo que planteé sobre el retorno de la IA: el costo de revisar es el que casi nadie pone en el denominador, y cada salida que el sistema no puede certificar solo engorda la deuda de revisión.

La paradoja de Jevons

En el siglo XIX, William Stanley Jevons observó que las máquinas de vapor más eficientes no redujeron el consumo de carbón: lo multiplicaron, porque volvieron rentables usos nuevos. TypeSafe bautizó a su modelo Jev por él. Si decidir cuesta fracciones de centavo, miles de microdecisiones —las decenas que necesita un agente de IA para una sola tarea, por ejemplo— se vuelven automatizables, y el gasto total en IA puede subir, no bajar. Con ello llegan riesgos de segundo orden: automatizar decisiones que antes pedían deliberación, y errores pequeños que, repetidos millones de veces, dejan de ser pequeños.

PULSE: dónde encaja la inteligencia proporcional

PULSE propone dejar de medir la analítica como una escalera de sofisticación y tomarle el pulso a la forma en que una organización decide: qué tan rápido, con cuánta verdad, con qué ventaja, cuánto aprende y a qué costo. La inteligencia proporcional es ese mismo criterio aplicado a la IA que participa en las decisiones.

Dos conexiones me parecen especialmente fértiles. El retrato que PULSE llama El Indeciso se curaba definiendo un umbral y un dueño para cada decisión: un sistema proporcional es eso convertido en arquitectura, y cada umbral necesita alguien que responda por él. Y la libreta de decisiones, que en PULSE era el hábito más barato para aprender, aquí es infraestructura: sin un registro de qué decidió el sistema, con qué confianza y qué pasó después, no hay forma de saber si su 90 % significa algo. La correspondencia es una síntesis mía, no un resultado validado, como expliqué en los fundamentos técnicos de PULSE.

Cómo aplicarlo, en tu empresa y en tu vida

En tu empresa: siete pasos

1. Haz el inventario de decisiones. No de “casos de uso de IA”, sino de decisiones concretas dentro de un flujo: clasificar, aprobar, enrutar, priorizar.
2. Clasifica cada una. Determinista (una regla la resuelve), estadística, semántica, generativa o crítica (consecuencias graves o irreversibles).
3. Mide cuánto cuesta equivocarse y cuántos casos hay. La matriz de proporcionalidad del control te dice cuánta supervisión necesita cada combinación.
4. Asigna la herramienta mínima suficiente. Empieza por la más simple y sube un peldaño solo con evidencia.
5. Corre el sistema en modo sombra. Que decida en paralelo, sin actuar, y compara con lo que decidieron tus personas. Así sabrás si su confianza separa aciertos de errores.
6. Fija los umbrales con datos distintos de los que usaste para elegirlos. Un umbral elegido y evaluado con los mismos casos siempre se ve mejor de lo que es.
7. Monitorea por segmentos y recalibra. Revisa una muestra aleatoria de lo que el sistema automatizó, no solo de lo que escaló: ahí se esconden los aviones que no volvieron. Un sistema puede estar bien calibrado en promedio y mal en fraude o en clientes nuevos, y los proveedores actualizan sus modelos sin avisar. Por eso los pasos 5 a 7 son un ciclo: cada cambio te devuelve al modo sombra.

En tu vida: usar la IA con proporción

• Usa lo simple para lo simple. Una calculadora no alucina una suma y un buscador te da la fuente.
• No confíes en el “estoy 95 % seguro”. Esa confianza escrita fue la menos informativa en la auditoría. Mejor pregunta lo mismo de dos formas y compara: si las respuestas no coinciden, ahí está tu zona gris.
• Ten tu propio umbral. La matriz de delegar, cocrear o proteger sirve para decidir qué dejas en manos del asistente. Salud, dinero y asuntos legales van con una persona experta.
• Lleva tu libreta. Anota cuándo se equivocó el asistente y en qué tipo de pregunta: en pocas semanas tendrás tu propio mapa de dónde confiar.

Dónde la evidencia es floja

La comparación entre Jev y Claude Sonnet 4.5 es una prueba comunitaria, no un estudio. judge-audit es un repositorio reciente, con datos sintéticos y muestras pequeñas, y sus autores lo advierten. Tiene una virtud poco común —publica cada respuesta cruda para que cualquiera recalcule—, pero nadie lo ha replicado con umbrales fijados en datos separados. Otra prueba individual, con 102 casos evaluados tres veces, encontró el mismo patrón: los tres errores de Claude Sonnet cayeron en su franja de confianza más alta. Dos pruebas pequeñas que coinciden son un indicio, no una demostración.

Las cifras de TypeSafe son del proveedor. Sus evaluaciones las construyó su equipo, la “respuesta correcta” es el promedio de dos modelos de frontera y el lanzamiento no llegó con evaluación independiente, como señaló la prensa especializada. Ahí Jev promedia 67,8 % de coincidencia, igual que Claude Sonnet 5 y por debajo de los mejores modelos de OpenAI y Anthropic; su ventaja es de costo y velocidad: USD 0,0004 y 0,4 segundos por caso, frente a USD 0,1174 y 78,1 segundos de Sonnet 5. Sus condiciones, su hardware: la velocidad se puede verificar; la calidad, todavía no.

Hay evidencia en contra. Una comparación comunitaria sobre 2.000 correos de phishing recopiló cifras publicadas en las que un modelo generalista pequeño, Claude Haiku 4.5, superaba a Jev en exactitud (0,813 frente a 0,626) y en calibración (ECE de 0,097 frente a 0,154). Calibrado por diseño no significa mejor calibrado en tu problema.

Los ahorros de FrugalGPT y RouteLLM vienen de benchmarks, pruebas estandarizadas de dominio abierto. Son trabajos revisados por pares, pero su validez para un flujo corporativo con datos sucios y casos raros es limitada: se transfiere el principio, no la cifra. Y mis marcos son didácticos: “inteligencia proporcional” no es un término académico estándar, la correspondencia con PULSE es una síntesis conceptual y el ejemplo económico muestra un mecanismo, no estima tu caso.

Qué cambiaría mi conclusión. Una evaluación independiente, con umbrales fijados en datos separados, que muestre que la confianza de los modelos generalistas —obtenida por muestreo o por sus probabilidades internas— separa los errores tan bien como la de los especializados: bastaría entonces un modelo grande bien instrumentado. Evidencia de que, en tu dominio, los errores son tan raros y baratos que la revisión sobra. O datos de producción donde los errores de enrutamiento cuesten más de lo que el enrutamiento ahorra.

Conclusión: la inteligencia más escasa es saber cuánta usar

En los primeros años de la IA generativa nos maravilló que un solo modelo pudiera hacer casi cualquier cosa. La siguiente etapa será menos espectacular y más importante: aprender a no usarlo cuando no hace falta, y construir sistemas que reconozcan cuándo no deben decidir solos.

La vara con que medimos la IA tiene que cambiar con ella. Un modelo que acierta más no es, necesariamente, uno en el que puedas confiar más. La pregunta útil nunca fue qué tan inteligente es la máquina, sino cuánta inteligencia necesita cada decisión y quién levanta la mano cuando la respuesta no está clara.

En PULSE escribí que la analítica no falla por falta de modelos, sino por falta de criterio. Con la IA ocurre lo mismo, a otra escala. Su madurez no se medirá por cuánta inteligencia podemos desplegar, sino por qué tan bien sabemos asignarla.

Preguntas frecuentes

Fuentes y lecturas

En Philia Sophia

• PULSE: decidir mejor con datos y sus fundamentos técnicos
• El prompt no es el problema: dos mapas para usar la IA con criterio
• El ROI de la IA no se calcula: se demuestra
• Alfabetización en IA: no es saber prompts, es saber juzgar
• Analítica de datos en 5 niveles · Agentes de IA: guía para 2025

Calibración, abstención y enrutamiento

• Guo y colegas — On Calibration of Modern Neural Networks (ICML 2017)
• Kalai y colegas — Why Language Models Hallucinate (2025)
• Restoring Calibration for Aligned Large Language Models (2025)
• Chen, Zaharia y Zou — FrugalGPT (TMLR 2024)
• Ong y colegas — RouteLLM (ICLR 2025)
• Angelopoulos y Bates — A Gentle Introduction to Conformal Prediction
• AMS — The Legend of Abraham Wald (2016)
• Sin enlace verificado: Geifman y El-Yaniv, Selective Classification for Deep Neural Networks (NeurIPS 2017); Mozannar y Sontag, Learning to Defer to an Expert (ICML 2020); Shazeer y colegas, Mixture-of-Experts (2017); Leviathan y colegas, Speculative Decoding (ICML 2023); Mangel y Samaniego, Abraham Wald’s Work on Aircraft Survivability (JASA, 1984).

El caso Jev y las evaluaciones comunitarias

• TypeSafe — Introducing System One Models & Jev (proveedor)
• judge-audit — auditorías de calibración (comunitaria)
• Laya vs Jev — comparación en phishing (comunitaria)
• Jev vs Claude: Who Wins? (prueba individual)
• FomoEra — cobertura del lanzamiento de Jev

Nota de transparencia. Este artículo fue investigado y escrito por Javier Forero Ruiz con asistencia de inteligencia artificial para búsqueda, contraste de fuentes, cálculo de intervalos, edición bilingüe y verificación técnica. La asistencia provino de Claude, de Anthropic, uno de los proveedores cuyos modelos aparecen en las comparaciones; por eso todas las cifras se tomaron de fuentes externas enlazadas y se añadieron matices que el borrador de partida omitía, como la mejor calibración promedio de Claude Sonnet 4.5. El ejemplo económico es ilustrativo. Las tesis, inferencias y responsabilidad editorial son mías. No se usó IA para inventar testimonios, datos ni resultados.