Saltar al contenido

The Operator Library · SYSTEM / 003Gratis

The Decision Layer: no gastes un modelo grande en decisiones pequeñas

The Decision Layer es una auditoría de cinco preguntas para cualquier producto que ya use IA. Revisas cada llamada a un modelo y decides si necesita generar texto y razonar o si solo necesita escoger entre opciones conocidas. Las que solo deciden pueden ir a un modelo de decisión mucho más barato, con un modelo grande y una persona para los casos dudosos.

  • 5 preguntas
  • 1.372 pendientes clasificados
  • 41 archivos revisados
  • 0,55 $ en total

Marco Sotos · Publicado en la edición 003 de The Operator Library ·

Qué es y de dónde sale

Metimos Jev, un modelo de TypeSafe que no escribe texto sino que devuelve decisiones estructuradas, dentro del desarrollo de uno de los SaaS empresariales en los que trabajamos. Le dimos 1.372 pendientes y le pedimos que decidiera cuáles merecían de verdad nuestra atención. Después revisó la consistencia de los textos de la interfaz y marcó lo que no encajaba: corregimos 41 archivos.

Entre los dos experimentos gastamos 0,55 $, lo que marca OpenRouter sumando todo el uso.

Lo importante no fue el ahorro. Fue darnos cuenta de que la primera pregunta al añadir IA a un producto no debería ser siempre «¿qué modelo es lo bastante inteligente?», sino «¿cuál es la cantidad mínima de inteligencia que necesito para tomar esta decisión?».

Para quién es

Para quien construye o dirige un producto que ya llama a modelos de IA: fundadores de SaaS, responsables técnicos y equipos de desarrollo. También para quien está a punto de añadir IA y quiere decidir la arquitectura antes de que la factura la decida por él.

Cuándo usarlo

  • Cuando la factura de la API crece más rápido que el uso del producto.
  • Antes de añadir una función de IA que se va a ejecutar miles de veces: clasificar mensajes, revisar facturas, mapear campos en una migración, etiquetar documentos o reseñas.
  • Cuando cada llamada pasa por el modelo más caro «por si acaso».

Cuándo no: si necesitas escribir, programar, investigar, razonar sobre algo complejo, crear o mantener una conversación, probablemente quieras un LLM. Un modelo de decisión encaja cuando tienes información, un conjunto de decisiones posibles y necesitas escoger. Muchas veces.

Las cinco preguntas

Copiado tal cual de la edición 003.

¿Dónde estamos gastando un modelo grande en tomar decisiones pequeñas?

Haz una lista de todas las llamadas de IA de tu producto y, para cada una, responde cinco preguntas.

1. ¿Necesito texto nuevo?

Si necesitas crear una respuesta, escribir código o generar contenido: LLM.

Si no, sigue.

2. ¿Las respuestas posibles pueden definirse antes?

Sí / No. Urgente / Normal. Fraude / Revisar / Pagar. Ventas / Soporte / Facturación. Una puntuación del 0 al 5.

Si puedes definirlas, es candidata a un modelo de decisión. (Como referencia, Jev admite hasta 255 opciones por pregunta.)

3. ¿Hay volumen?

Diez decisiones al día probablemente dan igual. Cien mil empiezan a cambiar las matemáticas.

4. ¿Puedo usar la confianza?

Por ejemplo: por encima del 95 %, automatizar; entre el 70 % y el 95 %, pasar a un modelo superior; por debajo del 70 %, a una persona.

Los umbrales dependerán por completo del riesgo.

5. ¿Qué ocurre si se equivoca?

Esta es probablemente la pregunta más importante.

Clasificar mal una reseña es molesto. Aprobar una transferencia equivocada es otra historia.

El precio de un modelo nunca debería ser el criterio principal cuando el coste de equivocarse es enorme.

Cómo queda el flujo

Imagina una bandeja con 10.000 mensajes. Primero algo responde si es urgente, si es spam, si es de facturación o si necesita revisión humana. Solo entonces gastas los tokens caros.

10.000 elementos
   ↓
  Jev
   ├── 8.700 casos obvios           → flujo normal
   ├── 1.000 casos relevantes       → modelo mayor
   └──   300 inciertos o sensibles  → persona

Y, a escala de producto, el patrón que me llevo:

software normal
   ↓
modelos baratos tomando millones de microdecisiones
   ↓
modelos grandes resolviendo los casos difíciles
   ↓
personas tomando las decisiones que de verdad importan

Un límite importante: los datos

En software para clínicas no pienso mandar datos de pacientes alegremente a una API porque cueste céntimos. Antes de llevar datos personales a un modelo nuevo, comprueba dónde se procesan y con qué garantías. Hasta verificarlo, el criterio es sencillo: datos sensibles, fuera. Los primeros casos que probaría serían facturas de proveedores o migraciones que se puedan hacer sin datos personales. Menos espectacular. Mucho más sensato.

La edición de origen

Sigue con

  • SYSTEM / 001Gratis

    The Agent Readiness Audit

    Una auditoría en siete dimensiones para saber si un asistente de IA puede encontrar, entender y recomendar tu negocio hoy.

  • Curso de Claude Code

    Para construirlo tú: el curso gratis para aprender a programar con Claude Code, de cero a una web publicada.

Ver toda la biblioteca

The Operator Library

Los sistemas nuevos llegan primero a tu correo

Cada sistema sale dentro de una edición de la newsletter, con la explicación de por qué importa. Gratis, una o dos veces por semana.

Gratis · 1–2 ediciones por semana · Sin spam · Baja con un clic