Confianza: una petición exitosa no es una respuesta correcta

Todo ingeniero conoce el tranquilizador “200 OK”: la petición funcionó. Con IA, eso no te dice casi nada. El modelo respondió. Si la respuesta es correcta, completa y segura para actuar con ella es otra pregunta, y es la que le importa al negocio.

La tercera etapa de cada proyecto es la confianza: hacer que un sistema sea lo bastante confiable como para que las personas actúen con lo que dice.

De qué está hecha la confianza

En el producto de coaching de ventas con IA que construimos, las puntuaciones y las alertas llegan a gerentes de ventas que toman decisiones con ellas. Por eso el modelo nunca trabaja solo:

• Salidas estructuradas. El modelo devuelve campos, no prosa: una puntuación, las razones, la evidencia citada de la llamada. Los campos se pueden validar; la prosa solo se puede leer.
• Controles de esquema y de completitud. Una respuesta a la que le falta una parte, o que trae una con la forma equivocada, se rechaza en vez de mostrarse.
• Reglas junto al modelo. Un calificador rápido basado en reglas corre al lado de la IA, así que siempre hay un punto de referencia determinista, y un respaldo cuando el modelo se demora o no está disponible.
• Procedencia. Cada puntuación registra qué prompt, qué modelo y qué calificador la produjo. Cuando alguien pregunta “¿por qué?”, la respuesta existe.
• Revisión humana donde se toma una decisión. Las personas confirman lo que dispara una acción, y sus correcciones se guardan.
• Pruebas de regresión. Un cambio en un prompt o en un modelo se prueba como un cambio en el código, antes de salir a producción.

La confianza también se trata de números simples

El error más peligroso que encontramos en ese producto no involucraba IA en absoluto. Una tasa de cierre marcaba 100% con datos de prueba cuando la real era 50%, porque los negocios de un segundo pipeline desaparecían. Siete funciones leían ese número. Un número equivocado presentado con seguridad es peor que uno ausente, así que lo corregimos en el origen y lo probamos contra una respuesta conocida.

La confianza también aplica a cómo reportamos: las cifras de precisión salen del uso real, así que las publicamos una vez que el uso real las haya producido.

Con datos en los que puedes confiar y resultados que puedes verificar, la IA por fin puede hacer algo por lo que valga la pena pagar. Esa es la cuarta etapa: el valor.