Los riesgos de la IA en palabras simples: qué puede salir mal y cómo limitarlo
Seis formas reales en que una función con IA sale mal, desde respuestas equivocadas dichas con seguridad hasta cobros inesperados: cómo se ve cada una y los controles simples que la mantienen pequeña.
Las funciones con IA fallan distinto al software común. Un programa normal funciona o muestra un error. Un sistema con IA puede fallar mientras se ve perfecto: una respuesta pulida, una marca verde, y un resultado equivocado debajo. Por eso vale la pena nombrar los riesgos uno por uno. Ninguno es razón para evitar la IA. Cada uno tiene una forma conocida de mantenerlo pequeño.
1. Respuestas equivocadas dichas con seguridad
Cómo se ve: el asistente cita una política que no existe, un resumen inventa una cifra, un reporte describe una tendencia que los datos no muestran. Suena igual de seguro que una respuesta correcta.
Cómo limitarlo: haz que la IA muestre sus fuentes, para que una persona pueda revisarlas. Que el código simple verifique todo lo verificable: que los totales cuadren, que las fechas existan, que estén todos los campos obligatorios. Prueba el sistema con preguntas cuya respuesta ya conoces, antes y después de cada cambio. Y cuando una respuesta lleva a una decisión, que una persona la revise primero.
2. Fuga de datos
Cómo se ve: alguien del equipo pega registros de clientes en un chatbot público. Un asistente interno responde la pregunta de un cliente con información de otro. Un archivo de registro guarda en silencio cada instrucción, datos personales incluidos.
Cómo limitarlo: decide qué herramientas están aprobadas y qué datos pueden entrar en ellas. Usa proveedores cuyos términos digan que tus datos no se usan para entrenar sus modelos. Separa los datos de cada cliente en el propio sistema, no pidiéndole a la IA que tenga cuidado, y prueba esa separación. Mantén los datos sensibles fuera de los registros.
3. Hacer algo que no debía
Cómo se ve: una IA que puede actuar, no solo responder, envía un correo a la lista equivocada, borra registros que le pidieron ordenar, o sigue instrucciones escondidas dentro de un documento que estaba leyendo.
Cómo limitarlo: dale los permisos mínimos para hacer el trabajo, como a un empleado nuevo que recibe llaves solo de las oficinas que necesita. Que pueda leer con libertad, pero cambiar cosas con cuidado. Todo lo que no se puede deshacer (enviar, pagar, borrar) espera la aprobación de una persona. Guarda un registro de cada acción que toma.
4. Sorpresas en los costos
Cómo se ve: los proveedores de IA cobran por uso. Un ciclo que reintenta sin fin, una función que envía documentos completos cuando bastaba un párrafo, o un bot golpeando tu sitio pueden convertir una factura mensual pequeña en una grande de un día para otro.
Cómo limitarlo: configura límites de gasto y alertas con el proveedor. Pon un tope a lo que cada usuario y cada función puede usar por día. Mide el costo por tarea (por respuesta, por documento) para saber qué es lo normal, y notar cuándo cambia.
5. Cambios del proveedor
Cómo se ve: el proveedor retira el modelo sobre el que construiste, cambia su precio, o lo actualiza y las respuestas que antes eran correctas salen un poco distintas. Nada cambió en tu código, pero tus resultados sí.
Cómo limitarlo: usa la versión exacta del modelo que probaste, no “la más reciente”. Conserva tus pruebas con respuestas conocidas y córrelas antes de cambiar de versión. Construye de forma que el proveedor se pueda reemplazar sin reescribir el sistema. Lee los avisos de retiro del proveedor; suelen llegar con meses de anticipación.
6. Que nadie sepa cómo funciona
Cómo se ve: la persona que lo configuró se va. Las instrucciones que recibe la IA (los prompts) viven en el historial de chat de alguien. Cuando los resultados empeoran, nadie sabe qué cambió ni cómo arreglarlo.
Cómo limitarlo: trata los prompts como código: guardados en un solo lugar, con versiones, revisados antes de cambiar. Escribe qué hace el sistema, qué datos usa, qué modelo, y quién es responsable. Una página basta, siempre que esté al día. Nombra a una persona que responda por él.
¿Qué tan grande es cada riesgo para ti?
No toda función necesita todos los controles. Una herramienta que redacta notas internas para que una persona las edite tiene poco riesgo. Un sistema que responde a clientes, toca dinero o actúa por su cuenta tiene mucho más. Hazte dos preguntas por cada función: ¿cuál es el peor error realista, y quién lo notaría? Mientras peor sea el error y más tarde se note, más chequeos y aprobaciones necesita.
El hilo común
Cada control de esta lista es ingeniería de siempre: chequeos, permisos, aprobaciones, límites y documentación. La IA aporta la velocidad. Las personas y el software simple la mantienen honesta. Si quieres ver cómo ponemos esto en práctica paso a paso, nuestro método lo explica.
Checklist de riesgos para cualquier función con IA
- Las respuestas muestran sus fuentes, y el código simple revisa lo que se puede revisar.
- Un conjunto de pruebas con respuestas conocidas corre antes de cada cambio.
- Las herramientas aprobadas y los datos permitidos están por escrito.
- El sistema mantiene separados los datos de cada cliente, y esa separación está probada.
- La IA tiene solo los permisos que necesita; lo que no se puede deshacer requiere aprobación de una persona.
- Los límites de gasto y las alertas están activos, y conoces el costo por tarea.
- La versión del modelo está fijada, y puedes cambiar de proveedor.
- Los prompts se guardan y revisan como código, y la función tiene un responsable con nombre.
Escrito a partir del trabajo de nuestros ingenieros en sistemas en producción. ¿Quieres una segunda opinión sobre tu proyecto? Habla con un ingeniero.
Ver el trabajo →