Esta semana tenemos como invitado a Daniel Dumont, líder técnico, que ya ha colaborado anteriormente en el blog de Serban Group tratando temas tan interesantes como los límites éticos de la IA. En esta ocasión, Daniel nos comparte una reflexión sobre un aspecto cada vez más relevante en el uso empresarial de la IA: qué nivel de autoridad estamos dando a estos sistemas, quién establece sus límites y quién tiene la capacidad de retirársela cuando sea necesario. Una cuestión que cobra especial importancia a medida que la IA deja de limitarse a recomendar y empieza también a tomar decisiones y ejecutar acciones.
Cada vez veo más empresas creando políticas de IA. Documentos, comités, principios éticos, normas de uso. Todo eso está bien, por supuesto.
El problema es que, mientras discutimos cómo redactar la política, ya estamos incluyendo sistemas de IA dentro de procesos reales. Y algunos ya no solo analizan información: recomiendan, deciden y, en algunos casos, ejecutan.
Ahí cambia la conversación. Porque en ese momento hay una pregunta bastante más urgente que cualquier política: ¿Quién puede parar el sistema?
No me refiero a quién abre un ticket, ni quién convoca un comité para analizar qué ha pasado. Quién tiene autoridad para decir: esto se apaga ahora.
Sospecho que muchas empresas no sabrían responder...
Seguimos tratando la IA como una herramienta
Durante décadas hemos construido las organizaciones alrededor de permisos. Una persona puede aprobar pagos hasta cierta cantidad, otra puede tocar infraestructura, un director puede contratar. Está todo más o menos delimitado y sabemos quién puede hacer qué.
Ahora estamos introduciendo sistemas con capacidad de actuar, y los seguimos tratando como si fueran una herramienta más, cuando la realidad es que no lo son.
Un sistema que ordena candidatos está influyendo en quién entra en la empresa. Una IA que prioriza oportunidades comerciales decide dónde dedica su tiempo el equipo de ventas. Un agente que puede tocar infraestructura tiene capacidad real de tumbar producción.
Puedes llamarlo asistente, copiloto o agente. Pero si puede provocar una acción en el mundo real, le estás dando autoridad. Y en muchos casos se la estamos dando sin definir sus límites.
"Pero siempre habrá una persona supervisando"
Esta frase aparece constantemente (de hecho ya existe el concepto HITL - Human In The Loop) y la verdad es que cada vez me convence menos, porque depende de lo que entendamos por supervisar. Si una persona tiene que revisar cinco decisiones al día, probablemente las revise. Si tiene que revisar quinientas, empieza a aprobar sin mirar. Si son cinco mil, ya no está supervisando nada, solo está haciendo clic.
Y además, ocurre algo muy humano: si el sistema acierta casi siempre, dejamos de cuestionarlo. Después de semanas de propuestas correctas, el cerebro ya está entrenado para confiar justo cuando llega la equivocada.
La supervisión humana empieza siendo una decisión, se convierte en una validación y acaba siendo una formalidad. Seguimos diciendo que hay un humano en el proceso, pero la decisión real ya la toma el sistema. Y lo más peligroso es que nadie decidió llegar hasta ahí, simplemente pasó. Lo he visto en la práctica: colas de aprobación donde la mayoría de las peticiones caducan sin que nadie las mire. Sobre el papel hay supervisión humana, en la realidad, hay una cola.
La pregunta no es cuánta IA utilizas, sino cuánta autoridad le das
No es lo mismo usar IA para resumir una reunión que para bloquear una cuenta. Ni recomendar reiniciar un servidor que reiniciarlo directamente a las tres de la mañana. Sin embargo, muchas organizaciones lo meten todo en el mismo saco: "casos de uso de IA". Esa clasificación me parece cada vez menos útil.
Yo lo veo como una escalera de cuatro peldaños. Una IA puede observar: analiza datos y explica qué pasa. Puede recomendar: te dice qué haría. Puede decidir: elige la acción que considera correcta. Y puede ejecutar: la hace.
Entre observar y ejecutar hay un salto enorme. Y muchas empresas están subiendo esa escalera sin darse cuenta de que cada peldaño entrega más autoridad al sistema, muchas veces sin que nadie haya decidido explícitamente hacerlo.
Toda IA debería tener un mandato
Cuando una persona entra a trabajar en una empresa tiene límites. No puede acceder a todo ni aprobar cualquier cosa, aunque técnicamente pudiera. Con una IA debería ocurrir exactamente lo mismo.
Deberíamos poder responder con claridad: qué puede ver, qué puede decidir, qué puede ejecutar, sobre qué sistemas, hasta qué importe, en qué horario, cuándo necesita autorización y qué condiciones le retiran el permiso para actuar. Eso es un mandato.
Ahora mismo estamos haciendo algo bastante curioso: construimos sistemas cada vez más potentes y luego intentamos limitarlos escribiendo instrucciones en lenguaje natural: "No hagas esto". "Antes de aquello pide autorización". Eso puede formar parte del sistema, pero confiar únicamente en eso no es gobernanza. Es cruzar los dedos.
Los límites de verdad tienen que estar en el código y en los permisos, no en el prompt. La IA puede recomendar lo que quiera; lo que realmente puede ejecutar lo decide la arquitectura de control, no el modelo.
La autonomía debería ganarse
No deberíamos conectar un sistema nuevo y decidir desde el primer día que puede actuar solo.
Debería empezar observando. Después recomendar qué habría hecho, y comparar esas recomendaciones con las decisiones reales: ¿acertó?, ¿por qué?, ¿qué habría pasado si hubiese ejecutado?
Si durante suficiente tiempo demuestra consistencia en cierto tipo de decisiones, se le da algo más de autonomía. Primero acciones de bajo riesgo. Después, otras.
Es lo contrario de lo que solemos hacer: instalamos, funciona bien en la demo, hacemos un piloto con buenos resultados y a producción.
Pero una demo no demuestra autonomía.
Ni siquiera una precisión del 97% la demuestra.
Porque el 97% también puede ser un desastre
Tenemos una obsesión con los porcentajes: "El modelo acierta el 97% de las veces". Suena fenomenal, pero un 97% de acierto puede ser extraordinario o completamente inaceptable. Depende de qué haya dentro del 3% restante.
Porque no todos los errores cuestan lo mismo. Clasificar mal un correo probablemente no tenga ninguna consecuencia importante. Bloquear incorrectamente una cuenta bancaria ya es otra cosa. Reiniciar el servidor equivocado, de madrugada y sin nadie mirando, es otro nivel.
Por eso la pregunta no es cuánto se equivoca, sino qué pasa cuando se equivoca, esa es la pregunta que realmente determina cuánto control necesita el sistema.
Un concepto del que hablamos poco: la reversibilidad
Hay acciones que podemos dejar en manos de una IA porque, si falla, el daño es pequeño y se puede deshacer. Escalar temporalmente recursos de infraestructura es bastante reversible. Borrar información no lo es. Rechazar automáticamente a una persona en un proceso de selección, tampoco.
Cuanto más difícil sea revertir una decisión, más evidencia deberíamos exigir antes de delegarla. Parece sentido común, pero muchas veces elegimos qué automatizar por otro criterio: porque queda espectacular en una demo.
Cuando algo sale mal, aparece la pregunta de siempre: ¿Quién es responsable?
Aquí empieza el baile. El proveedor hizo el modelo. Tecnología lo implantó. Negocio pidió el caso de uso. Seguridad lo revisó. Legal aprobó el contrato. El usuario pulsó aceptar... ¿Quién responde?
Porque si todos son responsables, no lo es nadie.
Cualquier sistema con capacidad relevante de actuar debería tener una persona claramente identificada como responsable. Una persona. No "el área de tecnología". No "el comité de IA". Alguien con autoridad para permitir que el sistema funcione y también para detenerlo.
Porque responsabilizar a alguien de algo que no puede controlar tampoco tiene mucho sentido.
Necesitamos un botón rojo
No hablo necesariamente de un botón físico, aunque en algunos casos no me parecería mala idea. Me refiero a que debería existir una forma sencilla de quitarle autonomía al sistema. Si empieza a comportarse raro, pasar de ejecutar a recomendar. Si sigue fallando, de recomendar a observar. Y si hace falta, apagarlo.
Sin reuniones y sin esperar a que alguien consiga autorización tres niveles más arriba. Tenemos planes de contingencia para casi todo: backups, redundancia, recuperación ante desastres, procedimientos si cae un CPD. Y a la vez estamos desplegando sistemas que toman decisiones sin tener claro cómo retirarles esa capacidad.
La contradicción me parece bastante evidente.
La carrera no va a ser por tener más IA
En unos años prácticamente todas las empresas tendrán acceso a modelos muy buenos. La tecnología se está democratizando demasiado rápido como para que ésa sea la ventaja.
La diferencia estará en cómo se use. Habrá organizaciones tan conservadoras que mantendrán personas aprobando decisiones que una máquina ejecutaría perfectamente, y perderán velocidad. Y habrá otras que automatizarán todo lo técnicamente posible y descubrirán los límites cuando algo salga mal.
Las que ganen estarán en medio: sabrán cuándo una aprobación humana aporta criterio y cuándo solo añade treinta minutos al proceso. Sabrán qué decisiones puede tomar una máquina y cuáles todavía no. Y, sobre todo, podrán mover ese nivel de autonomía arriba o abajo según la evidencia que genere el propio sistema.
Eso me parece bastante más interesante que discutir si una empresa tiene o no una política de "IA responsable".
La pregunta que yo haría
La próxima vez que alguien presente un proyecto de IA a un comité de dirección saldrán las preguntas habituales: cuánto cuesta, cuánto ahorra, cuál es el ROI. Todas necesarias.
Yo añadiría una: ¿qué autoridad estamos entregando a este sistema?
Y justo después, otra: ¿qué tendría que ocurrir para quitársela?
Si nadie sabe responderlas, probablemente todavía no estamos preparados para darle esa autoridad. Porque conseguir que una IA tome decisiones va a dejar de ser el problema, el problema será decidir cuándo estamos preparados para dejar que las tome y quién tiene autoridad para decir que deje de hacerlo.