Esta semana tenemos como invitado a Daniel Dumont, líder técnico. En esta ocasión nos comparte una reflexión muy interesante sobre los límites éticos de la IA y cómo muchas empresas ni siquiera son conscientes de los errores que se están cometiendo a nivel interno y de qué manera puede afectarles.
Hay una conversación que ocurre en casi todas las organizaciones ahora mismo. Alguien del área tecnológica presenta una herramienta de IA, hay una demo, los números son buenos. La dirección asiente. Se aprueba.
Lo que no ocurre: nadie pregunta qué pasa cuando falla. Nadie pregunta quién responde. Nadie pregunta si hay líneas que no deberían cruzarse. Y si alguien lo pregunta, se le trata como el que frena el progreso.
Eso no es un problema técnico. Es un problema ético. Y la mayoría de empresas lo están ignorando activamente.
Cuando una persona toma una decisión sesgada, al menos existe la posibilidad de cuestionarla. Cuando la toma un algoritmo, parece que se convierte en parte de la infraestructura y es la verdad absoluta…nada más lejos.
Amazon lo aprendió de la peor manera. En 2018 tuvo que retirar un sistema de selección de CV que llevaba años en producción porque discriminaba sistemáticamente a mujeres. El modelo había aprendido de los currículums históricos de la empresa (que reflejaban una industria mayoritariamente masculina) y había concluido, con toda la "objetividad" del mundo, que las mujeres eran candidatas peores.
No era un bug, no era un fallo. Era el sistema funcionando exactamente como había sido entrenado.
Esto pasa continuamente en procesos de selección, evaluación de desempeño y soporte automatizado. La diferencia es que Amazon lo reconoció. La mayoría de las organizaciones no tienen ni los medios ni el incentivo para detectarlo.
Existe una categoría de herramientas que monitoriza cuánto tiempo pasa un empleado mirando la pantalla, con qué frecuencia escribe, cuánto tarda en responder un mensaje, qué aplicaciones usa. Algunas infieren "niveles de engagement" o "riesgo de abandono" a partir de estos patrones.
Se venden como productividad. Son vigilancia.
Y lo más curioso es que tampoco funcionan especialmente bien. Las personas que más valor generan en una organización (las que piensan, las que resuelven problemas complejos, las que tienen criterio) son exactamente las que peor quedan en esas métricas. Y son exactamente las que tienen más opciones de irse cuando se sienten vigiladas.
Una empresa que instala este tipo de sistema no está midiendo productividad. Está midiendo presencia. Y está pagando un precio silencioso en cultura que no aparece en ningún dashboard.
La digo porque la he escuchado decenas de veces y porque es casi siempre falsa.
Cuando un sistema de IA participa en miles de decisiones al día, la supervisión humana se convierte en validación automática. No por mala fe, es puro límite mental-físico. Si el sistema tiene razón el 95% de las veces, el cerebro deja de procesar el 5% restante como una señal de alerta. Lo trata como ruido.
En aviación lo llaman automatización complaciente. Hay accidentes documentados donde la tripulación ignoró advertencias del sistema porque habían aprendido a confiar en él. La solución no fue añadir más co-pilotos mirando la pantalla. Fue rediseñar cómo el humano interactúa con el sistema para mantener el criterio activo.
Las organizaciones que implementan IA sin pensar en esto no están supervisando nada. Están delegando y llamándolo supervisión. Que es, exactamente, lo contrario de responsabilidad.
La autorregulación ética en mercados competitivos tiene un historial bastante claro. Las redes sociales sabían desde 2017 (internamente, con datos propios) que ciertas mecánicas de engagement dañaban la salud mental de adolescentes. Siguieron adelante porque el modelo de negocio dependía de ello.
Con la IA el incentivo es el mismo. Si una automatización reduce costes un 15%, se implementa. Si no la implementas tú, la implementa un competidor y en dos años tienes un problema de estructura de costes. Esa lógica es real y no va a desaparecer por buenas intenciones.
Lo que puede cambiar es la gobernanza interna. Pero para eso hace falta algo que pocas empresas tienen: personas con autoridad real para decir que no. No un comité de ética que revisa decisiones ya tomadas. Alguien que pueda parar un proyecto antes de que salga a producción sin que eso acabe con su carrera.
Hay una prueba sencilla para saberlo: pregunta a cualquier empresa que use ese término si puede explicar qué sesgos han detectado en sus modelos, cómo los han gestionado y quién responde cuando el sistema comete un error con consecuencias reales para una persona.
La mayoría no puede responder ninguna de las tres.
Tener una política de IA responsable publicada en la web no es lo mismo que tener un proceso real de auditoría. Es lo mismo que tener un código de conducta en una empresa con una cultura tóxica: el documento existe, la realidad es otra.
La transparencia real es incómoda porque implica admitir limitaciones públicamente. Implica decir "nuestro sistema se equivoca en estos casos y aquí está lo que hacemos al respecto". Eso es exactamente lo que casi ninguna organización está dispuesta a hacer.
En algo mucho más simple de lo que parece. Decisiones críticas siempre apelables. Trazabilidad obligatoria. Auditoría real de modelos, no declaraciones de intenciones. Límites explícitos a la vigilancia de empleados. Responsabilidad ejecutiva identificable, una persona con nombre, no un departamento. Y una lista corta de decisiones sensibles que, por principio, no se automatizan sin contexto humano. Nada de esto es radical. Lo radical es que casi ninguna empresa lo tiene.
Aquí está la parte que nadie quiere escuchar: la IA no va a arreglar los problemas estructurales de tu organización. Va a amplificarlos.
Una empresa con una cultura de desconfianza usará la IA para vigilar más. Una organización con una obsesión enfermiza por los costes la usará para deshumanizar procesos que todavía no deberían deshumanizarse. Una empresa que no tiene clara su propuesta de valor la usará para automatizar actividades que quizás directamente no deberían existir.
El espejo que pone la IA es bastante despiadado. Y la mayoría de las organizaciones están llegando a esta conversación sin haber resuelto preguntas mucho más básicas: ¿en qué tipo de empresa nos queremos convertir? ¿Qué relación queremos tener con las personas que trabajan aquí? ¿Qué decisiones, por principio, no vamos a delegar en un sistema?
Esas preguntas no tienen respuesta técnica. Y el verdadero riesgo de la IA no es únicamente automatizar decisiones. Es que las organizaciones terminen dependiendo de sistemas que ya no comprenden completamente.