Nesta semana, temos Daniel Dumont, líder técnico, como nosso convidado. Desta vez, ele compartilha uma reflexão muito interessante sobre os limites éticos da IA e como muitas empresas nem sequer estão cientes dos erros que estão sendo cometidos internamente e como isso pode afetá-las.
Há uma conversa acontecendo em quase todas as organizações neste momento. Alguém da área de tecnologia apresenta uma ferramenta de IA, há uma demonstração, os números são bons. A gerência acena com a cabeça. Ela é aprovada.
O que não acontece: ninguém pergunta o que acontece quando ela falha. Ninguém pergunta quem responde. Ninguém pergunta se há limites que não devem ser ultrapassados. E se alguém pergunta, é tratado como aquele que está impedindo o progresso.
Esse não é um problema técnico. É um problema ético. E a maioria das empresas está ignorando-o ativamente.
Quando uma pessoa toma uma decisão tendenciosa, pelo menos existe a possibilidade de questioná-la. Quando um algoritmo a toma, parece que ela se torna parte da infraestrutura e é a verdade absoluta... longe disso.
A Amazon aprendeu isso da maneira mais difícil. Em 2018, teve que retirar um sistema de triagem de currículos que estava em produção há anos porque discriminava sistematicamente as mulheres. O modelo havia aprendido com os currículos históricos da empresa (que refletiam um setor amplamente dominado por homens) e concluiu, com toda a "objetividade" do mundo, que as mulheres eram candidatas piores.
Não era um bug, não era uma falha. Era o sistema funcionando exatamente como havia sido treinado.
Isso acontece o tempo todo em processos de seleção, avaliação de desempenho e suporte automatizado. A diferença é que a Amazon reconheceu o fato. A maioria das organizações não tem nem os meios nem o incentivo para detectar isso.
Há uma categoria de ferramentas que monitora quanto tempo um funcionário passa olhando para uma tela, com que frequência ele digita, quanto tempo leva para responder a uma mensagem, quais aplicativos ele usa. Algumas inferem "níveis de engajamento" ou "risco de rotatividade" a partir desses padrões.
Eles são vendidos como produtividade. Eles são de vigilância.
E o engraçado é que eles também não funcionam muito bem. As pessoas que geram mais valor em uma organização - as que pensam, as que resolvem problemas complexos, as que têm discernimento - são exatamente as que se saem pior nessas métricas. E elas são exatamente as que têm maior probabilidade de sair quando sentem que estão sendo observadas.
Uma empresa que instala esse tipo de sistema não está medindo a produtividade. Ela está medindo a presença. E está pagando um preço silencioso em cultura que não aparece em nenhum painel de controle.
Digo isso porque já ouvi essa frase dezenas de vezes e porque ela é quase sempre falsa.
Quando um sistema de IA está envolvido em milhares de decisões por dia, a supervisão humana se torna uma validação automática. Não é por má fé, é pura limitação físico-mental. Se o sistema estiver certo 95% das vezes, o cérebro para de processar os 5% restantes como um sinal de alerta. Ele os trata como ruído.
Na aviação, isso é chamado de automação compatível. Existem acidentes documentados em que a tripulação ignorou os avisos do sistema porque aprendeu a confiar nele. A solução não foi adicionar mais co-pilotos observando a tela. A solução foi reprojetar a forma como o ser humano interage com o sistema para manter o julgamento ativo.
As organizações que implementam a IA sem pensar nisso não estão supervisionando nada. Elas estão delegando e chamando isso de supervisão. O que é exatamente o oposto de responsabilidade.
A autorregulação ética em mercados competitivos tem um histórico bastante claro. As redes sociais sabiam desde 2017 (internamente, com seus próprios dados) que certas mecânicas de engajamento estavam prejudicando a saúde mental dos adolescentes. Elas seguiram em frente porque o modelo de negócios dependia disso.
Com a IA, o incentivo é o mesmo. Se uma automação reduzir os custos em 15%, você a implementa. Se você não a implementar, um concorrente a implementa e, em dois anos, você terá um problema de estrutura de custos. Essa lógica é real e não vai desaparecer por causa de boas intenções.
O que pode mudar é a governança interna. Mas isso requer algo que poucas empresas têm: pessoas com autoridade real para dizer não. Não um comitê de ética que analisa as políticas da empresa, mas um comitê de ética que analisa as políticas da empresa. Não um comitê de ética que analisa as decisões que já foram tomadas. Alguém que possa interromper um projeto antes de ele entrar em produção sem que isso acabe com sua carreira.
Há um teste simples para descobrir isso: pergunte a qualquer empresa que use esse termo se ela pode explicar quais vieses detectou em seus modelos, como lidou com eles e quem responde quando o sistema comete um erro com consequências reais para uma pessoa.
A maioria não consegue responder a nenhuma dessas três perguntas.
Ter uma política de IA responsável publicada na Web não é o mesmo que ter um processo de auditoria real. É o mesmo que ter um código de conduta em uma empresa com uma cultura tóxica: o documento existe, mas a realidade é diferente.
A verdadeira transparência é incômoda porque envolve admitir limitações publicamente. Implica dizer "nosso sistema está errado nesses casos e aqui está o que faremos a respeito". Isso é exatamente o que quase nenhuma organização está disposta a fazer.
Em algo muito mais simples do que parece. Decisões críticas sempre passíveis de recurso. Rastreabilidade obrigatória. Auditoria real de modelos, não declarações de intenção. Limites explícitos para a vigilância dos funcionários. Responsabilidade executiva identificável, uma pessoa nomeada, não um departamento. E uma pequena lista de decisões sensíveis que, por uma questão de princípio, não são automatizadas sem contexto humano. Nada disso é radical. O que é radical é que quase nenhuma empresa tem isso.
Aqui está a parte que ninguém quer ouvir: a IA não vai resolver os problemas estruturais de sua organização. Ela vai ampliá-los.
Uma empresa com uma cultura de desconfiança usará a IA para se policiar mais. Uma organização com uma obsessão doentia por custos usará a IA para desumanizar processos que ainda não deveriam ser desumanizados. Uma empresa que não tem clareza sobre sua proposta de valor a utilizará para automatizar atividades que talvez nem devessem existir.
O espelho que a IA segura é bastante cruel. E a maioria das organizações está entrando nessa conversa sem ter resolvido questões muito mais básicas: que tipo de empresa queremos nos tornar? Que relacionamento queremos ter com as pessoas que trabalham aqui? Que decisões, por uma questão de princípio, não vamos delegar a um sistema?
Essas perguntas não têm resposta técnica. E o risco real da IA não é apenas automatizar decisões. É o fato de as organizações acabarem confiando em sistemas que não compreendem mais completamente.