Esta semana, temos como convidado Daniel Dumont, líder técnico, que já colaborou anteriormente no blog do Serban Group abordando temas tão interessantes quanto os limites éticos da IA. Nesta ocasião, Daniel compartilha conosco uma reflexão sobre um aspecto cada vez mais relevante no uso empresarial da IA: que nível de autoridade estamos concedendo a esses sistemas, quem estabelece seus limites e quem tem a capacidade de retirá-la quando necessário. Uma questão que ganha especial importância à medida que a IA deixa de se limitar a fazer recomendações e passa também a tomar decisões e executar ações.
Vejo cada vez mais empresas criando políticas de IA. Documentos, comitês, princípios éticos, normas de uso. Tudo isso é ótimo, é claro.
O problema é que, enquanto discutimos como redigir a política, já estamos incorporando sistemas de IA em processos reais. E alguns já não se limitam apenas a analisar informações: eles recomendam, decidem e, em alguns casos, executam.
É aí que a conversa muda. Porque, nesse momento, há uma pergunta bem mais urgente do que qualquer política: quem pode desligar o sistema?
Não estou me referindo a quem abre um ticket, nem a quem convoca um comitê para analisar o que aconteceu. Quem tem autoridade para dizer: isso vai ser desligado agora.
Suspeito que muitas empresas não saberiam responder...
Continuamos tratando a IA como uma ferramenta
Durante décadas, construímos as organizações com base em permissões. Uma pessoa pode aprovar pagamentos até um determinado valor, outra pode mexer na infraestrutura, um diretor pode contratar. Tudo está mais ou menos delimitado e sabemos quem pode fazer o quê.
Agora estamos introduzindo sistemas com capacidade de agir e continuamos tratando-os como se fossem mais uma ferramenta, quando a realidade é que não são.
Um sistema que classifica candidatos está influenciando quem entra na empresa. Uma IA que prioriza oportunidades comerciais decide onde a equipe de vendas dedica seu tempo. Um agente com acesso à infraestrutura tem capacidade real de interromper a produção.
Você pode chamá-lo de assistente, copiloto ou agente. Mas se ele pode provocar uma ação no mundo real, você está lhe concedendo autoridade. E, em muitos casos, estamos concedendo essa autoridade sem definir seus limites.
“Mas sempre haverá uma pessoa supervisionando”
Essa frase aparece constantemente (na verdade, já existe o conceito HITL — Human In The Loop) e, na verdade, ela me convence cada vez menos, porque depende do que entendemos por supervisionar. Se uma pessoa precisa revisar cinco decisões por dia, provavelmente ela as revisará. Se tiver que revisar quinhentas, ela começa a aprovar sem olhar. Se forem cinco mil, ela já não está supervisionando nada, está apenas clicando.
Além disso, ocorre algo muito humano: se o sistema acerta quase sempre, deixamos de questioná-lo. Depois de semanas de propostas corretas, o cérebro já está treinado para confiar justamente quando chega a decisão errada.
A supervisão humana começa sendo uma decisão, transforma-se em uma validação e acaba se tornando uma formalidade. Continuamos dizendo que há um ser humano no processo, mas a decisão real já é tomada pelo sistema. E o mais perigoso é que ninguém decidiu chegar a esse ponto; simplesmente aconteceu. Já vi isso na prática: filas de aprovação em que a maioria dos pedidos expira sem que ninguém os analise. No papel, há supervisão humana; na realidade, há uma fila.
A questão não é quanta IA você usa, mas quanta autoridade você concede a ela
Não é a mesma coisa usar IA para resumir uma reunião do que para bloquear uma conta. Nem recomendar reiniciar um servidor do que reiniciá-lo diretamente às três da manhã. No entanto, muitas organizações colocam tudo no mesmo saco: “casos de uso de IA”. Essa classificação me parece cada vez menos útil.
Eu vejo isso como uma escada de quatro degraus. Uma IA pode observar: analisa dados e explica o que está acontecendo. Pode recomendar: diz o que faria. Pode decidir: escolhe a ação que considera correta. E pode executar: faz o que foi decidido.
Entre observar e executar há um salto enorme. E muitas empresas estão subindo essa escada sem perceber que cada degrau confere mais autoridade ao sistema, muitas vezes sem que ninguém tenha decidido explicitamente fazer isso.
Toda IA deveria ter um mandato
Quando uma pessoa começa a trabalhar em uma empresa, ela tem limites. Ela não pode acessar tudo nem aprovar qualquer coisa, mesmo que tecnicamente pudesse. Com uma IA, deveria acontecer exatamente a mesma coisa.
Devemos ser capazes de responder com clareza: o que ela pode ver, o que pode decidir, o que pode executar, em quais sistemas, até que valor, em que horário, quando precisa de autorização e quais condições retiram sua permissão para agir. Isso é um mandato.
No momento, estamos fazendo algo bastante curioso: construímos sistemas cada vez mais potentes e, em seguida, tentamos limitá-los escrevendo instruções em linguagem natural: “Não faça isso”. “Antes disso, peça autorização”. Isso pode fazer parte do sistema, mas confiar apenas nisso não é governança. É cruzar os dedos.
Os limites reais precisam estar no código e nas permissões, não no prompt. A IA pode recomendar o que quiser; o que ela realmente pode executar é decidido pela arquitetura de controle, não pelo modelo.
A autonomia deve ser conquistada
Não devemos conectar um novo sistema e decidir, desde o primeiro dia, que ele pode agir sozinho.
Ele deveria começar observando. Depois, recomendar o que teria feito e comparar essas recomendações com as decisões reais: acertou? Por quê? O que teria acontecido se tivesse executado?
Se, por tempo suficiente, ele demonstrar consistência em um determinado tipo de decisão, concede-se a ele um pouco mais de autonomia. Primeiro, ações de baixo risco. Depois, outras.
É o contrário do que costumamos fazer: instalamos, funciona bem na demonstração, fazemos um piloto com bons resultados e partimos para a produção.
Mas uma demonstração não comprova autonomia.
Nem mesmo uma precisão de 97% demonstra isso.
Porque 97% também pode ser um desastre
Temos uma obsessão por porcentagens: “O modelo acerta 97% das vezes”. Parece fantástico,mas uma precisão de 97% pode ser extraordinária ou completamente inaceitável. Depende do que estiver contido nos 3% restantes.
Porque nem todos os erros têm o mesmo custo. Classificar um e-mail de forma errada provavelmente não terá nenhuma consequência significativa. Bloquear uma conta bancária por engano já é outra história. Reiniciar o servidor errado, de madrugada e sem ninguém por perto, é outro nível.
Por isso, a questão não é o quanto ele erra, mas o que acontece quando ele erra; essa é a pergunta que realmente determina quanto controle o sistema precisa.
Um conceito sobre o qual falamos pouco: a reversibilidade
Há ações que podemos deixar nas mãos de uma IA porque, se ela falhar, o dano é pequeno e pode ser revertido. Aumentar temporariamente os recursos de infraestrutura é bastante reversível. Apagar informações, não. Rejeitar automaticamente uma pessoa em um processo de seleção, também não.
Quanto mais difícil for reverter uma decisão, mais evidências deveríamos exigir antes de delegá-la. Parece senso comum, mas muitas vezes escolhemos o que automatizar com base em outro critério: porque fica espetacular em uma demonstração.
Quando algo dá errado, surge a pergunta de sempre: quem é o responsável?
Aí começa a confusão. O fornecedor criou o modelo. A equipe de tecnologia implementou. A área de negócios solicitou o caso de uso. A equipe de segurança revisou. O departamento jurídico aprovou o contrato. O usuário clicou em “aceitar”... Quem responde?
Porque, se todos são responsáveis, ninguém é.
Qualquer sistema com capacidade relevante de agir deve ter uma pessoa claramente identificada como responsável. Uma pessoa. Não “a área de tecnologia”. Não “o comitê de IA”. Alguém com autoridade para permitir que o sistema funcione e também para pará-lo.
Porque responsabilizar alguém por algo que essa pessoa não pode controlar também não faz muito sentido.
Precisamos de um botão vermelho
Não estou falando necessariamente de um botão físico, embora, em alguns casos, não me pareça uma má ideia. Refiro-me a que deveria existir uma maneira simples de retirar a autonomia do sistema. Se ele começar a se comportar de forma estranha, passar de “executar” para “recomendar”. Se continuar falhando, de “recomendar” para “observar”. E, se for preciso, desligá-lo.
Sem reuniões e sem esperar que alguém consiga autorização três níveis acima. Temos planos de contingência para quase tudo: backups, redundância, recuperação de desastres, procedimentos caso um data center caia. E, ao mesmo tempo, estamos implantando sistemas que tomam decisões sem termos clareza de como retirar essa capacidade deles.
A contradição me parece bastante evidente.
A corrida não vai ser para ter mais IA
Em alguns anos, praticamente todas as empresas terão acesso a modelos muito bons. A tecnologia está se democratizando rápido demais para que isso seja uma vantagem.
A diferença estará em como ela for utilizada. Haverá organizações tão conservadoras que manterão pessoas aprovando decisões que uma máquina executaria perfeitamente, e perderão agilidade. E haverá outras que automatizarão tudo o que for tecnicamente possível e descobrirão os limites quando algo der errado.
As vencedoras estarão no meio: saberão quando uma aprovação humana traz critério e quando apenas acrescenta trinta minutos ao processo. Saberão quais decisões uma máquina pode tomar e quais ainda não. E, acima de tudo, poderão ajustar esse nível de autonomia para mais ou para menos, de acordo com as evidências geradas pelo próprio sistema.
Isso me parece bem mais interessante do que discutir se uma empresa tem ou não uma política de “IA responsável”.
A pergunta que eu faria
Da próxima vez que alguém apresentar um projeto de IA a um comitê de direção, surgirão as perguntas de sempre: quanto custa, quanto economiza, qual é o ROI. Todas necessárias.
Eu acrescentaria mais uma: que autoridade estamos concedendo a esse sistema?
E logo em seguida, outra: o que teria que acontecer para retirá-la?
Se ninguém souber responder a essas perguntas, provavelmente ainda não estamos preparados para conceder essa autoridade. Porque fazer com que uma IA tome decisões deixará de ser o problema; oproblema será decidir quando estaremos preparados para permitir que ela as tome e quem tem autoridade para dizer que ela deve parar de fazê-lo.