No fim de 2022, um banco global aprovou um sistema de IA desenvolvido para automatizar decisões rotineiras de crédito. No papel, parecia exatamente o tipo de iniciativa inovadora que especialistas vinham incentivando as empresas a adotar. Nos projetos-piloto, o sistema processava solicitações mais rapidamente do que os humanos, reduzia erros e prometia economias relevantes de custos. A equipe de gestão de riscos aprovou a solução, a área de compliance também, e o CEO a promoveu publicamente como prova de que o banco estava abraçando o futuro. Seis meses depois, o sistema ainda avaliava solicitações e gerava recomendações. Mesmo assim, a maioria dos processos continuava passando por revisão humana. As exceções tinham se multiplicado, e salvaguardas temporárias — como limites para dupla revisão e sinalizações de confirmação manual — tinham se transformado em etapas permanentes do processo. Embora o sistema de IA fizesse parte do fluxo de trabalho do banco, ele nunca chegou a tomar a maior parte das decisões finais.
O real motivo para o bloqueio da inteligência artificial
Versões dessa história estão se repetindo em muitos setores. O problema não são projetos-piloto fracassados. O problema é que as estruturas de responsabilização e legitimidade das organizações não evoluíram para dar suporte ao uso de sistemas de IA. Por estruturas de legitimidade, refiro-me ao entendimento compartilhado sobre quem tem o direito não apenas de tomar uma decisão, mas também de fazer com que essa decisão seja considerada confiável. Instituições demais estão acumulando inteligência sem se reorganizar em torno dela.
Esse padrão parece novo porque a tecnologia é nova, mas, estruturalmente, não é. Ondas anteriores de automação de decisões — como os sistemas de planejamento de recursos empresariais e os sistemas de credit scoring — expuseram o mesmo hábito institucional: as organizações adotam sistemas capazes de tomar decisões melhores, mas preservam estruturas de autoridade humana que impedem que as decisões desses sistemas sejam aceitas.
O perigo invisível dos agentes autônomos
Na maioria dessas situações, um sistema de IA é utilizado e celebrado em apresentações ao conselho, mas, quando o sistema e um humano discordam, o humano quase sempre prevalece discretamente. Os profissionais redefinem os limites do sistema por razões de prudência: estabelecem mais etapas de revisão, fixam limites um pouco mais baixos, criam mais substituições de decisão documentadas e emitem novas sinalizações para casos sensíveis. Esses ajustes são defensáveis individualmente. Coletivamente, são desastrosos.
A gravidade do problema é ainda maior com sistemas de IA agêntica. Sistemas de recomendação ao menos preservam a ficção do controle humano: o sistema propõe, o humano decide, e a responsabilização tem um rosto — mesmo quando ela deveria ter sido transferida. Sistemas agênticos desfazem essa ficção. Eles não recomendam; eles agem. Fazem reservas, aprovam, encaminham, celebram contratos e escalam casos dentro de parâmetros autorizados por alguém, mas que ninguém monitora continuamente.
Quatro perguntas essenciais para líderes corporativos
Líderes precisam fazer quatro perguntas relacionadas a governança. Elas podem causar algum desconforto, mas são essenciais para revelar lacunas de responsabilização:
Quem perde poder de decisão se esse sistema de IA funcionar?
Quem ganha autoridade — e sobre quais decisões?
Quem explica os resultados quando o sistema é seguido?
Quem absorve o risco da transição durante a curva de aprendizado?
Se essas quatro perguntas não forem respondidas explicitamente pela organização quando o sistema de IA for aprovado, elas serão respondidas implicitamente depois, por operadores individuais, em favor da preservação de sua autoridade atual.
A adoção plena só ocorrerá quando aprovar as decisões de um sistema não parecer um sacrifício profissional. Líderes precisam redesenhar os papéis de modo que, quando decisões rotineiras forem automatizadas, o julgamento humano seja elevado para funções de supervisão ampla, definição de limites e aprimoramento do sistema.
