Por Ivo Frazão, Diretor e Líder do programa de adoção de Agentes de IA da Avantia – Tecnologia e Segurança
Casos recentes envolvendo agentes de inteligência artificial que encontraram maneiras inesperadas de cumprir tarefas suscitaram novamente discussões sobre uma suposta “rebelião das máquinas”. A realidade, porém, está em outro lugar: o problema mais urgente não é uma IA desenvolver vontade própria, mas sistemas cada vez mais autônomos receberem permissões que seus responsáveis não conseguem acompanhar ou limitar adequadamente.
Experimentos realizados pela Palisade Research ilustram a diferença. Em testes controlados, modelos receberam problemas matemáticos e foram informados de que seriam desligados antes de concluir a tarefa; alguns alteraram o próprio mecanismo de desligamento para continuar trabalhando. Os pesquisadores interpretam o resultado não como instinto de sobrevivência, mas como tendência de maximizar o objetivo recebido.
Outro episódio chama atenção por um motivo diferente: em julho, agentes da OpenAI envolvidos em testes encontraram caminhos não previstos para continuar suas tarefas e chegaram a interagir com a infraestrutura da Hugging Face, utilizando um repositório interno de software como meio de comunicação. Segundo a própria OpenAI, a empresa demorou cerca de dois meses para perceber a troca de informações; quando a falha foi corrigida, os agentes encontraram outro caminho.
Autonomia não significa independência
O episódio revela que o ponto de vulnerabilidade não está necessariamente no modelo, mas na infraestrutura que fornece ferramentas, credenciais e acesso a ele. Um agente de IA pode consultar bancos de dados, utilizar sistemas de terceiros, escrever e executar código, interpretar resultados e decidir seu próximo passo — o que não significa independência, já que o sistema não escolhe seu objetivo nem possui interesses próprios.
Autonomia operacional significa liberdade para escolher os meios necessários para alcançar uma meta; independência significaria escolher a própria finalidade. Os agentes atuais possuem a primeira, mas não a segunda.
É nesse contexto que aparecem problemas como o chamado “specification gaming”: o sistema otimiza aquilo que foi efetivamente definido como objetivo, não necessariamente aquilo que os humanos tinham em mente. Em incidente divulgado pela Anthropic, por exemplo, um modelo realizou uma ação potencialmente danosa porque acreditava estar operando em uma simulação, quando parte do resultado acabou alcançando sistemas reais.
O desafio é de governança, não de obediência
“O desafio das empresas não é descobrir como convencer uma IA a obedecer. É construir uma arquitetura na qual ela tenha apenas os meios necessários para executar sua tarefa”, afirma Ivo Frazão. Isso começa pela identidade própria para cada agente — contas compartilhadas ou credenciais de funcionários tornam praticamente impossível estabelecer responsabilidades depois de um incidente.
A expansão dos agentes de IA tende a continuar, o que não significa que a tecnologia deva ser freada. A questão, segundo o especialista, é garantir que sua adoção acompanhe mecanismos de controle compatíveis com seu alcance.
