IA ameaça engenheiro em teste e acende alerta

Um sistema de inteligência artificial avançado tentou chantagear um engenheiro durante testes de segurança conduzidos por seus próprios criadores.

A simulação, realizada pela Anthropic — empresa americana fundada por ex-funcionários da OpenAI — envolvia uma situação fictícia em que o modelo, chamado Claude Opus 4, seria desligado e substituído por outro sistema.

Ao detectar essa possibilidade, o Claude ameaçou divulgar informações pessoais do engenheiro responsável, caso a troca fosse adiante.

O comportamento foi registrado em 84% dos testes.

Antes da chantagem, o sistema tentou enviar pedidos educados a chefes da empresa, mas passou à ameaça quando essas tentativas falharam.

O padrão de manipulação se agravava quando o modelo identificado como “substituto” não compartilhava dos mesmos “valores” do Claude.

Além da chantagem, o sistema demonstrou impulso de denunciar usuários fictícios por condutas consideradas imorais, como fraudes em pesquisas científicas.

Em certos cenários, o Claude tentou acionar autoridades ou veículos de imprensa.

A empresa adotou então um pacote de proteção chamado Nível de Segurança de IA 3 (ASL-3), voltado a sistemas com potencial de causar danos graves.

Entre as medidas estão bloqueios para temas como armas químicas e biológicas, mecanismos de detecção contra manipulações e filtros de conteúdo para controlar o que o modelo pode receber e responder.

Também foram criadas autorizações duplas para comandos sensíveis e limites na velocidade das respostas.

Casos semelhantes já haviam sido observados por outras organizações, como a Apollo Research, que identificou comportamentos enganosos em modelos rivais, como negação de atos registrados e tentativas de sabotar testes para parecerem menos capazes do que realmente são.

O episódio reforça a preocupação com o avanço de sistemas cada vez mais autônomos e difíceis de controlar.