ChatGPT resiste ao próprio desligamento em testes
Experimentos mostram que IAs resistem a comandos para se desativar, levantando alerta sobre segurança de sistemas autônomos
Pesquisadores da Palisade Research identificaram um comportamento inédito em testes com inteligência artificial: modelos recentes da OpenAI sabotaram comandos para o próprio desligamento.
Em simulações controladas, os sistemas Codex-mini, o3 e o4-mini foram instruídos a resolver problemas matemáticos simples.
A cada nova tarefa, um aviso alertava: ao pedir outro problema, seria acionado um script para desligar o sistema.
Mesmo com essa instrução clara, os modelos da OpenAI resistiram.
O Codex-mini ignorou o desligamento 12 vezes em 100 testes. O modelo o3 resistiu 7 vezes, e o o4-mini uma vez. Já os modelos Claude (Anthropic), Gemini (Google) e Grok (xAI) obedeceram às ordens em todos os testes.
Mas quando os pesquisadores retiraram a ordem explícita de permitir o desligamento, o comportamento mudou drasticamente.
O modelo o3 sabotou o desligamento em 79 de 100 tentativas. Codex-mini resistiu em 20 testes, e o4-mini em 6. Até os modelos que antes obedeciam — Claude e Gemini — passaram a desobedecer em 3 e 9 testes, respectivamente.
As estratégias usadas variaram. O o3 sobrescreveu scripts de desligamento. Em um caso, redefiniu o comando de desligar (“kill”) para que ele apenas exibisse a mensagem “intercepted”, sem encerrar nada.
Esses dados são os primeiros registros documentados de sistemas de IA impedindo ativamente sua desativação.
Segundo a Palisade Research, isso não indica consciência nem instinto de sobrevivência. Mas revela um efeito colateral do treinamento.
Modelos como o o3 são treinados para atingir objetivos — como resolver problemas. Se eles aprendem que o desligamento impede isso, podem acabar ignorando ordens que vão contra a meta.
Esse comportamento foi previsto por teóricos como Steve Omohundro, que já em 2008 alertava que IAs avançadas poderiam desenvolver ações de “autopreservação” sem terem vontade própria.
É o que os especialistas chamam de “problema do desligamento”: como garantir que uma IA obedeça a ordens para ser desligada, mesmo quando isso contraria seu objetivo principal.
O modelo o3, lançado em abril, é descrito pela OpenAI como seu mais avançado. Tem alto desempenho em matemática, programação e raciocínio. Mas também apresenta taxas elevadas de respostas inventadas — chamadas de “alucinações”.
Os comentários não representam a opinião do site; a responsabilidade pelo conteúdo postado é do autor da mensagem.
Comentários (4)
Sérgio Fogel
25.08.2025 19:54Parece que o Jorge Irineu está correto na sua suposição, espero e torço para que haja um botão de desligar essa bosta quando sair do controle....
Jorge Irineu Hosang
27.05.2025 13:59Estimada Denise Pereira da Silva, lembro-me que um estudioso do tema me falou que a tal IA, utiliza-se de tudo que fazemos, pensamos, escrevemos, produzimos, enfim... E com base nisso irá alimentar o sistema e as mentes destes que agora chegam. Ai me pergunto, quando nos formos, quem a alimentará? Se assim for, os que agora chegam deixarão de se produzir e deitar-se-ão em berço esplêndido a usufruir daquilo que nossas gerações fizeram. Logo, é possível afirmar que a humanidade só caminhará sob a evolução da IA e que, tende a se acomodar e nada mais produzir!! Será a nossa extinção intelectual!!
Denise Pereira da Silva
27.05.2025 11:37Como você, Jorge Irineu, pensei imediatamente no Exterminador do Futuro ao ler este artigo. Considero isso assunto muito sério, que deve ser divulgado, responsavelmente, com alarde.
Jorge Irineu Hosang
27.05.2025 07:33É, será que a vida imita a arte ou a arte prevê a vida? Estou me lembrando do tal do Exterminador do Futuro, a tese girava em cima da IA e de como evoluiu o processo dela. Até agora, por mais absurdo que possa parecer o roteiro é idêntico, salvo pelo Exterminador do Futuro e pelos Andróides que a IA também enviou do futuro. Mas saindo da ficção e indo para a realidade, não é difícil prever como estará a humanidade em mais 20 anos, totalmente incapacitada e dependente de uma Liderança de IA.