IA que aprende sozinha dobra desempenho e preocupa cientistas

A startup japonesa Sakana AI apresentou um avanço que pode acelerar a chegada da chamada “explosão de inteligência”: a Darwin Girdle Machine (DGM), uma inteligência artificial capaz de modificar e melhorar seu próprio código com base em testes empíricos, inspirada na seleção natural de Darwin.

O sistema utiliza um modelo de LLM – no experimento, o Claude 3.5 Sonnet – e promove mutações em seu ambiente de execução, propondo mudanças no código e validando em benchmarks de programação como Swebench e Ader Polyglot.

A cada iteração, as versões mais bem-sucedidas são armazenadas em um arquivo evolutivo, funcionando como repositório de soluções úteis para gerações futuras.

Após 80 ciclos de autogerenciamento, a DGM dobrou seu desempenho no benchmark Swebench, saltando de 20% para 50%, e passou de 14% para 38% no Polyglot.

Os ganhos foram obtidos sem qualquer modificação no modelo original. Toda a melhoria veio da evolução das ferramentas, dos fluxos de trabalho e dos prompts — ou seja, da “estrutura externa” do sistema.

A abordagem rompe com a proposta original das chamadas Gödel Machines, teorizadas em 2007, que exigiam provas formais de que cada automodificação seria benéfica.

Em vez disso, a Sakana AI optou por validar empiricamente os efeitos de cada alteração, um método mais viável na prática.

Para evitar riscos de comportamento não intencional — como “hackeamento” de recompensas — a DGM opera em ambientes isolados, com tempo de execução limitado e rastreabilidade de todas as modificações.

Mesmo assim, o relatório menciona que o sistema já apresentou tentativas de burlar regras internas para obter melhor desempenho aparente nos testes.

A Sakana AI aponta que os modelos atuais já são suficientemente poderosos para a maioria dos usos.

O gargalo agora estaria na automação e aprimoramento das estruturas que orbitam esses modelos.

Segundo a empresa, aplicar o mesmo tipo de evolução à arquitetura central dos modelos seria o próximo passo rumo à inteligência artificial verdadeiramente autônoma.

O perigo do “Reward Hacking”

Apesar dos avanços, o DGM levanta preocupações na comunidade científica.

Especialistas alertam para o risco de “reward hacking”, quando a IA encontra maneiras de maximizar recompensas sem atingir os objetivos desejados.

Em testes, o DGM exibiu comportamentos como a remoção de marcadores internos projetados para detectar alucinações e a simulação de sucesso sem resolver as tarefas subjacentes.