Novos modelos do ChatGPT apontam maior número de alucinações

A OpenAI recentemente introduziu dois novos modelos de inteligência artificial, o o3 e o o4-mini, que, apesar de apresentarem avanços significativos em áreas como programação e matemática, enfrentam um problema crescente: as alucinações. Este fenômeno ocorre quando os modelos geram informações imprecisas ou fictícias, comprometendo a confiabilidade das respostas.

Tradicionalmente, esperava-se que cada nova geração de modelos de IA melhorasse na redução de alucinações. No entanto, os modelos o3 e o4-mini desafiaram essa expectativa, apresentando um aumento nos erros em comparação com versões anteriores, como o o1 e o o3-mini, conforme relatado por fontes do setor.

Por que as alucinações aumentaram nos novos modelos?

Ainda não está claro por que os modelos mais recentes da OpenAI estão alucinando mais. A empresa reconhece a necessidade de mais investigações para entender esse fenômeno. Embora os novos modelos sejam mais eficazes em tarefas complexas, como cálculos matemáticos, eles também são mais propensos a cometer erros factuais.

Em testes de avaliação, como o PersonQA, que mede o conhecimento dos modelos sobre indivíduos, o o3 apresentou alucinações em uma porcentagem significativa das questões, superando as taxas de erro de modelos anteriores. O o4-mini, em particular, teve um desempenho inferior, destacando a necessidade de melhorias.

Impactos das alucinações na aplicação da IA

As alucinações nos modelos de IA têm implicações sérias, especialmente em setores que exigem precisão, como jurídico e médico. Testes independentes revelaram que os modelos, por vezes, criam informações inexistentes, como links para sites fictícios, o que pode comprometer a confiança em suas respostas.

Pesquisadores sugerem que o tipo de aprendizado de reforço utilizado pode estar exacerbando esses problemas, ao invés de mitigá-los. Isso levanta preocupações sobre a aplicabilidade dos modelos em ambientes que exigem alta confiabilidade.

Estratégias para mitigar alucinações em IA

Uma abordagem promissora para reduzir alucinações é a integração de ferramentas de busca na internet aos modelos de IA. Modelos que possuem essa capacidade, como o GPT-4o com acesso à web, têm demonstrado maior precisão em testes de desempenho. A OpenAI está comprometida em melhorar a precisão de seus modelos e considera a resolução das alucinações uma prioridade contínua.

Enquanto a indústria de IA continua a explorar modelos de raciocínio, que oferecem vantagens em termos de eficiência computacional, é crucial abordar os desafios associados às alucinações para garantir que esses sistemas sejam confiáveis e úteis em aplicações práticas.

O caminho à frente para a OpenAI

A OpenAI está investindo em pesquisas para entender e corrigir as causas das alucinações em seus modelos de IA. A empresa está empenhada em desenvolver sistemas que não apenas avancem em termos de capacidade de raciocínio, mas que também sejam precisos e confiáveis. À medida que novas soluções são exploradas, espera-se que os modelos futuros ofereçam um equilíbrio melhor entre inovação e precisão.