Nos últimos anos, os chatbots ganharam espaço por executarem tarefas cada vez mais complexas. Entre elas, a capacidade de resumir textos e interpretar documentos longos se tornou um diferencial. Porém, muitos especialistas ainda questionam se essas ferramentas realmente compreendem o que leem.

Recentemente, um estudo avaliou o desempenho de cinco sistemas populares: ChatGPT, Claude, Copilot, Meta AI e Gemini. O objetivo foi analisar se essas IAs conseguem interpretar corretamente diferentes tipos de conteúdo, indo além do simples processamento de palavras.

Como os chatbots se saíram em diferentes áreas do conhecimento?

Os pesquisadores testaram os chatbots em quatro categorias: literatura, medicina, direito e política. Em cada uma, surgiram desafios distintos. Na literatura, por exemplo, as IAs tiveram dificuldade em captar nuances e mensagens subjetivas dos textos. Assim, demonstraram limitações em interpretações mais profundas.

Já na área médica, o desempenho melhorou. Como os chatbots têm acesso a grandes bancos de dados científicos, conseguiram fornecer resumos técnicos mais adequados. Porém, no campo jurídico, os resultados foram mistos. Enquanto algumas ferramentas identificaram cláusulas importantes, outras ignoraram pontos críticos que exigem interpretação precisa.

Os chatbots realmente entendem o conteúdo que processam?

Apesar dos avanços, o estudo mostrou que a compreensão dos chatbots ainda é limitada. Com exceção de uma IA, todas as demais apresentaram “alucinações”, ou seja, inventaram informações que não estavam no texto original. Isso pode representar riscos graves, principalmente em áreas como direito e saúde.

O Claude se destacou por apresentar menos erros e por sugerir melhorias coerentes nos textos, especialmente em documentos técnicos e contratos. Então, os analistas consideraram esse desempenho superior ao dos concorrentes.

Quais foram os melhores e os piores chatbots do estudo?

• Claude: 69.9 pontos, desempenho mais estável
• ChatGPT: 68.4 pontos, resultado próximo ao do líder
• Copilot, Meta AI e Gemini: ficaram abaixo da média geral

Assim, o estudo mostrou que existe uma grande variação entre os modelos, mesmo com objetivos parecidos.

O que esperar do futuro dos chatbots na leitura de textos?

A tendência é que os chatbots continuem evoluindo. Porém, ainda não conseguem substituir a análise crítica feita por seres humanos. Mesmo com melhorias, essas ferramentas precisam de supervisão constante.

Então, antes de confiar cegamente nas respostas geradas por IA, é essencial avaliar os riscos e garantir que haja sempre revisão humana. A tecnologia pode ajudar muito, mas não deve operar sozinha em decisões importantes.