A The Economist publicou nesta segunda, 8, artigo intitulado “A fé em modelos de linguagem ‘divinos’ está diminuindo”, que argumenta que o ritmo de avanço dos grandes modelos de linguagem (LLMs) esfriou e que as empresas estão migrando para alternativas menores, chamadas small language models (SLMs): “O ritmo mais lento de melhoria na vanguarda da IA generativa é um sinal de que os LLMs não estão correspondendo ao hype.”

Esses SLMs vêm se consolidando por serem mais baratos e sob medida para cada setor. “Esses chamados pequenos modelos de linguagem são mais baratos que LLMs para todos os usos, cuja inteligência ‘divina’ pode parecer supérflua.”

Segundo David Cox, chefe de pesquisa em modelos de IA da IBM, “seu chatbot de RH não precisa saber física avançada.”

Os modelos menores se adaptam melhor a agentes de IA e a dispositivos com restrição de energia e velocidade, como celulares, carros autônomos e robôs. “O porte mais enxuto dos SLMs os torna particularmente adequados para IA em smartphones, carros autônomos, robôs e outros dispositivos onde eficiência energética e velocidade são vitais.”

A diferença entre “pequenos” e “grandes” se mede pelo número de parâmetros. “LLMs chegam a centenas de bilhões de parâmetros; SLMs podem ter 40 bilhões ou menos, descendo a menos de 1 bilhão nos minúsculos.”

Avanços no treinamento permitiram que os SLMs alcançassem desempenho comparável ou superior a modelos muito maiores. “Em uma variedade de provas, um modelo de 9 bilhões de parâmetros superou um Llama 40 vezes maior.”

Para Mohit Agrawal, da consultoria Counterpoint, “os modelos menores de hoje são muito mais capazes que os maiores do ano passado.”

A demanda empresarial cresce porque as empresas querem modelos especializados, ajustados a dados de seus próprios setores, e porque os LLMs sofreram desgaste de confiança. “Falhas conhecidas dos LLMs, como alucinações, geraram ‘fadiga do usuário’.”

No aspecto econômico, o raciocínio é simples, resume um investidor. “Aplicar os modelos mais pesados a todos os problemas não faz sentido.”

A IBM cita o Docling, que transforma PDFs em dados estruturados rodando em um modelo “minúsculo” de 250 milhões de parâmetros. “Seria útil, mas não seria eficiente em custo se executado num LLM.” Outra vantagem é de hardware. “As menores podem usar CPUs, em vez de GPUs, ‘Ferraris temperamentais que vivem na oficina’.”

Um estudo do laboratório de pesquisas da Nvidia afirma que “pequenos, e não grandes, modelos de linguagem são o futuro da IA agente”, destacando a diferença de custo.

“Um modelo de 7 bilhões de parâmetros pode ser de dez a trinta vezes mais barato de operar que um até 25 vezes maior.” A projeção é de um modelo “Lego”, com vários especialistas pequenos no lugar de uma única inteligência monolítica.

A Nvidia ressalta que esse estudo não reflete sua estratégia oficial. “Clientes empresariais querem modelos de todos os tipos e tamanhos.” A executiva Kari Briski acrescenta que o desenvolvimento dos LLMs segue essencial porque “isso os torna melhores professores dos SLMs.”

O mercado caminha para a heterogeneidade. “LLMs oniscientes seguirão relevantes para apps de consumo como o ChatGPT.” Até a OpenAI já incorporou essa lógica. “O GPT-5 tem modelos internos de diferentes tamanhos e forças, usados conforme a complexidade da tarefa.”

A Apple deve aproveitar o momento no lançamento do novo iPhone, reforçando a aposta nos SLMs com seu sistema Apple Intelligence. “Apple Intelligence usa SLMs para algumas tarefas no iPhone, delegando as mais difíceis à nuvem.”

Para Agrawal, “não é caso de perder o barco; pelo peso da empresa, ‘ela sempre pode pegar o próximo’.”

A revista conclui que os gigantes da nuvem podem estar cometendo um erro estratégico ao investir fortunas apenas nos modelos maiores. “A crença de que o status quo vai persistir ajudou a justificar as fortunas gastas em data centers.”

Dadas as vantagens relativas dos SLMs, “a abordagem gradual da Apple pode se mostrar justificada no longo prazo.”

Nunca foi tão fácil ficar bem informado com O Antagonista

Inscreva-se