A startup DataPelago lançou nesta semana seu motor universal de processamento de dados, o Nucleus, desafiando a hegemonia da Nvidia no campo da inteligência artificial. A inovação, apresentada em um momento de turbulência nos investimentos do setor, busca otimizar o uso de hardware existente, incluindo GPUs da Nvidia, por meio de novos algoritmos desenvolvidos especificamente para grandes volumes de dados. O objetivo é melhorar a eficiência computacional, reduzir custos operacionais e acelerar a geração de insights para empresas que utilizam tecnologias de IA.

Otimização em processamento de dados

Por anos, as unidades de processamento gráfico (GPUs) foram importantes para lidar com volumes de dados crescentes em tarefas de inteligência artificial, pela sua capacidade de realizar milhares de cálculos simultaneamente. Mas o software ainda não consegue explorar integralmente o potencial dessas máquinas. Muitas bibliotecas, desenvolvidas para CPUs, desperdiçam largura de banda de memória e capacidade de processamento das GPUs, gerando ineficiência.

Então a Nvidia lançou em 2018 o cuDF, uma biblioteca de DataFrame acelerada por GPU, que rapidamente se tornou uma referência. No entanto, essa ferramenta tem restrições, dependendo de GPUs Nvidia com memória significativa e suporte CUDA. Isso limita seu uso em ambientes sem esse hardware específico.

A DataPelago propõe ter rompido essa limitação com seu motor universal de processamento de dados, o Nucleus. Rajan Goyal, CEO da empresa, afirma que “para aproveitar de fato os benefícios das GPUs, os processadores precisam maximizar seus pontos fortes e compensar suas limitações”. Ele complementa: “Isso exige algoritmos novos, criados especialmente para enormes volumes de dados”.

O Nucleus foi projetado para operar em qualquer hardware, processar qualquer tipo de dado e se integrar a frameworks já existentes. JG Chirapurath, presidente da DataPelago, aponta que o sistema oferece “muito mais performance a partir dos investimentos já feitos em hardware”, aproveitando a infraestrutura atual das empresas.

Implicações no cenário de IA

A proposta da DataPelago pode influenciar as empresas a buscar eficiência e flexibilidade, em detrimento de ecossistemas fechados de fornecedores únicos, ao construir infraestruturas de IA. Para Alvin Nguyen, analista sênior da Forrester, “a oferta vai atrair quem busca fugir da dependência de um único fornecedor”. Ele alerta para o desafio de migração, dado que “há uma enorme base de desenvolvedores acostumada ao ecossistema Nvidia, então migrar agora pode significar custos maiores no curto prazo”.

Nguyen também destaca uma desaceleração no avanço de workloads baseados em transformadores e o crescente peso da inferência sobre o treinamento de modelos. Neste contexto, a força bruta das GPUs deixa de ser o único fator preponderante.

Este cenário sugere uma reorientação da indústria de IA, onde o foco se desloca da busca por chips cada vez mais potentes para a inovação em algoritmos. O futuro da infraestrutura de IA pode depender menos da criação de novos processadores e mais da otimização dos recursos já disponíveis.

Chirapurath reitera que “a neutralidade de hardware é uma diferenciação estratégica, não apenas técnica. As empresas querem investimentos que continuem relevantes mesmo com a evolução da tecnologia”.

Nunca foi tão fácil ficar bem informado com O Antagonista

Inscreva-se