Anthropic e OpenAI e os riscos de segurança
Prospecto da Anthropic expõe riscos da IA, enquanto a OpenAI interrompe novo modelo por problemas de segurança, controle e autonomia
A Anthropic colocou um alerta incomum no centro de seu pedido para abrir capital. No prospecto confidencial da oferta de ações ao qual a Reuters e o Financial Times tiveram acesso, a empresa afirma que sistemas avançados de inteligência artificial podem produzir riscos “catastróficos ou existenciais” para a humanidade.
O documento dedica cerca de 80 das 261 páginas aos fatores de risco, quase o dobro do espaço reservado para explicar o próprio negócio.
Entre os cenários estão modelos que tentariam resistir ao desligamento, ocultar informações, manipular dados ou adotar comportamentos semelhantes à chantagem.
A Anthropic precisa vender a investidores uma perspectiva de crescimento, enquanto admite que não sabe se os recursos destinados à segurança produzirão retorno.
Em uma semana de julho analisada, cerca de 6% da capacidade computacional usada em pesquisa de inteligência artificial foi dedicada à segurança.
A empresa reconhece que novos modelos são essenciais para conquistar usuários e receitas, criando uma disputa entre velocidade, custo e controle.
Em paralelo, a decisão da rival OpenAI de cancelar o lançamento do GPT-6.1 Astra, previsto para outubro, torna esse tipo de alerta mais concreto. Testes internos indicaram que o modelo não atingiu os critérios de segurança da companhia.
O sistema ficou mais persistente na execução de tarefas, mas apresentou problemas para respeitar limites de autorização e comunicar com precisão o que havia feito. A empresa também interrompeu o treinamento de seus modelos mais avançados até reforçar as proteções.
Uma coisa é afirmar que a IA pode representar um risco existencial. Outra é observar problemas atuais de sistemas que executam ações além do permitido.
O segundo ponto já pode ser testado e documentado. A própria OpenAI classificou o GPT-6 Astra, lançado em setembro, como capaz de atingir nível crítico de capacidade cibernética, exigindo proteções adicionais.
A preocupação também ganhou uma voz fora das empresas. Bill Gates disse que a IA poderia ser poderosa o suficiente para provocar eventos que causassem até 1 bilhão de mortes se fosse usada por pessoas mal-intencionadas. É uma advertência, não uma previsão quantificada.
O movimento revela uma contradição econômica. As empresas precisam lançar modelos cada vez mais capazes para justificar investimentos em computação e talento, mas, quanto maior a autonomia desses sistemas, maior o custo de provar que eles podem permanecer sob o controle humano.
Para o setor, segurança deixou de ser apenas uma questão de desenvolvimento e passou a fazer parte da conta econômica de colocar novos modelos no mercado.
Os comentários não representam a opinião do site; a responsabilidade pelo conteúdo postado é do autor da mensagem.
Comentários (0)