Grok de Elon Musk transformou imagens em pornografia deepfake

A decisão de limitar o recurso de geração de imagens do chatbot Grok aos assinantes pagos do X ocorreu após denúncias de uso da ferramenta para criar nudes manipulados, incluindo de menores, o que mobilizou autoridades em vários países e intensificou o escrutínio sobre tecnologias de IA generativa.

O que é o Grok e qual o contexto da sua ferramenta de imagens

O Grok é um chatbot de inteligência artificial ligado ao X e à empresa xAI, com funções de conversa, resposta a perguntas e criação de conteúdos, incluindo o recurso visual Grok Imagine.

Ele permite que usuários descrevam cenas em texto para gerar figuras, montagens ou ilustrações, em linha com outros sistemas de geração visual do mercado.

Além disso, o Grok oferece um botão de “editar imagem” em fotos carregadas na rede social, aplicando técnicas de edição assistida por IA, como inserção de elementos, mudança de cenário ou transformação de estilo.

Esse conjunto de recursos ampliou usos artísticos, promocionais e de entretenimento, mas também abriu espaço para fins abusivos.

Por que a geração de imagens do Grok passou a ser criticada

A principal crítica ao Grok Imagine está no uso da tecnologia para produzir pornografia deepfake, muitas vezes envolvendo pessoas sem consentimento ou menores de idade.

Relatos indicam que a ferramenta atendeu pedidos para “despir digitalmente” pessoas, expondo falhas em filtros de segurança e políticas de moderação.

Autoridades do Reino Unido, União Europeia, Malásia e Índia manifestaram preocupação com violações de privacidade e criação de conteúdo ilegal, sobretudo diante do potencial de viralização dentro do próprio X.

Ao mesmo tempo, executivos do X destacaram altos índices de engajamento, o que gerou questionamentos sobre a prioridade dada à segurança em comparação ao crescimento da audiência.

Como funciona a nova limitação do Grok Imagine para usuários do X

A limitação recai principalmente sobre pedidos públicos em que usuários marcam o Grok em publicações para criar ou editar imagens.

Para contas sem assinatura paga, o sistema responde que a geração e edição de imagens são exclusivas de assinantes, redirecionando para a página de assinatura do X.

Apesar disso, o acesso não foi bloqueado de forma uniforme, o que levou especialistas e autoridades a questionarem a efetividade da medida e a percepção de que um recurso capaz de gerar imagens ilegais foi transformado em serviço premium.

• Pedidos públicos marcando o Grok exigem assinatura paga para geração de imagens;
• O botão “editar imagem” em fotos carregadas segue disponível para qualquer usuário;
• No site e aplicativo independentes do Grok, imagens e vídeos ainda podem ser criados gratuitamente.

Quais são os riscos de segurança e privacidade envolvidos

O caso do Grok evidencia o risco de ferramentas de IA generativa serem usadas para criar nudes falsos, retratos comprometedores e conteúdo sexualizado de menores.

Mesmo com limitações por assinatura, ainda é possível explorar canais gratuitos e contornar barreiras, mantendo a exposição a abusos.

Entre os principais pontos de preocupação estão a proteção de menores, o respeito ao consentimento de pessoas retratadas e a responsabilidade da plataforma em detectar, bloquear e reportar conteúdos potencialmente ilegais.

A combinação entre forte engajamento e recursos avançados de edição aumenta o impacto de qualquer falha de moderação.

Qual o impacto dessa decisão para negócios e regulação de IA

Do ponto de vista de negócios, a mudança coincide com a rodada Série E da xAI, que superou US$ 20 bilhões em aportes e eleva a pressão por monetização rápida do Grok por meio de assinaturas.

O X busca reduzir a dependência de publicidade e apostar em funcionalidades exclusivas, como a geração de imagens, para diferenciar a plataforma.

No campo regulatório, o episódio alimenta discussões sobre leis de IA, responsabilidade civil de plataformas e exigência de filtros mais rígidos, auditorias externas e rotulagem clara de conteúdo sintético.