Navegador usa IA para proporcionar imersão em coleções de arte

Um novo navegador desenvolvido por pesquisadores da Universidade de São Paulo (USP) utiliza inteligência artificial (IA) para realizar pesquisas visuais em diferentes coleções de arte do país. A plataforma, batizada de Meta-Acervos, integra obras de 17 acervos brasileiros em um único ponto de busca.

O sistema reúne mais de 4.200 pinturas e desenhos, indo além da simples consulta de metadados ao “ler” as imagens por meio de modelos de visão computacional. Essa capacidade permite identificar afinidades e padrões visuais entre obras que raramente estariam dispostas lado a lado em uma pesquisa tradicional.

O projeto foi desenvolvido por um grupo de pesquisa da Faculdade de Arquitetura e Urbanismo (FAU) e de Design da USP. Ele conta com a coordenação de Giselle Beiguelman, professora da FAU, em colaboração com o Museu de Arte Contemporânea (MAC) da USP e o Festival Internacional de Linguagem Eletrônica (File).

Você pode acessar o navegador neste link.

Funcionalidades e objetivo da plataforma

A ferramenta permite ao usuário selecionar museus específicos e aplicar filtros por tipologias, focando em pinturas e desenhos, e também recortar períodos ou buscar por cores. Os resultados da pesquisa podem ser ajustados em relação ao tamanho das imagens retornadas.

Existe ainda a possibilidade de selecionar elementos dentro das próprias imagens, mesmo que em coleções distintas, para observação detalhada. O Meta-Acervos também oferece modos de navegação cronológica e um recurso que permite ao usuário criar uma imagem a partir dos resultados obtidos.

As mais de 4 mil obras disponíveis foram agregadas a partir de repositórios com dados abertos e estruturados. Entre as fontes utilizadas estão a Wikimedia GLAM, que inclui instituições como MASP, Pinacoteca de São Paulo e Museu Paulista, e o Brasiliana Museus, que engloba o Museu da Inconfidência e o Museu Victor Meirelles, além do MAC/USP.

A tecnologia por trás da análise visual

O processo tecnológico envolveu diversas etapas de processamento. Inicialmente, as 4.200 obras foram armazenadas e redimensionadas para uniformização. Em seguida, passaram por uma análise cromática para identificar as quatro tonalidades de maior relevância em cada peça, excluindo tons de cinza.

Com base nos dados, a IA converteu o conteúdo visual de cada imagem em um vetor de 1.536 números, conhecido como “embedding”, que funciona como uma representação numérica abstrata. Esses vetores possibilitaram a comparação e a correlação automática entre as obras.

“É possível selecionar um ou mais museus, filtrar por tipologias – até o momento, pinturas e desenhos – recortar períodos, buscar por cores e ajustar, no final, o tamanho das imagens retornadas. Também é possível selecionar elementos dentro das imagens, em coleções diversas, e observá-los em detalhes”, explica ao Jornal da USP a professora da FAU, Giselle Beiguelman, líder do Projeto Temático Acervos Digitais e Pesquisa.

O sistema também empregou o modelo de vocabulário aberto OWLv2 para buscar objetos específicos, como elementos da fauna e flora (árvores e animais), mesmo sem treinamento prévio. Com base nos vetores, as obras foram agrupadas automaticamente em oito conjuntos de afinidade visual (“clustering”), que reúnem peças com padrões visuais semelhantes.

Os pesquisadores também desenvolveram oito conjuntos chamados Curadorias das IAs, que reúnem obras com temáticas próximas, como estudos de figuras, paisagens e retratos, comparando os vetores das obras com vetores de palavras retiradas de descrições da Wikimedia. A estrutura do Meta-Acervos foi desenvolvida em código aberto e está publicamente disponível para consulta e colaboração no GitHub.

Nunca foi tão fácil ficar bem informado com O Antagonista

Inscreva-se