Imagens de Taylor Swift geradas por inteligência artificial e espalhadas amplamente pelas redes sociais no final de janeiro provavelmente surgiram como parte de um desafio recorrente em um dos fóruns de mensagens mais notórios da Internet, de acordo com um novo relatório.
A Graphika, uma empresa de pesquisa que estuda a desinformação, rastreou as imagens até uma comunidade no 4chan, um quadro de mensagens conhecido por compartilhar discursos de ódio, teorias da conspiração e, cada vez mais, conteúdo racista e ofensivo criado usando IA.
As pessoas do 4chan que criaram as imagens da cantora fizeram isso em uma espécie de jogo, disseram os pesquisadores – um teste para ver se conseguiam criar imagens obscenas (e às vezes violentas) de figuras femininas famosas.
As imagens sintéticas do Swift se espalharam por outras plataformas e foram visualizadas milhões de vezes. Os fãs se mobilizaram em defesa de Swift e os legisladores exigiram proteções mais fortes contra imagens criadas por IA.
Graphika encontrou um tópico de mensagens no 4chan que incentivava as pessoas a tentar escapar das proteções estabelecidas por ferramentas geradoras de imagens, incluindo DALL-E da OpenAI, Microsoft Designer e Bing Image Creator. Os usuários foram instruídos a compartilhar “dicas e truques para encontrar novas maneiras de contornar filtros” e foram informados: “Boa sorte, seja criativo”.
Compartilhar conteúdo desagradável por meio de jogos permite que as pessoas se sintam conectadas a uma comunidade mais ampla e sejam motivadas pelo prestígio que recebem por participar, dizem os especialistas. Antes das eleições intercalares de 2022, grupos em plataformas como Telegram, WhatsApp e Truth Social envolveram-se numa caça à fraude eleitoral, ganhando pontos ou títulos honorários por produzirem supostas provas de prevaricação eleitoral. (A prova verdadeira de fraude eleitoral é excepcionalmente rara.)
No tópico do 4chan que levou às imagens falsas da Sra. Swift, vários usuários receberam elogios – “linda geração anon”, escreveu um deles – e foram solicitados a compartilhar a linguagem usada para criar as imagens. Um usuário lamentou que uma mensagem produzisse a imagem de uma celebridade vestida com um maiô em vez de nua.
As regras postadas pelo 4chan que se aplicam a todo o site não proíbem especificamente imagens sexualmente explícitas de adultos reais geradas por IA.
“Essas imagens originaram-se de uma comunidade de pessoas motivadas pelo ‘desafio’ de contornar as salvaguardas dos produtos generativos de IA, e as novas restrições são vistas como apenas mais um obstáculo à ‘derrota’”, Cristina López G., analista sênior da Graphika, disse em um comunicado. “É importante compreender a natureza gamificada desta atividade maliciosa para evitar mais abusos na fonte.”
Swift está “longe de ser a única vítima”, disse López G.. Na comunidade 4chan que manipulou sua imagem, muitas atrizes, cantores e políticos apareceram com mais frequência do que Swift.
A OpenAI disse em comunicado que as imagens explícitas da Sra. Swift não foram geradas usando suas ferramentas, observando que ela filtra o conteúdo mais explícito ao treinar seu modelo DALL-E. A empresa também disse que usa outras proteções de segurança, como negar solicitações que perguntem pelo nome de uma figura pública ou busquem conteúdo explícito.
A Microsoft disse que estava “continuando a investigar essas imagens” e acrescentou que “fortaleceu nossos sistemas de segurança existentes para evitar ainda mais que nossos serviços sejam utilizados indevidamente para ajudar a gerar imagens como essas”. A empresa proíbe os usuários de usar suas ferramentas para criar conteúdo adulto ou íntimo sem consentimento e alerta os infratores reincidentes que eles podem ser bloqueados.
A pornografia falsa gerada com software tem sido uma praga desde pelo menos 2017, afetando celebridades, números do governo, Flâmulas do Twitch, estudantes e outros. A regulamentação irregular deixa poucas vítimas com recurso legal; menos ainda têm uma base de fãs dedicada para abafar imagens falsas com postagens coordenadas “Proteja Taylor Swift”.
Depois que as imagens falsas da Sra. Swift se tornaram virais, Karine Jean-Pierre, secretária de imprensa da Casa Branca, chamou a situação de “alarmante” e disse que a aplicação negligente pelas empresas de mídia social de suas próprias regras afetou desproporcionalmente mulheres e meninas. Ela disse que o Departamento de Justiça financiou recentemente o primeiro linha de apoio nacional para pessoas alvo de abuso sexual baseado em imagens, que o departamento descreveu como uma resposta a uma “necessidade crescente de serviços” relacionada com a distribuição de imagens íntimas sem consentimento. SAG-AFTRAo sindicato que representa dezenas de milhares de atores, chamou as imagens falsas da Sra. Swift e de outros de “roubo de sua privacidade e do direito à autonomia”.
Versões geradas artificialmente da Sra. Swift também foram usadas para promover golpes envolvendo utensílios de cozinha Le Creuset. A IA foi usada para personificar a voz do presidente Biden em chamadas automáticas, dissuadindo os eleitores de participarem das eleições primárias de New Hampshire. Especialistas em tecnologia dizem que, à medida que as ferramentas de IA se tornam mais acessíveis e fáceis de usar, paródias de áudio e vídeos com avatares realistas poderão ser criados em poucos minutos.
Os pesquisadores disseram que a primeira imagem de IA sexualmente explícita da Sra. Swift no tópico do 4chan apareceu em 6 de janeiro, 11 dias antes de terem aparecido no Telegram e 12 dias antes de surgirem no X. 404 Mídia relatou em 25 de janeiro que as imagens virais do Swift saltaram para as principais plataformas de mídia social do 4chan e de um grupo do Telegram dedicado a imagens abusivas de mulheres. A organização de notícias britânica Correio diário relatou naquela semana que um site conhecido por compartilhar imagens sexualizadas de celebridades postou as imagens de Swift em 15 de janeiro.
Por vários dias, X bloqueou buscas por Taylor Swift “com muita cautela para que possamos ter certeza de que estávamos limpando e removendo todas as imagens”, disse Joe Benarroch, chefe de operações comerciais da empresa.
