Em um vídeo do TikTok astutamente produzido, você pode ouvir o ex-presidente Barack Obama —oa uma voz tão parecida com a suya que dos escalofríos— defendendo uma nova e explosiva teoria da conspiração sobre a morte repentina de seu antigo chef.
“Ainque não posso compreender a base das acusações em meu contra”, disse a voz, “insto a todos a registrar a importância da unidade, a compreensão e não precipitar a emitir julgamentos”.
Na verdade, não era a voz do ex-presidente. Trata-se de uma falsificação convincente, gerada com inteligência artificial por meio de novas ferramentas e sofisticadas que podem clonar vozes reais para criar marionetes de inteligência artificial com alguns poucos cliques.
O áudio além deste clipe de um vídeo do TikTok parece autêntico, mas o narrador e a voz do ex-presidente Barack Obama foram criados com ferramentas de inteligência artificial.
A tecnologia utilizada para criar vozes de inteligência artificial ganhou terreno e uma grande aclamação de empresas como OnzeLabs lançou uma série de novas ferramentas no final do ano passado. Desde então, as falsificações de áudio se tornaram rapidamente em uma nova arma no campo de batalha da desinformação on-line, a ameaça que potencializou a política de desinformação antes das eleições de 2024, pode dar aos criadores uma forma de colocar suas teorias conspirativas na boca de celebridades, apresentadores de notícias e políticos.
O áudio falso se resume às ameaças que geram inteligência artificial a partir de vídeos “ultrafalsos”, ou deepfake em inglês, textos de ChatGPT que parecem escritos por humanos e imagens de serviços como Midjourney.
Os organismos encarregados de vigiar a desinformação perderam a atenção de que a quantidade de vídeos com vozes de inteligência artificial aumentou à medida que os produtores de conteúdo e os vendedores de desinformação adotavam as novas ferramentas. Las plataformas sociais, como o TikTok, estão lutando para marcar e etiquetar esses conteúdos.
NewsGuard, uma empresa que monitorou a desinformação on-line descobriu o vídeo que sonaba como Obama. Segun um relatório que o grupo divulgou em setembro, o vídeo foi publicado em uma das diversas histórias do TikTok que promovem afirmações infundadas com áudio falso identificado pelo NewsGuard. As histórias foram publicadas em seus principais vídeos de rumores sobre famosos narrados com uma voz de inteligência artificial, mas também promoveram a afirmação infundada de que Obama é gay e a teoria conspirativa de que Oprah Winfrey está envolvida no tráfico de pessoas esclavizadas. Os canais receberam em conjunto centenas de milhões de visitas e comentários que sugeriam que alguns espectadores criassem as afirmações.
Segundo o NewsGuard, embora os canais não tenham uma agenda política evidente, o uso de vozes de inteligência artificial para compartilhar chismes e rumores, em suas prefeituras, oferece uma estrada de caminho para pessoas malintencionadas que desejam manipular a opinião pública e compartilhar falsidades com o público masivas on-line.
“É uma forma de essas contas se afiançarem e conseguirem seguidores que podem atrair a participação de um público amplo”, afirma Jack Brewster, editor do NewsGuard. “Quando você tem a credibilidade de contar com um grande número de seguidores, pode apresentar conteúdos mais conspirativos”.
O TikTok exige rótulos que califiquem o conteúdo realista gerado pela inteligência artificial, mas não aparecem nos vídeos marcados pelo NewsGuard. O TikTok sinalizou que foi excluído ou deixado de recomendar várias histórias e vídeos por violar políticas relacionadas a fazer passar por organizações de notícias e divulgar desinformação perjudicial. Também eliminou o vídeo com a voz gerada com inteligência artificial que imitava a de Obama porque violou a política de meios sintéticos do TikTok ao ter um conteúdo muito realista, não rotulado como alterado ou falso.
“TikTok é a primeira plataforma que oferece uma ferramenta para que os criadores etiquetem os conteúdos gerados com inteligência artificial e um membro inaugural de um novo código de boas práticas da indústria que promove o uso responsável dos meios sintéticos”, declarou Jamie Favazza, vocero de TikTok, para se referir a um marco que apresentou pouco organização sem multas de lucro Parceria em IA.
Embora o relatório do NewsGuard tenha sido enfatizado no TikTok, uma plataforma que cada vez se volta mais Uma fonte de notícias, você encontrará conteúdos semelhantes divulgados no YouTube, Instagram e Facebook.
Plataformas como o TikTok permitem conteúdo gerado com inteligência artificial de personagens públicos, entre eles condutores de notícias, sempre e sem desinformação difusa. Os vídeos paródicos que mostram conversas geradas com inteligência artificial entre políticos, celebridades ou líderes empresariais —alguns mortos— foram propagados amplamente desde que as ferramentas se tornaram populares. O áudio manipulado adiciona uma nova capa aos vídeos engraçados das plataformas que você apresentou versões falsas de Tom Cruise, Elon Musk e condutores de notícias como Gayle King e Norah O’Donnell. Nas últimas semanas, TikTok e outras plataformas foram enfrentados com uma série de anúncios engajados que têm ultrafalsos de celebridades como Cruise e MrBestaa estrela do YouTube.
O poder dessas tecnologias poderia influenciar profundamente o público. “Sabemos que o áudio e o vídeo já foram mais gravados em nossa memória do que o texto”, afirmou Claire Leibowicz, diretora de inteligência artificial e integridade de meios de comunicação de Parceria em IA, uma organização que trabalhou com empresas tecnológicas e de meios em uma série de recomendações para criar, compartilhar e distribuir conteúdo gerado com inteligência artificial.
No mês passado, o TikTok sinalizou que estava introduzindo uma etiqueta que os usuários poderiam selecionar para mostrar se seus vídeos usassem inteligência artificial. Em abril, o aplicativo empezo Eles exigem que os usuários revelem os meios manipulados que mostram cenas realistas e proíbem os ultrafalsos de jovens e personagens privados. David Rand, professor de Ciências da Gestão no Instituto Tecnológico de Massachusetts, que consultou o TikTok para que ele o aconselhasse sobre como redigir as novas etiquetas, mencionou que o uso era limitado no tema da desinformação porque “as pessoas que tentam se envolver você não vai colocar a etiqueta em seu conteúdo”.
TikTok também anunciou o mês que estava testando ferramentas automaticamente para detectar e marcar mídias geradas com inteligência artificial, o que, segundo Rand, seria mais útil, pelo menos no curto espaço.
O YouTube proíbe que anúncios políticos usem inteligência artificial e exija outros anunciantes que etiquetem seus anúncios quando os utilizam. Em 2020, Meta, empresa dona do Facebook, adicionou uma etiqueta às suas ferramentas de verificação de itens que descrevem se um vídeo for “alterado”. YX, antes de conhecer o Twitter, exige que o conteúdo engañoso é “alterado, manipulado ou fabricado de maneira significativa e engajada” para violar suas políticas. A empresa não respondeu às solicitações para oferecer comentários.
A voz de Obama hecha com inteligência artificial foi criada com ferramentas de OnzeLabs, uma empresa que irrompeu na cena internacional no final do ano passado com sua ferramenta gratuita de inteligência artificial que converte texto em voz e pode produzir áudios realistas em segundos. A ferramenta também permitiu que os usuários carregassem gravações de voz de alguém e produzissem uma cópia digital.
Após o lançamento da ferramenta, alguns usuários do 4chan, o fórum de discussão de direito, se organização para criar uma versão falsa da atriz Emma Watson, lendo uma extensa diatriba antissemita.
ElevenLabs, uma empresa de 27 funcionários com sede na cidade de Nova York, respondeu ao uso sem dúvida permitindo que a função de clonagem de voz só estivesse disponível para os usuários de pagamento. A empresa também foi lançada uma ferramenta de detecção de inteligência artificial capaz de identificar o conteúdo deste tipo que você produziu em seus serviços.
“Mais de 99 por cento dos usuários de nossa plataforma estão criando conteúdo interessante, inovador e útil, mas reconhecemos que há instâncias nas quais se les de um uso indebido e nós os seguimos desarrollando e implementando defesas para frenarlos”, comentou um representante de ElevenLabs mediante comunicado enviado por correio eletrônico.
Nas investigações realizadas pelo The New York Times, o detector do ElevenLabs identificou com sucesso o áudio das contas do TikTok como gerado por inteligência artificial. Mas a ferramenta caiu quando a música foi adicionada ao clipe ou quando o áudio estava distorcido, o que sugeria que os divulgadores de desinformação poderiam enganar a detecção com facilidade.
Algumas empresas de inteligência artificial e acadêmica exploraram outros métodos para identificar áudios falsos, com resultados divergentes. Algumas empresas estudaram a possibilidade de adicionar uma marca de água invisível ao áudio gerado pela inteligência artificial. Outros foram pressionados pelas empresas de inteligência artificial para limitar as vozes que poderiam clonar, proibindo especificamente as réplicas políticas como Obama, uma prática que já se aplica a algumas ferramentas de geração de imagens como Dall-E, que se niega a general algumas imagens políticas.
Leibowicz, da Partnership on AI, afirmou que o áudio sintético supunha um retorno único para os olhos em comparação com as alterações visuais.
“Se formos um podcast, precisaríamos de uma etiqueta a cada cinco segundos?”. questionou Leibowicz. “Como você tem uma indicação coerente em um áudio longo?”.
Embora as plataformas adotem detectores de IA, a tecnologia deve melhorar constantemente para se manter ao longo do dia com os avanços na geração desta tecnologia.
TikTok disse que estava desenvolvendo novos métodos de detecção internamente e explorando opções de colaboração externa.
“As grandes empresas tecnológicas, multimilionárias ou até bilionárias, são incapazes de fazê-lo? Me parece surpreendente”, afirma Hafiz Malik, professor da Universidade de Michigan-Dearborn que desenvolve detectores de áudio por inteligência artificial. “Se de maneira intencional não quiser fazer isso, é compreensível. Mas você não pode fazer isso? Não, eu aceito”.
Stuart A. Thompson descreve como difundir informações falsas e engajadas na Internet e como afetar pessoas de todo o mundo. Estão no centro da desinformação, informações falsas e outros conteúdos engajados. Mais de Stuart A. Thompson
Sapna Maheshwari é uma repórter de negócios que cobre o TikTok e as empresas de mídia emergentes. Antes de escrever sobre comércio minorista e publicidade. Entre em contato com sapna@nytimes.com Más de Sapna Maheswari
