A artista Stephanie Dinkins há muito tempo é pioneira na combinação de arte e tecnologia em seu consultório no Brooklyn. Em maio, ela recebeu US$ 100.000 do Museu Guggenheim por suas inovações revolucionárias, incluindo uma série contínua de entrevistas com Bina48, um robô humanoide.
Nos últimos sete anos, ela experimentou a capacidade da IA de retratar realisticamente mulheres negras, sorrindo e chorando, usando uma variedade de prompts de palavras. Os primeiros resultados foram medíocres, se não alarmantes: seu algoritmo produziu um humanóide rosa envolto por um manto preto.
“Eu esperava algo com um pouco mais de semelhança com a feminilidade negra”, disse ela. E embora a tecnologia tenha melhorado desde seus primeiros experimentos, Dinkins se viu usando termos indiretos nos prompts de texto para ajudar os geradores de imagem de IA a alcançar a imagem desejada, “para dar à máquina a chance de me dar o que eu queria”. Mas, quer ela use o termo “mulher afro-americana” ou “mulher negra”, as distorções da máquina que mutilam as características faciais e as texturas do cabelo ocorrem em altas taxas.
“As melhorias obscurecem algumas das questões mais profundas que devemos fazer sobre a discriminação”, disse Dinkins. O artista, que é negro, acrescentou: “Os preconceitos estão profundamente enraizados nesses sistemas, tornando-se arraigados e automáticos. Se estou trabalhando em um sistema que usa ecossistemas algorítmicos, quero que esse sistema saiba quem são os negros de maneiras diferenciadas, para que possamos nos sentir melhor apoiados.
Ela não está sozinha em fazer perguntas difíceis sobre a relação problemática entre IA e raça. Muitos artistas negros estão encontrando evidências de preconceito racial na inteligência artificial, tanto nos grandes conjuntos de dados que ensinam as máquinas a gerar imagens quanto nos programas subjacentes que executam os algoritmos. Em alguns casos, as tecnologias de IA parecem ignorar ou distorcer os prompts de texto dos artistas, afetando como os negros são retratados nas imagens e, em outros, parecem estereotipar ou censurar a história e a cultura negras.
A discussão sobre o viés racial na inteligência artificial aumentou nos últimos anos, com estudos mostrando que as tecnologias de reconhecimento facial e os assistentes digitais têm dificuldade em identificar as imagens e os padrões de fala de pessoas não brancas. Os estudos levantaram questões mais amplas de justiça e viés.
As principais empresas por trás dos geradores de imagens de IA – incluindo OpenAI, Stability AI e Midjourney – se comprometeram a melhorar suas ferramentas. “O viés é um problema importante em todo o setor”, disse Alex Beck, porta-voz da OpenAI, em uma entrevista por e-mail, acrescentando que a empresa está continuamente tentando “melhorar o desempenho, reduzir o viés e mitigar resultados prejudiciais”. Ela se recusou a dizer quantos funcionários estavam trabalhando com preconceito racial ou quanto dinheiro a empresa havia alocado para o problema.
“Os negros estão acostumados a passar despercebidos”, o artista senegalês Linda Dúnia Rebeiz escreveu na introdução de sua exposição “In/Visible”, para Arquivo Feral, um mercado NFT. “Quando somos vistos, estamos acostumados a ser deturpados.”
Para provar seu ponto durante uma entrevista com um repórter, Rebeiz, 28 anos, perguntou ao gerador de imagens da OpenAI, DALL-E 2, imaginar edifícios em sua cidade natal, Dacar. O algoritmo produziu paisagens desérticas áridas e edifícios em ruínas que Rebeiz disse não serem nada parecidos com as casas costeiras da capital senegalesa.
“É desmoralizante”, disse Rebeiz. “O algoritmo se inclina para uma imagem cultural da África que o Ocidente criou. O padrão é os piores estereótipos que já existem na internet.”
No ano passado, OpenAI disse foi estabelecendo novas técnicas para diversificar as imagens produzidas pelo DALL-E 2, para que a ferramenta “gere imagens de pessoas que reflitam com mais precisão a diversidade da população mundial”.
Artista presente na exposição de Rebeiz, Minne Atairu é um Ph.D. candidato do Teachers College da Universidade de Columbia que planejava usar geradores de imagens com jovens estudantes de cor no sul do Bronx. Mas agora ela se preocupa “que isso possa levar os alunos a gerar imagens ofensivas”, explicou Atairu.
Incluídas na exposição Feral File estão imagens de seus “Blonde Braids Studies”, que exploram as limitações do algoritmo de Midjourney para produzir imagens de mulheres negras com cabelos loiros naturais. Quando o artista pediu uma imagem de gêmeos idênticos negros com cabelos loiros, o programa produziu um irmão com pele mais clara.
“Isso nos diz de onde o algoritmo está reunindo imagens”, disse Atairu. “Não é necessariamente retirado de um corpus de pessoas negras, mas voltado para pessoas brancas.”
Ela disse que temia que crianças negras tentassem gerar imagens de si mesmas e ver crianças cuja pele foi clareada. Atairu relembrou alguns de seus experimentos anteriores com Midjourney antes de atualizações recentes melhorarem suas habilidades. “Iria gerar imagens que eram como blackface”, disse ela. “Você veria um nariz, mas não era o nariz de um humano. Parecia o nariz de um cachorro.”
Em resposta a um pedido de comentário, David Holz, fundador da Midjourney, disse em um e-mail: “Se alguém encontrar um problema com nossos sistemas, pedimos que nos envie exemplos específicos para que possamos investigar”.
A Stability AI, que fornece serviços de geração de imagens, disse que planeja colaborar com a indústria de IA para melhorar as técnicas de avaliação de viés com uma maior diversidade de países e culturas. O viés, disse a empresa de IA, é causado pela “super-representação” em seus conjuntos de dados gerais, embora não tenha especificado se a super-representação de pessoas brancas era o problema aqui.
No início deste mês, a Bloomberg analisado mais de 5.000 imagens geradas pela Stability AI e descobriu que seu programa amplificava os estereótipos sobre raça e gênero, geralmente retratando pessoas com tons de pele mais claros como tendo empregos bem remunerados, enquanto indivíduos com tons de pele mais escuros eram rotulados como “lava-louças” e “governanta”.
Esses problemas não impediram um frenesi de investimentos na indústria de tecnologia. Um recente relatório otimista da empresa de consultoria McKinsey previu que a IA generativa adicionaria US$ 4,4 trilhões à economia global anualmente. No ano passado, cerca de 3.200 startups receberam US$ 52,1 bilhões em financiamento, de acordo com para o banco de dados GlobalData Deals.
As empresas de tecnologia têm lutado contra as acusações de parcialidade em retratos de pele escura desde os primeiros dias da fotografia colorida na década de 1950, quando empresas como a Kodak usavam modelos brancos no desenvolvimento de suas cores. Oito anos atrás, o Google desativou a capacidade de seu programa de IA de permitir que as pessoas pesquisassem gorilas e macacos por meio de seu aplicativo Fotos porque o algoritmo classificava incorretamente os negros nessas categorias. Até maio deste ano, o problema ainda não havia sido resolvido. Dois ex-funcionários que trabalharam na tecnologia disseram ao The New York Times que o Google não havia treinado o sistema de IA com imagens suficientes de pessoas negras.
Outros especialistas que estudam inteligência artificial disseram que o viés é mais profundo do que conjuntos de dados, referindo-se ao desenvolvimento inicial dessa tecnologia na década de 1960.
“A questão é mais complicada do que o viés de dados”, disse James E. Dobson, historiador cultural do Dartmouth College e autor de um livro recente sobre o tema. nascimento da visão computacional. Havia muito pouca discussão sobre raça durante os primeiros dias do aprendizado de máquina, de acordo com sua pesquisa, e a maioria dos cientistas que trabalhavam na tecnologia eram homens brancos.
“É difícil separar os algoritmos de hoje daquela história, porque os engenheiros estão desenvolvendo essas versões anteriores”, disse Dobson.
Para diminuir a aparência de preconceito racial e imagens de ódio, algumas empresas baniram certas palavras dos prompts de texto que os usuários enviam aos geradores, como “escravo” e “fascista”.
Mas Dobson disse que as empresas que esperavam por uma solução simples, como censurar o tipo de solicitação que os usuários podem enviar, estavam evitando os problemas mais fundamentais de viés na tecnologia subjacente.
“É um momento preocupante, pois esses algoritmos se tornam mais complicados. E quando você vê o lixo saindo, você deve se perguntar que tipo de processo de lixo ainda está dentro do modelo”, acrescentou o professor.
Aurea Harveyartista incluída na recente coleção do Whitney Museum exibição “Refigurando”, sobre identidades digitais, esbarrou nessas proibições para um projeto recente usando o Midjourney. “Eu queria questionar o banco de dados sobre o que ele sabia sobre navios negreiros”, disse ela. “Recebi uma mensagem dizendo que o Midjourney suspenderia minha conta se eu continuasse.”
Dinkins teve problemas semelhantes com NFTs que ela criou e vendeu, mostrando como o quiabo foi trazido para a América do Norte por escravos e colonos. Ela foi censurada quando tentou usar um programa generativo, replicar, para fazer fotos de navios negreiros. Ela acabou aprendendo a enganar os censores usando o termo “navio pirata”. A imagem que ela recebeu foi uma aproximação do que ela queria, mas também levantou questões preocupantes para a artista.
“O que essa tecnologia está fazendo com a história?” Dinkins perguntou. “Você pode ver que alguém está tentando corrigir o viés, mas ao mesmo tempo apaga um pedaço da história. Acho essas rasuras tão perigosas quanto qualquer viés, porque vamos esquecer como chegamos aqui.”
Naomi Beckwith, curadora-chefe do Museu Guggenheim, creditou a abordagem diferenciada de Dinkins às questões de representação e tecnologia como uma das razões pelas quais o artista recebeu o primeiro prêmio de Arte e Tecnologia do museu.
“Stephanie se tornou parte de uma tradição de artistas e trabalhadores culturais que abrem brechas nessas teorias abrangentes e totalizantes sobre como as coisas funcionam”, disse Beckwith. A curadora acrescentou que sua própria paranóia inicial sobre programas de IA substituindo a criatividade humana foi bastante reduzida quando ela percebeu que esses algoritmos não sabiam praticamente nada sobre a cultura negra.
Mas Dinkins não está pronto para desistir da tecnologia. Ela continua a empregá-lo em seus projetos artísticos – com ceticismo. “Uma vez que o sistema pode gerar uma imagem realmente de alta fidelidade de uma mulher negra chorando ou sorrindo, podemos descansar?”
