Fable, um popular aplicativo de mídia social que se descreve como um paraíso para “bookworms e bingewatchers”, criou um recurso de resumo de final de ano com tecnologia de IA que recapitula os livros que os usuários leram em 2024. Era para ser lúdico e divertido, mas algumas das recapitulações assumiram um tom estranhamente combativo. O resumo do escritor Danny Groves, por exemplo, perguntou se ele “está sempre com disposição para a perspectiva de um homem branco cis e heterossexual” depois de rotulá-lo de “devoto da diversidade”.
O resumo da influenciadora de livros Tiana Trammell, por sua vez, terminou com o seguinte conselho: “Não se esqueça de aparecer para o autor branco ocasional, ok?”
Trammell ficou pasma e logo percebeu que não estava sozinha depois de compartilhar sua experiência com os resumos de Fable no Threads. “Recebi várias mensagens”, diz ela, de pessoas cujos resumos comentavam inapropriadamente sobre “deficiência e orientação sexual”.
Desde a estreia do Spotify Wrapped, os recursos de recapitulação anual se tornaram onipresentes em toda a Internet, fornecendo aos usuários um resumo de quantos livros e artigos de notícias leram, músicas que ouviram e exercícios que completaram. Algumas empresas estão agora usando IA para produzir ou aumentar totalmente a forma como essas métricas são apresentadas. O Spotify, por exemplo, agora oferece um podcast gerado por IA onde robôs analisam seu histórico de audição e fazem suposições sobre sua vida com base em seus gostos. A Fable aproveitou a tendência usando a API da OpenAI para gerar resumos dos hábitos de leitura dos últimos 12 meses para seus usuários, mas não esperava que o modelo de IA cuspisse comentários que assumissem a aparência de um especialista anti-acordado .
Mais tarde, Fable pediu desculpas em vários canais de mídia social, incluindo Threads e Instagram, onde postou um vídeo de um executivo emitindo o mea culpa. “Lamentamos profundamente a dor causada por alguns de nossos resumos de leitores esta semana”, escreveu a empresa na legenda. “Faremos melhor.”
Kimberly Marsh Allee, chefe da comunidade da Fable, disse à WIRED que a empresa está trabalhando em uma série de mudanças para melhorar seus resumos de IA, incluindo uma opção de exclusão para pessoas que não os desejam e divulgações mais claras indicando que são IA- gerado. “Por enquanto, removemos a parte do modelo que brinca com o leitor e, em vez disso, o modelo simplesmente resume o gosto do usuário pelos livros”, diz ela.
Para alguns usuários, ajustar a IA não parece uma resposta adequada. A escritora de fantasia e romance AR Kaufer ficou horrorizada quando viu capturas de tela de alguns dos resumos nas redes sociais. “Eles precisam dizer que estão eliminando completamente a IA. E eles precisam emitir uma declaração, não apenas sobre a IA, mas com um pedido de desculpas às pessoas afetadas”, diz Kaufer. “Este ‘pedido de desculpas’ no Threads parece falso, mencionando que o aplicativo é ‘brincalhão’, como se de alguma forma desculpasse as citações racistas/sexistas/capacitistas.” Em resposta ao incidente, Kaufer decidiu excluir sua conta no Fable.
Trammell também. “O curso de ação apropriado seria desativar o recurso e realizar testes internos rigorosos, incorporando salvaguardas recém-implementadas para garantir, da melhor maneira possível, que nenhum outro usuário da plataforma seja exposto a danos”, diz ela.
