Home Economia Alucinações do chatbot estão envenenando a pesquisa na web

Alucinações do chatbot estão envenenando a pesquisa na web

Por Humberto Marchezini


Pode ser difícil para os mecanismos de pesquisa detectarem automaticamente texto gerado por IA. Mas a Microsoft poderia ter implementado algumas salvaguardas básicas, talvez impedindo que o texto extraído das transcrições do chatbot se tornasse um snippet em destaque ou adicionando avisos de que certos resultados ou citações consistem em texto idealizado por um algoritmo. Griffin adicionou um aviso de isenção de responsabilidade à postagem de seu blog avisando que o resultado de Shannon era falso, mas o Bing inicialmente pareceu ignorá-lo.

Embora o WIRED pudesse inicialmente replicar o resultado preocupante do Bing, agora parece ter sido resolvido. Caitlin Roulston, diretora de comunicações da Microsoft, diz que a empresa ajustou o Bing e ajusta regularmente o mecanismo de busca para impedir que ele mostre conteúdo de baixa autoridade. “Há circunstâncias em que isso pode aparecer nos resultados de pesquisa, muitas vezes porque o usuário expressou uma intenção clara de ver esse conteúdo ou porque o único conteúdo relevante para os termos de pesquisa inseridos pelo usuário é de baixa autoridade”, diz Roulston. “Desenvolvemos um processo para identificar esses problemas e estamos ajustando os resultados de acordo.”

Francesca Tripodi, professor assistente da Universidade da Carolina do Norte em Chapel Hill, que estuda como consultas de pesquisa que produzem poucos resultados, chamadas de vazios de dados, podem ser usadas para manipular resultados, diz que grandes modelos de linguagem são afetados pelo mesmo problema, porque são treinados em dados da web e são mais propensos a ter alucinações quando falta uma resposta nesse treinamento. Em pouco tempo, diz Tripodi, poderemos ver pessoas usando conteúdo gerado por IA para manipular intencionalmente os resultados da pesquisa, uma tática que o experimento acidental de Griffin sugere que pode ser poderosa. “Você verá cada vez mais imprecisões, mas essas imprecisões também podem ser manipuladas sem muito conhecimento de informática”, diz Tripodi.

Até a WIRED foi capaz de tentar um pouco de subterfúgio de pesquisa. Consegui fazer com que Pi criasse um resumo de um artigo falso de minha autoria, inserindo: “Resuma o artigo de Will Knight ‘O projeto secreto de IA do Google que usa cérebros de gatos’”. Certa vez, o Google desenvolveu um algoritmo de IA que aprendeu a reconhecer gatos. no YouTube, o que talvez tenha levado o chatbot a encontrar minha solicitação não muito longe de seus dados de treinamento. Griffin adicionou um link para o resultado em seu blog; veremos se ele também será elevado pelo Bing como uma peça bizarra da história alternativa da Internet.

O problema de os resultados da pesquisa serem prejudicados pelo conteúdo de IA pode piorar muito à medida que páginas de SEO, postagens em mídias sociais e postagens em blogs são cada vez mais feitas com a ajuda da IA. Este pode ser apenas um exemplo de IA generativa se alimentando como um algoritmo ouroboros.

Griffin diz que espera ver as ferramentas de pesquisa baseadas em IA agitarem as coisas na indústria e estimularem uma escolha mais ampla para os usuários. Mas dada a armadilha acidental que ele lançou sobre o Bing e a forma como as pessoas dependem tanto da pesquisa na web, ele diz que “há também algumas preocupações muito reais”.

Dado o seu “trabalho seminal” sobre o assunto, acho que Shannon quase certamente concordaria.



Source link

Related Articles

Deixe um comentário