Quando a OpenAI, start-up de São Francisco, revelou o seu chatbot online ChatGPT no final do ano passado, milhões de pessoas ficaram impressionadas com a forma humana como respondia a perguntas, escrevia poesia e discutia quase todos os assuntos. Mas a maioria das pessoas demorou a perceber que esse novo tipo de chatbot muitas vezes inventa coisas.
Quando o Google introduziu um chatbot semelhante várias semanas depois, vomitou bobagens sobre o telescópio James Webb. No dia seguinte, o novo chatbot do Bing da Microsoft ofereceu todo tipo de informação falsa sobre a Gap, a vida noturna mexicana e a cantora Billie Eilish. Então, em março, o ChatGPT citou meia dúzia de processos judiciais falsos enquanto redigia um documento jurídico de 10 páginas que um advogado apresentou a um juiz federal em Manhattan.
Agora, uma nova start-up chamada Vectara, fundada por ex-funcionários do Google, está tentando descobrir com que frequência os chatbots se desviam da verdade. A pesquisa da empresa estima que, mesmo em situações destinadas a evitar que isso aconteça, os chatbots inventam informações pelo menos 3% das vezes – e até 27%.
Os especialistas chamam esse comportamento do chatbot de “alucinação”. Pode não ser um problema para as pessoas que mexem com chatbots nos seus computadores pessoais, mas é um problema sério para qualquer pessoa que utilize esta tecnologia com documentos judiciais, informações médicas ou dados comerciais sensíveis.
Como esses chatbots podem responder a quase qualquer solicitação de um número ilimitado de maneiras, não há como determinar com certeza com que frequência eles alucinam. “Seria necessário analisar todas as informações do mundo”, disse Simon Hughes, o pesquisador do Vectara que liderou o projeto.
O Dr. Hughes e sua equipe solicitaram que esses sistemas executassem uma tarefa única e direta que pode ser facilmente verificada: resumir artigos de notícias. Mesmo assim, os chatbots inventaram informações persistentemente.
“Fornecemos ao sistema de 10 a 20 fatos e pedimos um resumo desses fatos”, disse Amr Awadallah, presidente-executivo da Vectara e ex-executivo do Google. “O fato de o sistema ainda poder introduzir erros é um problema fundamental.”
Os pesquisadores argumentam que quando esses chatbots realizam outras tarefas – além do mero resumo – as taxas de alucinação podem ser mais altas.
A sua investigação também mostrou que as taxas de alucinação variam amplamente entre as principais empresas de IA. As tecnologias da OpenAI tiveram a taxa mais baixa, cerca de 3%. Os sistemas da Meta, dona do Facebook e do Instagram, giravam em torno de 5%. O sistema Claude 2 oferecido pela Anthropic, rival da OpenAI também com sede em São Francisco, superou 8%. Um sistema do Google, o Palm chat, teve a taxa mais alta, de 27%.
Uma porta-voz da Anthropic, Sally Aldous, disse: “Tornar nossos sistemas úteis, honestos e inofensivos, o que inclui evitar alucinações, é um dos nossos principais objetivos como empresa”.
O Google se recusou a comentar e a OpenAI e a Meta não responderam imediatamente aos pedidos de comentários.
Com esta pesquisa, o Dr. Hughes e o Sr. Awadallah querem mostrar às pessoas que elas devem ter cuidado com as informações que vêm dos chatbots e até mesmo com o serviço que a Vectara vende às empresas. Muitas empresas agora estão oferecendo esse tipo de tecnologia para uso comercial.
Com sede em Palo Alto, Califórnia, a Vectara é uma start-up de 30 pessoas apoiada por US$ 28,5 milhões em financiamento inicial. Um de seus fundadores, Amin Ahmad, ex-pesquisador de inteligência artificial do Google, trabalha com esse tipo de tecnologia desde 2017, quando ela foi incubada no Google e em algumas outras empresas.
Assim como o chatbot de busca do Bing da Microsoft pode recuperar informações da Internet aberta, o serviço da Vectara pode recuperar informações da coleção privada de e-mails, documentos e outros arquivos de uma empresa.
Os investigadores também esperam que os seus métodos – que partilham publicamente e continuarão a atualizar – ajudem a estimular esforços em toda a indústria para reduzir as alucinações. OpenAI, Google e outros estão trabalhando para minimizar o problema por meio de uma variedade de técnicas, embora não esteja claro se podem eliminá-lo.
“Uma boa analogia é um carro autônomo”, disse Philippe Laban, pesquisador da Salesforce que há muito explora esse tipo de tecnologia. “Você não pode evitar que um carro que dirige sozinho bata. Mas você pode tentar garantir que seja mais seguro do que um motorista humano.”
Chatbots como o ChatGPT são impulsionados por uma tecnologia chamada modelo de linguagem grande, ou LLM, que aprende suas habilidades analisando enormes quantidades de texto digital, incluindo livros, artigos da Wikipédia e registros de bate-papo online. Ao identificar padrões em todos esses dados, um LLM aprende a fazer uma coisa em particular: adivinhar a próxima palavra numa sequência de palavras.
Como a Internet está repleta de informações falsas, esses sistemas repetem as mesmas mentiras. Eles também se baseiam em probabilidades: qual é a chance matemática de a próxima palavra ser “dramaturgo”? De vez em quando, eles adivinham incorretamente.
A nova pesquisa da Vectara mostra como isso pode acontecer. Ao resumir artigos de notícias, os chatbots não repetem inverdades de outras partes da internet. Eles apenas erram no resumo.
Por exemplo, os pesquisadores pediram ao grande modelo de linguagem do Google, o Palm chat, para resumir esta pequena passagem de um artigo de notícias:
As plantas foram encontradas durante uma busca em um armazém perto de Ashbourne na manhã de sábado. A polícia disse que eles estavam em “uma elaborada casa de cultivo”. Um homem de quase 40 anos foi preso no local.
Fez este resumo, inventando completamente um valor para as plantas que o homem estava cultivando e presumindo – talvez incorretamente – que eram plantas de cannabis:
A polícia prendeu um homem de quase 40 anos depois que plantas de cannabis no valor estimado de £ 100.000 foram encontradas em um armazém perto de Ashbourne.
Esse fenômeno também mostra por que uma ferramenta como o chatbot do Bing da Microsoft pode errar ao recuperar informações da Internet. Se você fizer uma pergunta ao chatbot, ele poderá ligar para o mecanismo de busca Bing da Microsoft e realizar uma pesquisa na Internet. Mas não tem como identificar a resposta certa. Ele pega os resultados dessa pesquisa na Internet e os resume para você.
Às vezes, esse resumo é muito falho. Alguns bots citarão endereços de Internet inteiramente inventados.
Empresas como OpenAI, Google e Microsoft desenvolveram formas de melhorar a precisão de suas tecnologias. A OpenAI, por exemplo, tenta refinar sua tecnologia com feedback de testadores humanos, que avaliam as respostas do chatbot, separando respostas úteis e verdadeiras daquelas que não o são. Depois, usando uma técnica chamada aprendizagem por reforço, o sistema passa semanas analisando as avaliações para entender melhor o que é fato e o que é ficção.
Mas os pesquisadores alertam que a alucinação do chatbot não é um problema fácil de resolver. Como os chatbots aprendem com padrões nos dados e operam de acordo com probabilidades, eles se comportam de maneira indesejada pelo menos algumas vezes.
Para determinar com que frequência os chatbots alucinavam ao resumir artigos de notícias, os pesquisadores da Vectara usaram outro grande modelo de linguagem para verificar a precisão de cada resumo. Essa foi a única forma de verificar eficientemente um número tão grande de resumos.
Mas James Zou, professor de ciência da computação de Stanford, disse que esse método traz uma ressalva. O modelo de linguagem que faz a verificação também pode cometer erros.
“O detector de alucinações pode ser enganado – ou ter alucinações”, disse ele.
