No sábado, um Investigação da Associated Press revelado que a ferramenta de transcrição Whisper da OpenAI cria textos fabricados em ambientes médicos e empresariais, apesar dos avisos contra tal uso. A AP entrevistou mais de 12 engenheiros de software, desenvolvedores e pesquisadores que descobriram que o modelo inventa regularmente textos que os falantes nunca disseram, um fenômeno frequentemente chamado de “confabulação”Ou “alucinação” no campo da IA.
Após seu liberar em 2022, a OpenAI afirmou que o Whisper se aproximava da “robustez de nível humano” na precisão da transcrição de áudio. No entanto, um pesquisador da Universidade de Michigan disse à AP que o Whisper criou textos falsos em 80% das transcrições de reuniões públicas examinadas. Outro desenvolvedor, não identificado no relatório da AP, afirmou ter encontrado conteúdo inventado em quase todas as suas 26 mil transcrições de teste.
As invenções representam riscos específicos em ambientes de cuidados de saúde. Apesar dos avisos da OpenAI contra o uso do Whisper para “domínios de alto risco”, mais de 30.000 profissionais da área médica agora usam ferramentas baseadas no Whisper para transcrever visitas de pacientes, de acordo com o relatório da AP. A Clínica Mankato em Minnesota e o Hospital Infantil de Los Angeles estão entre os 40 sistemas de saúde que usam um serviço de copiloto de IA alimentado por Whisper da empresa de tecnologia médica Nabla que está ajustado à terminologia médica.
Nabla reconhece que o Whisper pode confabular, mas também apaga gravações de áudio originais “por razões de segurança de dados”. Isto pode causar problemas adicionais, uma vez que os médicos não podem verificar a precisão do material de origem. E os pacientes surdos podem ser altamente afetados por transcrições erradas, uma vez que não teriam como saber se o áudio da transcrição médica é preciso ou não.
Os problemas potenciais com o Whisper vão além dos cuidados de saúde. Pesquisadores da Universidade Cornell e da Universidade da Virgínia estudado milhares de amostras de áudio e encontrou o Whisper adicionando conteúdo violento inexistente e comentários raciais ao discurso neutro. Eles descobriram que 1% das amostras incluíam “frases ou sentenças alucinadas inteiras que não existiam de qualquer forma no áudio subjacente” e que 38% delas incluíam “danos explícitos, como perpetuação da violência, criação de associações imprecisas ou insinuação de autoridade falsa”. .”
Num caso do estudo citado pela AP, quando um orador descreveu “duas outras raparigas e uma senhora”, Whisper acrescentou um texto fictício especificando que “eram negras”. Em outra, o áudio dizia: “Ele, o menino, ia, não sei exatamente, levar o guarda-chuva”. Whisper transcreveu para: “Ele pegou um pedaço grande de uma cruz, um pedaço pequenino e pequeno… Tenho certeza de que ele não tinha uma faca terrorista, então matou várias pessoas”.
Um porta-voz da OpenAI disse à AP que a empresa aprecia as descobertas dos pesquisadores e que estuda ativamente como reduzir as fabricações e incorpora feedback nas atualizações do modelo.
Por que Whisper confabula
A chave para a inadequação do Whisper em domínios de alto risco vem de sua propensão de às vezes confabular, ou inventar de forma plausível, resultados imprecisos. O relatório da AP diz: “Os pesquisadores não sabem ao certo por que o Whisper e ferramentas semelhantes alucinam”, mas isso não é verdade. Nós sabemos exatamente por que Baseado em transformador Modelos de IA como o Whisper se comportam dessa maneira.
O Whisper é baseado em tecnologia projetada para prever o próximo token (pedaço de dados) mais provável que deve aparecer após uma sequência de tokens fornecidos por um usuário. No caso do ChatGPT, os tokens de entrada vêm na forma de um prompt de texto. No caso do Whisper, a entrada são dados de áudio tokenizados.
