Na medicina, as histórias de advertência sobre os efeitos não intencionais da inteligência artificial já são lendárias.
Havia o programa destinado a prever quando os pacientes desenvolveriam sepse, uma infecção mortal na corrente sanguínea, que desencadeou uma série de alarmes falsos. Outra, destinada a melhorar os cuidados de acompanhamento dos pacientes mais doentes, pareceu aprofundar disparidades preocupantes na saúde.
Desconfiados de tais falhas, os médicos mantiveram a IA trabalhando à margem: auxiliando como escriba, como uma segunda opinião casual e como um organizador de back office. Mas o campo ganhou investimento e impulso para uso na medicina e além.
Dentro da Food and Drug Administration, que desempenha um papel fundamental na aprovação de novos produtos médicos, a IA é um tema quente. Está ajudando a descobrir novos medicamentos. Poderia identificar efeitos colaterais inesperados. E está até sendo discutido como uma ajuda para funcionários que estão sobrecarregados com tarefas repetitivas e mecânicas.
No entanto, de uma forma crucial, o papel da FDA tem sido sujeito a duras críticas: o cuidado com que examina e descreve os programas que aprova para ajudar os médicos a detectar tudo, desde tumores a coágulos sanguíneos e pulmões colapsados.
“Teremos muitas escolhas. É emocionante”, disse o Dr. Jesse Ehrenfeld, presidente da Associação Médica Americana, um importante grupo de lobby dos médicos, em uma entrevista. “Mas se os médicos vão incorporar essas coisas em seu fluxo de trabalho, se vão pagar por elas e se vão usá-las, teremos que ter alguma confiança de que essas ferramentas funcionam”.
Dos consultórios médicos à Casa Branca e ao Congresso, a ascensão da IA suscitou apelos por um maior escrutínio. Nenhuma agência governa todo o cenário. O senador Chuck Schumer, democrata de Nova York e líder da maioria, convocou executivos de tecnologia ao Capitólio em setembro para discutir maneiras de nutrir o campo e também identificar armadilhas.
O Google já chamou a atenção do Congresso com o piloto de um novo chatbot para profissionais de saúde. Chamado Med-PaLM 2, ele foi projetado para responder perguntas médicas, mas tem levantou preocupações sobre privacidade do paciente e consentimento informado.
A forma como a FDA supervisionará esses “grandes modelos de linguagem”, ou programas que imitam consultores especializados, é apenas uma área onde a agência fica atrás dos avanços em rápida evolução no campo da IA. Os funcionários da agência apenas começaram a falar sobre a revisão da tecnologia que continuaria a “aprender” à medida que processasse milhares de exames de diagnóstico. E as regras existentes da agência incentivam os programadores a concentrarem-se num problema de cada vez – como um sopro cardíaco ou um aneurisma cerebral – em contraste com as ferramentas de IA utilizadas na Europa que procuram uma série de problemas.
O alcance da agência é limitado aos produtos aprovados para venda. Não tem autoridade sobre os programas que os sistemas de saúde criam e utilizam internamente. Grandes sistemas de saúde como Stanford, Mayo Clinic e Duke — bem como seguradoras de saúde — podem construir as suas próprias ferramentas de IA que afetam as decisões de cuidados e cobertura para milhares de pacientes com pouca ou nenhuma supervisão direta do governo.
Ainda assim, os médicos estão levantando mais questões enquanto tentam implantar as cerca de 350 ferramentas de software que a FDA liberou para ajudar a detectar coágulos, tumores ou um buraco no pulmão. Eles encontraram poucas respostas para questões básicas: Como o programa foi construído? Em quantas pessoas foi testado? É provável que identifique algo que um médico típico não perceberia?
A falta de informação publicamente disponível, talvez paradoxal num domínio repleto de dados, está a fazer com que os médicos recuem, receosos de que uma tecnologia que parece excitante possa levar os pacientes a um caminho para mais biópsias, contas médicas mais elevadas e medicamentos tóxicos, sem melhorar significativamente os cuidados.
Dr. Eric Topol, autor de um livro sobre IA na medicina, é um otimista quase imperturbável sobre o potencial da tecnologia. Mas ele disse que a FDA se atrapalhou ao permitir que os desenvolvedores de IA mantivessem seu “molho secreto” em segredo e ao não exigir estudos cuidadosos para avaliar quaisquer benefícios significativos.
“É preciso ter dados excelentes e realmente convincentes para mudar a prática médica e transmitir confiança de que este é o caminho a seguir”, disse o Dr. Topol, vice-presidente executivo da Scripps Research em San Diego. Em vez disso, acrescentou, a FDA permitiu “atalhos”.
Grandes estudos estão começando a contar mais sobre a história: um descobriu os benefícios do uso de IA para detectar câncer de mama e outro destacou falhas em um aplicativo destinado a identificar câncer de peledisse o Dr.
Jeffrey Shuren, chefe da divisão de dispositivos médicos da FDA, reconheceu a necessidade de esforços contínuos para garantir que os programas de IA cumpram suas promessas depois que sua divisão os autorizar. Embora os medicamentos e alguns dispositivos sejam testados em pacientes antes da aprovação, o mesmo normalmente não é exigido dos programas de software de IA.
Uma nova abordagem poderia ser construir laboratórios onde os desenvolvedores pudessem acessar grandes quantidades de dados e construir ou testar programas de IA, disse o Dr. Shuren durante a conferência da Organização Nacional para Doenças Raras em 16 de outubro.
“Se realmente quisermos garantir esse equilíbrio correto, teremos que mudar a lei federal, porque a estrutura em vigor para usarmos essas tecnologias tem quase 50 anos”, disse o Dr. Shuren. “Realmente não foi projetado para IA”
Outras forças complicam os esforços para adaptar a aprendizagem automática às principais redes hospitalares e de saúde. Os sistemas de software não conversam entre si. Ninguém concorda sobre quem deve pagar por eles.
Por uma estimativa, cerca de 30 por cento dos radiologistas (um campo no qual a IA fez incursões profundas) estão usando tecnologia de IA. Ferramentas simples que podem tornar uma imagem mais nítida são fáceis de vender. Mas os de maior risco, como aqueles que selecionam quais exames cerebrais devem ter prioridade, preocupam os médicos se eles não sabem, por exemplo, se o programa foi treinado para detectar as doenças de um jovem de 19 anos versus um de 90 anos. velho.
Ciente de tais falhas, a Dra. Nina Kottler está liderando um esforço multimilionário e de vários anos para examinar programas de IA. Ela é diretora médica de IA clínica na Radiology Partners, uma clínica com sede em Los Angeles que lê cerca de 50 milhões de exames anualmente em cerca de 3.200 hospitais, salas de emergência independentes e centros de imagem nos Estados Unidos.
Ela sabia que mergulhar na IA seria delicado para os 3.600 radiologistas da clínica. Afinal, Geoffrey Hinton, conhecido como o “padrinho da IA”, agitou a profissão em 2016 quando ele previu que o aprendizado de máquina substituiria completamente os radiologistas.
Kottler disse que começou a avaliar programas de IA aprovados questionando seus desenvolvedores e depois testou alguns para ver quais programas não percebiam problemas relativamente óbvios ou identificavam problemas sutis.
Ela rejeitou um programa aprovado que não detectou anormalidades pulmonares além dos casos encontrados por seus radiologistas – e perdeu alguns casos óbvios.
Outro programa que escaneou imagens da cabeça em busca de aneurismas, uma condição potencialmente fatal, revelou-se impressionante, disse ela. Embora tenha sinalizado muitos falsos positivos, detectou cerca de 24% mais casos do que os radiologistas haviam identificado. Mais pessoas com um aparente aneurisma cerebral receberam cuidados de acompanhamento, incluindo um homem de 47 anos com um vaso protuberante num canto inesperado do cérebro.
No final de uma consulta de telessaúde em agosto, o Dr. Roy Fagan percebeu que estava tendo problemas para falar com o paciente. Suspeitando de um derrame, ele correu para um hospital na zona rural da Carolina do Norte para fazer uma tomografia computadorizada.
A imagem foi para Greensboro Radiology, uma clínica da Radiology Partners, onde disparou um alerta em um programa de IA de triagem de AVC. Um radiologista não precisava examinar os casos antes do Dr. Fagan ou clicar em mais de 1.000 cortes de imagens; aquele que detectou o coágulo cerebral apareceu imediatamente.
O radiologista transferiu o Dr. Fagan para um hospital maior que poderia remover rapidamente o coágulo. Ele acordou se sentindo normal.
“Nem sempre funciona tão bem”, disse o Dr. Sriyesh Krishnan, da Greensboro Radiology, que também é diretor de desenvolvimento de inovação da Radiology Partners. “Mas quando funciona tão bem, muda a vida desses pacientes.”
Dr. Fagan queria voltar ao trabalho na segunda-feira seguinte, mas concordou em descansar por uma semana. Impressionado com o programa de IA, ele disse: “É um verdadeiro avanço tê-lo aqui agora”.
A Radiology Partners não publicou suas descobertas em revistas médicas. No entanto, alguns investigadores destacaram exemplos menos inspiradores dos efeitos da IA na medicina.
Pesquisadores da Universidade de Michigan examinaram uma ferramenta de IA amplamente utilizada em um sistema eletrônico de registros de saúde destinado a prever quais pacientes desenvolveriam sepse. Eles achar algo o programa disparou alertas para um em cada cinco pacientes – embora apenas 12% tenham desenvolvido sepse.
Outro programa que analisou os custos de saúde como um substituto para prever as necessidades médicas acabou por privar o tratamento de pacientes negros que estavam tão doentes como os brancos. Os dados de custos revelaram-se um mau substituto para as doenças, revela um estudo do revista Ciência encontrado, uma vez que normalmente menos dinheiro é gasto com pacientes negros.
Esses programas não foram examinados pela FDA. Mas, dadas as incertezas, os médicos recorreram aos registros de aprovação da agência para obter garantias. Eles encontraram pouco. Uma equipe de pesquisa que analisou programas de IA para pacientes gravemente enfermos encontrou evidências de uso no mundo real “completamente ausentes” ou baseadas em modelos de computador. A equipe da Universidade da Pensilvânia e da Universidade do Sul da Califórnia também descobriu que alguns dos programas foram aprovados com base nas suas semelhanças com dispositivos médicos existentes – incluindo alguns que nem sequer utilizavam inteligência artificial.
Outro estudo dos programas aprovados pela FDA até 2021 descobriram que de 118 ferramentas de IA, apenas uma descreveu a distribuição geográfica e racial dos pacientes nos quais o programa foi treinado. A maioria dos programas foi testada em 500 casos ou menos – o que não é suficiente, concluiu o estudo, para justificar a sua implementação generalizada.
Keith Dreyer, autor do estudo e diretor de ciência de dados do Massachusetts General Hospital, está agora liderando um projeto através do American College of Radiology para preencher a lacuna de informações. Com a ajuda de fornecedores de IA que estão dispostos a compartilhar informações, ele e seus colegas planejam para publicar uma atualização nos programas liberados pela agência.
Dessa forma, por exemplo, os médicos podem verificar quantos casos pediátricos um programa foi criado para reconhecer e informá-los sobre pontos cegos que poderiam potencialmente afetar os cuidados.
James McKinney, porta-voz da FDA, disse que os funcionários da agência revisam milhares de páginas antes de liberar os programas de IA, mas reconheceu que os fabricantes de software podem escrever os resumos divulgados publicamente. Estes não se destinam “à tomada de decisões de compra”, disse ele, acrescentando que informações mais detalhadas são fornecidas nos rótulos dos produtos, que não são facilmente acessíveis ao público.
Acertar a supervisão da IA na medicina, uma tarefa que envolve várias agências, é fundamental, disse o Dr. Ehrenfeld, presidente da AMA. Ele disse que os médicos examinaram o papel da IA em acidentes aéreos mortais para alertar sobre os perigos dos sistemas de segurança automatizados anulando o julgamento de um piloto – ou de um médico.
Ele disse que as investigações sobre o acidente do avião 737 Max mostraram como os pilotos não foram treinados para ignorar um sistema de segurança que contribuiu para as colisões mortais. Ele está preocupado que os médicos possam encontrar um uso semelhante de IA em segundo plano no atendimento ao paciente, o que pode ser prejudicial.
“Apenas entender que a IA existe deveria ser um ponto de partida óbvio”, disse Ehrenfeld. “Mas não está claro se isso sempre acontecerá se não tivermos o quadro regulamentar adequado.”
