FPrimeiro vieram os alunos, que queriam ajuda com os deveres de casa e redações. Agora, o ChatGPT está atraindo cientistas, que estão sob pressão para publicar artigos em revistas científicas de renome.
A IA já está a perturbar o mundo arcaico da publicação científica. Quando Melissa Kacena, vice-presidente de cirurgia ortopédica da Faculdade de Medicina da Universidade de Indiana, analisa artigos submetidos para publicação em periódicos, ela agora sabe que deve procurar aqueles que possam ter sido escritos pelo programa de IA. “Agora tenho uma regra prática: se eu encontrar 10 referências aleatórias citadas no artigo e se mais de uma não for precisa, então rejeito o artigo”, diz ela.
Mas apesar das armadilhas, também há promessas. Escrever artigos de revisão, por exemplo, é uma tarefa adequada à IA: envolve examinar a investigação existente sobre um assunto, analisar os resultados, chegar a uma conclusão sobre o estado da ciência sobre o tema e fornecer algumas novas informações. ChatGPT pode fazer todas essas coisas bem.
Kacena decidiu ver quem é melhor em escrever artigos de revisão: pessoas ou ChatGPT. Para o estudo dela publicado em Relatórios atuais de osteoporose, ela classificou nove alunos e o programa de IA em três grupos e pediu a cada grupo que escrevesse um artigo de revisão sobre um tópico diferente. Para um grupo, ela pediu aos alunos que escrevessem artigos de revisão sobre os temas; por outro lado, ela instruiu o ChatGPT a escrever artigos sobre os mesmos temas; e para o último grupo, ela deu a cada um dos alunos sua própria conta ChatGPT e disse-lhes para trabalharem em conjunto com o programa de IA para escrever artigos. Isso permitiu que ela comparasse artigos escritos por pessoas, por IA e uma combinação de pessoas e IA. Ela pediu aos colegas docentes e aos alunos que verificassem cada um dos artigos e comparou os três tipos de artigos em medidas como precisão, facilidade de leitura e uso de linguagem apropriada.
consulte Mais informação: Para fazer uma diferença real nos cuidados de saúde, a IA precisará aprender como nós
Os resultados foram reveladores. Os artigos escritos pelo ChatGPT foram fáceis de ler e foram ainda melhor escritos que os dos alunos. Mas até 70% das referências citadas eram imprecisas: ou foram fundidas de forma incoerente a partir de vários estudos diferentes ou completamente fictícias. As versões AI também tinham maior probabilidade de serem plagiadas.
“O ChatGPT foi bastante convincente com algumas das declarações falsas que fez, para ser honesto”, diz Kacena. “Ele usava a sintaxe adequada e as integrava com declarações adequadas em um parágrafo, de modo que às vezes não havia sinais de alerta. Foi apenas porque os membros do corpo docente tinham uma boa compreensão dos dados, ou porque os alunos verificaram tudo, que eles foram detectados.”
Houve algumas vantagens nos artigos gerados por IA. O algoritmo foi mais rápido e eficiente no processamento de todos os dados necessários e, em geral, o ChatGPT utilizou melhor gramática do que os alunos. Mas nem sempre conseguia ler a sala: a IA tendia a usar uma linguagem mais floreada que nem sempre era apropriada para revistas científicas (a menos que os alunos tivessem dito ao ChatGPT para escrevê-la da perspectiva de um estudante de pós-graduação em ciências).
consulte Mais informação: As 100 pessoas mais influentes em IA
Isso reflete uma verdade sobre o uso da IA: ela é tão boa quanto a informação que recebe. Embora o ChatGPT ainda não esteja pronto para escrever artigos em revistas científicas, com programação e treinamento adequados, ele pode melhorar e se tornar uma ferramenta útil para pesquisadores. “No momento, não é ótimo por si só, mas pode funcionar”, diz Kacena. Por exemplo, se questionado, o algoritmo foi bom em recomendar maneiras de resumir os dados em figuras e representações gráficas. “Os conselhos dados sobre isso foram certeiros e exatamente o que eu teria feito”, diz ela.
Quanto mais feedback os alunos fornecerem sobre o trabalho do ChatGPT, melhor ele aprendeu – e isso representa a sua maior promessa. No estudo, alguns alunos descobriram que quando trabalharam em conjunto com o ChatGPT para escrever o artigo, o programa continuou a melhorar e a fornecer melhores resultados se lhe dissessem o que estava a fazer bem e o que era menos útil. Isso significa que resolver problemas como referências questionáveis e plágio poderia ser potencialmente corrigido. O ChatGPT poderia ser programado, por exemplo, para não mesclar referências e para tratar cada artigo de revista científica como sua própria referência separada, e para limitar a cópia de palavras consecutivas para evitar plágio.
Com mais informações e algumas correções, Kacena acredita que a IA poderia ajudar os pesquisadores a suavizar o processo de escrita e até mesmo obter insights científicos. “Acho que o ChatGPT veio para ficar, e descobrir como melhorá-lo e como usá-lo de maneira ética, consciente e cientificamente sólida será muito importante”, diz ela.
