Os alunos enviaram mais de 22 milhões de artigos que podem ter usado IA generativa no ano passado, mostram novos dados divulgados pela empresa de detecção de plágio Turnitin.
Há um ano, a Turnitin lançou uma ferramenta de detecção de escrita por IA que foi treinada em sua coleção de artigos escritos por estudantes, bem como em outros textos gerados por IA. Desde então, mais de 200 milhões de artigos foram revisados pelo detector, predominantemente escritos por estudantes do ensino médio e universitários. Turnitin descobriu que 11% podem conter linguagem escrita por IA em 20% de seu conteúdo, com 3% do total de artigos revisados sendo sinalizados por terem 80% ou mais escritos de IA. (A Turnitin é propriedade da Advance, que também é proprietária da Condé Nast, editora da WIRED.) A Turnitin afirma que o seu detector tem uma taxa de falsos positivos inferior a 1% ao analisar documentos completos.
O lançamento do ChatGPT foi recebido com temores instintivos de que a redação da aula de inglês morreria. O chatbot pode sintetizar informações e destilá-las quase instantaneamente, mas isso não significa que ele sempre acerta. Sabe-se que a IA generativa tem alucinações, criando os seus próprios factos e citando referências académicas que na verdade não existem. Chatbots generativos de IA também foram pegos cuspindo textos tendenciosos em gênero e corrida. Apesar dessas falhas, os alunos usaram chatbots para pesquisa, organização de ideias e como ghostwriter. Vestígios de chatbots foram encontrados até mesmo em escritos acadêmicos publicados e revisados por pares.
Compreensivelmente, os professores desejam responsabilizar os alunos pelo uso de IA generativa sem permissão ou divulgação. Mas isso requer uma forma confiável de provar que a IA foi usada em uma determinada tarefa. Os instrutores tentaram, às vezes, encontrar suas próprias soluções para detectar IA por escrito, usando métodos confusos e métodos não testados para impor regrase estudantes angustiantes. Para complicar ainda mais a questão, alguns professores chegam a usando IA generativa em seus processos de classificação.
Detectar o uso da geração AI é complicado. Não é tão fácil quanto sinalizar plágio, porque o texto gerado ainda é o texto original. Além disso, há nuances em como os alunos usam a geração AI; alguns podem pedir aos chatbots que escrevam seus artigos em grandes partes ou na íntegra, enquanto outros podem usar as ferramentas como ajuda ou como parceiro de brainstorming.
Os alunos também não são tentados apenas pelo ChatGPT e por modelos de linguagem grandes semelhantes. Os chamados word spinners são outro tipo de software de IA que reescreve texto e pode tornar menos óbvio para um professor que o trabalho foi plagiado ou gerado pela IA. O detector de IA da Turnitin também foi atualizado para detectar giradores de palavras, diz Annie Chechitelli, diretora de produtos da empresa. Ele também pode sinalizar trabalhos que foram reescritos por serviços como o corretor ortográfico Grammarly, que agora tem seu próprio ferramenta de IA generativa. À medida que o software familiar adiciona cada vez mais componentes generativos de IA, o que os alunos podem ou não usar torna-se mais confuso.
As próprias ferramentas de detecção apresentam risco de viés. Os alunos que estão aprendendo a língua inglesa podem ter maior probabilidade de irritá-los; um 2023 estudar encontraram uma taxa de falsos positivos de 61,3% ao avaliar os exames do Teste de Inglês como Língua Estrangeira (TOEFL) com sete detectores de IA diferentes. O estudo não examinou a versão do Turnitin. A empresa afirma que treinou seu detector na escrita tanto de alunos que estão aprendendo inglês quanto de falantes nativos de inglês. A estudar publicado em outubro descobriu que o Turnitin estava entre os mais precisos dos 16 detectores de linguagem de IA em um teste que fez com que a ferramenta examinasse trabalhos de graduação e trabalhos gerados por IA.
