Publicado originalmente por The Markup
Estudo de Stanford descobriu que detectores de IA são tendenciosos contra falantes não nativos de inglês Por Tara García Mathewson
Taylor Hahn, que leciona na Universidade Johns Hopkins, recebeu um alerta enquanto corrigia um trabalho de um aluno na primavera passada para um curso de comunicação. Ele carregou a tarefa no Turnitin, software usado por mais de 16.000 instituições acadêmicas em todo o mundo para detectar texto plagiado e, desde abril, sinalizar escrita gerada por IA.
O Turnitin rotulou mais de 90% do trabalho do aluno como gerado por IA. Hahn marcou uma reunião no Zoom com o aluno e explicou a descoberta, pedindo para ver as anotações e outros materiais usados para escrever o artigo.
“Este aluno, imediatamente, sem aviso prévio de que isso era uma preocupação da IA, eles me mostraram rascunhos, PDFs com marca-texto sobre eles”, disse Hahn. Ele estava convencido de que a ferramenta do Turnitin havia cometido um erro.
Em outro caso, Hahn trabalhou diretamente com um aluno em um esboço e rascunhos de um artigo, apenas para ter a maior parte do artigo enviado sinalizado pelo Turnitin como gerado por IA.
Ao longo do semestre da primavera, Hahn notou um padrão desses falsos positivos. A ferramenta do Turnitin era muito mais propensa a sinalizar a escrita de estudantes internacionais como gerada por IA. Quando Hahn começou a ver essa tendência, um grupo de cientistas da computação de Stanford projetou um experimento para entender melhor a confiabilidade dos detectores de IA na escrita de falantes não nativos de inglês. Eles publicaram um artigo no mês passado, encontrando um viés claro.
Embora não tenham feito o experimento com o Turnitin, eles descobriram que sete outros detectores de IA sinalizavam a escrita de falantes não nativos como gerada por IA em 61% das vezes. Em cerca de 20% dos trabalhos, essa avaliação incorreta foi unânime. Enquanto isso, os detectores quase nunca cometeram tais erros ao avaliar a escrita de falantes nativos de inglês…
Veja o artigo completo no site The Markup