Publicado originalmente por The Register
Os acadêmicos aparentemente treinaram um algoritmo de aprendizado de máquina para detectar artigos científicos gerados pelo ChatGPT e afirmam que o software tem mais de 99% de precisão.
Os modelos generativos de IA melhoraram drasticamente a imitação da escrita humana em um curto período de tempo, tornando difícil para as pessoas saberem se o texto foi produzido por uma máquina ou por um humano. Professores e palestrantes levantaram preocupações de que os alunos que usam as ferramentas estão cometendo plágio ou aparentemente trapaceando usando código gerado por máquina.
O software projetado para detectar texto gerado por IA, no entanto, geralmente não é confiável. Especialistas alertaram contra o uso dessas ferramentas para avaliar o trabalho.
Uma equipe de pesquisadores liderada pela Universidade do Kansas achou que seria útil desenvolver uma maneira de detectar a escrita científica gerada por IA – especificamente escrita no estilo de trabalhos de pesquisa normalmente aceitos e publicados por revistas acadêmicas.
“No momento, existem alguns problemas bastante evidentes com a escrita da IA”, disse Heather Desaire, primeira autora de um artigo publicado na revista Cell Reports Physical Science e professora de química da Universidade do Kansas, em um comunicado. “Um dos maiores problemas é que ele reúne texto de várias fontes e não há nenhum tipo de verificação de precisão – é como o jogo Duas verdades e uma mentira.”
Desaire e seus colegas compilaram conjuntos de dados para treinar e testar um algoritmo para classificar artigos escritos por cientistas e pelo ChatGPT. Eles selecionaram 64 artigos de “perspectivas” – um estilo específico de artigo publicado em revistas científicas – representando uma gama diversificada de tópicos, da biologia à física, e solicitaram que o ChatGPT gerasse parágrafos descrevendo a mesma pesquisa para criar 128 artigos falsos. Um total de 1.276 parágrafos foram produzidos pela IA e usados para treinar o classificador…
Veja o artigo completo no site The Register