Publicado originalmente por MIT Technology Review
Em 20 de outubro, Francesca Mani foi chamada ao escritório do conselheiro em sua escola de ensino médio em Nova Jersey. Uma estudante de 14 anos do segundo ano e uma esgrimista competitiva, Francesca não era de se meter em problemas. Naquele dia, um boato circulava pelos corredores: durante o verão, os meninos da escola usaram inteligência artificial para criar fotos sexualmente explícitas e até pornográficas de alguns de seus colegas de classe. Ela descobriu que era uma das mais de 30 meninas que podem ter sido vítimas. (Em um e-mail, a escola alegou que “muito menos” do que 30 alunos foram afetados.)
Francesca não viu a foto dela naquele dia. E ela ainda não pretende ver. Em vez disso, ela colocou toda a sua energia para garantir que ninguém mais seja alvo dessa forma.
Em 24 horas após saber das fotos, Francesca estava escrevendo cartas para quatro legisladores da área, compartilhando sua história e pedindo que eles tomassem medidas. Três deles responderam rapidamente: o representante dos EUA Joe Morelle de Nova York, o representante dos EUA Tom Kean Jr. de Nova Jersey e o senador estadual de Nova Jersey Jon Bramnick. Nas últimas semanas, sua defesa já alimentou um novo ímpeto legislativo para regulamentar a pornografia deepfake não consensual nos EUA.
“Eu só percebi naquele dia [que] preciso falar, porque eu realmente acho que isso não está certo”, Francesca me disse em um telefonema esta semana. “Essa é uma tecnologia tão nova que as pessoas realmente não conhecem e não sabem como se proteger contra ela.” Nas últimas semanas, além de comemorar seu 15º aniversário, Francesca também lançou um novo site que oferece recursos para outras vítimas de pornografia deepfake.
Estudos de 2019 e 2021 mostram que deepfakes — que são imagens manipuladas de forma convincente por inteligência artificial, geralmente trocando rostos ou vozes de diferentes peças de mídia — são usadas principalmente para pornografia, esmagadoramente sem o consentimento daqueles que aparecem nas imagens. Além do consentimento, deepfakes têm despertado sérias preocupações sobre a privacidade das pessoas online .
À medida que as ferramentas de IA continuaram a proliferar e se tornaram mais populares no último ano, o mesmo aconteceu com a pornografia deepfake e o assédio sexual na forma de imagens geradas por IA. Em setembro, por exemplo, estima-se que 20 meninas na Espanha receberam imagens nuas de si mesmas depois que a IA foi usada para tirar suas roupas em fotos. E em dezembro, uma das minhas colegas, a repórter Melissa Heikkilä, mostrou como o aplicativo viral de IA generativa Lensa criou representações sexualizadas dela sem seu consentimento — um contraste gritante com as imagens que produziu de nossos colegas homens.
Os esforços dos membros do Congresso para reprimir a pornografia deepfake não são inteiramente novos. Em 2019 e 2021, a Representante Yvette Clarke apresentou o DEEPFAKES Accountability Act, que exige que os criadores de deepfakes coloquem marca d’água em seu conteúdo. E em dezembro de 2022, a Representante Morelle, que agora está trabalhando em estreita colaboração com Francesca, apresentou o Preventing Deepfakes of Intimate Images Act. Seu projeto de lei se concentra em criminalizar a criação e distribuição de deepfakes pornográficos sem o consentimento da pessoa cuja imagem é usada. Ambos os esforços, que não tiveram apoio bipartidário, estagnaram no passado.
Mas recentemente, a questão atingiu um “ponto crítico”, diz Hany Farid, professor da Universidade da Califórnia, Berkeley, porque a IA se tornou muito mais sofisticada, tornando o potencial de dano muito mais sério. “O vetor de ameaça mudou drasticamente”, diz Farid. Criar um deepfake convincente há cinco anos exigia centenas de imagens, ele diz, o que significava que aqueles com maior risco de serem alvos eram celebridades e pessoas famosas com muitas fotos acessíveis publicamente. Mas agora, os deepfakes podem ser criados com apenas uma imagem.
Farid diz: “Acabamos de dar aos garotos do ensino médio a mãe de todas as armas nucleares para eles, que é poder criar pornografia com [uma única imagem] de quem eles quiserem. E, claro, eles estão fazendo isso.”..
Veja o artigo completo no site MIT Technology Review