Publicado originalmente por MIT Technology Review
Nos últimos 10 anos, a Big Tech se tornou muito boa em algumas coisas: linguagem, previsão, personalização, arquivamento, análise de texto e processamento de dados. Mas ainda é surpreendentemente ruim em capturar, rotular e remover conteúdo prejudicial. Basta lembrar a disseminação de teorias da conspiração sobre eleições e vacinas nos Estados Unidos nos últimos dois anos para entender os danos que isso causa no mundo real.
E a discrepância levanta algumas questões. Por que as empresas de tecnologia não melhoraram a moderação de conteúdo? Eles podem ser forçados a isso? E os novos avanços na IA melhorarão nossa capacidade de capturar informações ruins?
Principalmente, quando são levados ao Congresso para prestar contas por espalhar ódio e desinformação, as empresas de tecnologia tendem a culpar as complexidades inerentes das linguagens por que estão falhando. Executivos da Meta, Twitter e Google dizem que é difícil interpretar o discurso de ódio dependente do contexto em larga escala e em diferentes idiomas. Um refrão favorito de Mark Zuckerberg é que as empresas de tecnologia não deveriam ser responsáveis por resolver todos os problemas políticos do mundo.
A maioria das empresas atualmente usa uma combinação de tecnologia e moderadores de conteúdo humano (cujo trabalho é subestimado, conforme refletido em seus escassos pacotes de pagamento ).
No Facebook, por exemplo, a inteligência artificial detecta atualmente 97% do conteúdo removido da plataforma.
No entanto, a IA não é muito boa em interpretar nuances e contextos, diz Renee DiResta, gerente de pesquisa do Stanford Internet Observatory, portanto, não é possível substituir totalmente os moderadores humanos de conteúdo – que nem sempre são bons em interpretar essas coisas.
O contexto cultural e o idioma também podem apresentar desafios, porque a maioria dos sistemas automatizados de moderação de conteúdo foram treinados com dados em inglês e não funcionam bem com outros idiomas.
A moderação de conteúdo parece ser uma guerra sem fim entre empresas de tecnologia e maus atores. As empresas de tecnologia implementam regras para policiar o conteúdo; os maus atores descobrem como evitá-los fazendo coisas como postar com emojis ou erros ortográficos deliberados para evitar a detecção. As empresas então tentam fechar as brechas, os perpetradores encontram novas e assim por diante.
Isso é difícil o suficiente do jeito que está. Mas é provável que logo se torne muito mais difícil, graças ao surgimento de IA generativa e grandes modelos de linguagem como o ChatGPT. A tecnologia tem problemas – por exemplo, sua propensão a inventar coisas com confiança e apresentá-las como fatos – mas uma coisa é clara: a IA está melhorando na linguagem… tipo, muito melhor.
Então, o que isso significa para moderação de conteúdo?..
Veja o artigo completo no site MIT Technology Review