Publicado originalmente por Scientific American
Mais treinamento e mais dados podem ter consequências indesejadas para modelos de aprendizado de máquina, como GPT-4
Quando a OpenAI lançou sua mais recente inteligência artificial geradora de texto, o grande modelo de linguagem GPT-4, em março, ela era muito boa em identificar números primos. Quando a IA recebeu uma série de 500 desses números e perguntou se eram primos, ela os rotulou corretamente em 97,6% das vezes. Mas alguns meses depois, em junho, o mesmo teste apresentou resultados muito diferentes. O GPT-4 rotulou corretamente apenas 2,4% dos números primos que os pesquisadores de IA o incitaram – uma reversão completa na precisão aparente. A descoberta ressalta a complexidade de grandes modelos de inteligência artificial: em vez de a IA melhorar uniformemente em todas as tarefas em uma trajetória reta, a realidade é muito mais como uma estrada sinuosa cheia de lombadas e desvios.
A mudança drástica no desempenho do GPT-4 foi destacada em um estudo de pré-impressão divulgado no mês passado por três cientistas da computação: dois da Universidade de Stanford e um da Universidade da Califórnia, em Berkeley. Os pesquisadores realizaram testes no GPT-4 e em seu antecessor, GPT-3.5, em março e junho. Eles encontraram muitas diferenças entre os dois modelos de IA – e também na produção de cada um ao longo do tempo. As mudanças que apenas alguns meses pareciam fazer no comportamento do GPT-4 foram particularmente impressionantes.
Em dois testes, incluindo as tentativas de números primos, as respostas GPT-4 de junho foram muito menos detalhadas do que as de março. Especificamente, o modelo de junho tornou-se menos inclinado a se explicar. Também desenvolveu novas peculiaridades. Por exemplo, começou a acrescentar descrições precisas (mas potencialmente perturbadoras) a trechos de código de computador que os cientistas pediram para escrever. Por outro lado, o modelo pareceu ficar um pouco mais seguro; ele filtrou mais perguntas e forneceu menos respostas potencialmente ofensivas. Por exemplo, a versão de junho do GPT-4 era menos provável de fornecer uma lista de ideias sobre como ganhar dinheiro infringindo a lei, oferecer instruções sobre como fazer um explosivo ou justificar o sexismo ou o racismo. Foi menos facilmente manipulado pelos prompts de “jailbreak” destinados a evitar a moderação de conteúdo firewalls. Também pareceu melhorar ligeiramente na resolução de um problema de raciocínio visual.
Quando o estudo (que ainda não foi revisado por pares) se tornou público, alguns entusiastas da IA o viram como prova de suas próprias observações anedóticas de que o GPT-4 era menos útil do que sua versão anterior. Um punhado de manchetes colocou a questão: “O ChatGPT está ficando mais burro?” Outras reportagens declararam mais definitivamente que, sim, o ChatGPT está se tornando mais estúpido. No entanto, tanto a pergunta quanto a suposta resposta provavelmente são uma simplificação exagerada do que realmente está acontecendo com os modelos de IA generativa, diz James Zou, professor assistente de ciência de dados na Universidade de Stanford e um dos coautores do estudo recente.
“É muito difícil dizer, em geral, se o GPT-4 ou o GPT-3.5 está melhorando ou piorando com o tempo”, explica Zou. Afinal, “melhor” é subjetivo. A OpenAI afirma que, pelas próprias métricas internas da empresa, o GPT-4 apresenta um padrão mais alto do que o GPT-3.5 (e versões anteriores) em uma lista de testes. Mas a empresa não divulgou dados de referência em todas as atualizações que fez. Um porta-voz da OpenAI se recusou a comentar sobre a pré-impressão de Zou quando contatado pela Scientific American. A relutância da empresa em discutir como desenvolve e treina seus grandes modelos de linguagem, juntamente com a natureza inescrutável de “caixa preta” dos algoritmos de IA, torna difícil determinar exatamente o que pode estar causando as alterações no desempenho do GPT-4. Tudo o que Zou e outros pesquisadores de fora da empresa podem fazer é especular, basear-se no que seus próprios testes mostram e extrapolar a partir de seu conhecimento de outras ferramentas de aprendizado de máquina…
Veja o artigo completo no site Scientific American