Publicado originalmente por Quantamagazine
Imagine que você tem um amigo que dá respostas diferentes para a mesma pergunta, dependendo de como você a faz. “Qual é a capital do Peru?” receberia uma resposta e “Lima é a capital do Peru?” pegaria outro. Você provavelmente ficaria um pouco preocupado com as faculdades mentais de seu amigo e quase certamente acharia difícil confiar em qualquer resposta que ele desse.
Isso é exatamente o que está acontecendo com muitos modelos de linguagem de grande porte (LLMs), as ferramentas ultrapoderosas de aprendizado de máquina que potencializam o ChatGPT e outras maravilhas da inteligência artificial. Uma questão geradora, que é aberta, produz uma resposta, e uma questão discriminativa, que envolve ter de escolher entre opções, muitas vezes produz uma resposta diferente. “Há uma desconexão quando a mesma pergunta é formulada de forma diferente”, disse Athul Paul Jacob, estudante de doutorado no Instituto de Tecnologia de Massachusetts.
Para tornar as respostas de um modelo de linguagem mais consistentes – e tornar o modelo mais confiável em geral – Jacob e seus colegas desenvolveram um jogo onde os dois modos do modelo são direcionados para encontrar uma resposta com a qual possam concordar. Chamado de jogo de consenso, esse procedimento simples coloca um LLM contra si mesmo, usando as ferramentas da teoria dos jogos para melhorar a precisão e a consistência interna do modelo.
“A pesquisa que explora a autoconsistência dentro desses modelos tem sido muito limitada”, disse Shayegan Omidshafiei, diretor científico da empresa de robótica Field AI. “Este artigo é um dos primeiros que aborda isso, de forma inteligente e sistemática, criando um jogo para o modelo de linguagem brincar consigo mesmo.”..
Veja o artigo completo no site Quantamagazine