Publicado originalmente por MIT Technology Review
A revisão de tecnologia do MIT explica: Deixe nossos escritores desvendarem o mundo complexo e confuso da tecnologia para ajudá-lo a entender o que está por vir. Você pode ler mais da série aqui.
O novo chatbot da Organização Mundial da Saúde foi lançado em 2 de abril com a melhor das intenções.
Um avatar virtual inovador apoiado pelo GPT-3.5, SARAH (Smart AI Resource Assistant for Health) oferece dicas de saúde em oito idiomas diferentes, 24 horas por dia, 7 dias por semana, sobre como comer bem, parar de fumar, desestressar e muito mais, para milhões em todo o mundo.
Mas, como todos os chatbots, SARAH pode errar nas respostas. Foi rapidamente descoberto que fornecia informações incorretas. Num caso, surgiu uma lista de nomes e endereços falsos de clínicas inexistentes em São Francisco. A Organização Mundial da Saúde alerta em seu site que SARAH pode nem sempre ser preciso.
Aqui vamos nós outra vez. As falhas do chatbot agora são um meme familiar. O chatbot científico de curta duração da Meta, Galactica, elaborou artigos acadêmicos e gerou artigos wiki sobre a história dos ursos no espaço. Em fevereiro, a Air Canada foi obrigada a honrar uma política de reembolso inventada por seu chatbot de atendimento ao cliente. No ano passado, um advogado foi multado por apresentar documentos judiciais repletos de opiniões judiciais falsas e citações judiciais elaboradas pelo ChatGPT.
Essa tendência de inventar coisas – conhecida como alucinação – é um dos maiores obstáculos que impedem a adoção mais generalizada dos chatbots. Por que eles fazem isso? E por que não podemos consertar isso?
Para entender por que os grandes modelos de linguagem alucinam, precisamos observar como eles funcionam. A primeira coisa a notar é que inventar coisas é exatamente o que esses modelos foram projetados para fazer. Quando você faz uma pergunta a um chatbot, ele extrai sua resposta do grande modelo de linguagem que o sustenta. Mas não é como procurar informações em um banco de dados ou usar um mecanismo de busca na web.
Abra um grande modelo de linguagem e você não verá informações prontas esperando para serem recuperadas. Em vez disso, você encontrará bilhões e bilhões de números. Ele usa esses números para calcular suas respostas do zero, produzindo novas sequências de palavras dinamicamente. Muito do texto gerado por um grande modelo de linguagem parece ter sido copiado e colado de um banco de dados ou de uma página da web real. Mas, como na maioria das obras de ficção, as semelhanças são mera coincidência. Um grande modelo de linguagem é mais parecido com um Magic 8 Ball infinito do que com uma enciclopédia.
Pense nos bilhões de números dentro de um grande modelo de linguagem como uma vasta planilha que captura a probabilidade estatística de que certas palavras apareçam ao lado de outras palavras. Os valores na planilha são definidos quando o modelo é treinado, um processo que ajusta esses valores repetidamente até que as estimativas do modelo espelhem os padrões linguísticos encontrados em terabytes de texto retirados da Internet.
..
Veja o artigo completo no site MIT Technology Review