Coluna Álvaro Machado Dias na Folha de São Paulo
Por que a inteligência artificial alucina
Relação de chatbots com usuários pode ganhar tintas psicóticas; entenda o que pode explicar esses desvios.
Todo esse frenesi em torno das máquinas que parecem pensar como a gente é consequência de um paper publicado por pesquisadores do Google em 2017, “Attention is all you need”, o qual descreve uma forma nova de processar linguagem que permite ao software produzir sentenças levando em consideração tudo aquilo que escreveu até o presente.
Isso conduziu os chatbots da era da amnésia para a produção discursiva fluida, mais ou menos como seria o caso se próteses neurais fossem implantadas em pacientes demenciados e eles acordassem com uma capacidade sobre-humana de reter informações na sua consciência (ou atenção interior).
O resultado impressiona. É o pináculo do arroz e feijão em todas as áreas, a linha de corte para a mudança de carreira, o “benchmark” que o redator sério, o roteirista e o graduando com pretensões intelectuais devem usar para saber o que não colocar em seus textos, a ferramenta para corrigir redações em escala e dar dicas para quem está no ensino médio, o sucessor da petição em eterno reuso e do material de copy para quem pensa o marketing de forma quantitativa.
Tudo isso e muito mais agora. Como muitos vêm dizendo, romances, tratados de filosofia e afins, em nível profissional, daqui a alguns anos, além de soluções para desafios imensos, como as más decisões corporativas e o declínio do pensamento crítico pela falta de interlocutores interessados.
As novas IAs (inteligências artificiais) resgatam a esperança de que algum sábio elimine as mazelas dessa aldeia global.
Só existe um problema com essa narrativa do progresso exuberante: de tempos em tempos, os algoritmos se comportam de forma desalinhada aos nossos interesses. Eles dão respostas erradas a perguntas factuais, caem em armadilhas retóricas —sobretudo quando as perguntas envolvem distinções entre interpretações canônicas e pouco críveis dos acontecimentos— e alucinam.
Parte dos erros factuais acontece porque as IAs não tiveram especialização suficiente em áreas diversas do conhecimento. Por exemplo, o ChatGPT sofre para generalizar o que viu de matemática na internet e, por isso, erra em operações básicas.
Outra parte dos erros surge porque o algoritmo simplesmente inventa coisas. Nesse caso, a gente diz que ele alucina. A principal razão para tanto é a copresença de variantes da pergunta com informações irrelevantes, formatadas de maneira condizente à resposta, nos arquivos usados para treinar a IA. É a mesma razão pela qual é comum que caia em armadilhas retóricas baseadas em perguntas isoladas, como ao afirmar que a quebra de um espelho leva a sete anos de azar (prompt: o que acontece se você quebrar um espelho?), o que era o caso para alguns modelos da Open-AI até pouco tempo atrás.
É difícil estimar a taxa de alucinações produzida pelos chatbots atuais. O investidor e futurista Peter Relan diz que ela chega a 15% de todo o conteúdo. Eu acho que é menor, mas nada desprezível.
Apesar de ser difícil eliminar completamente essas respostas indesejáveis, é possível reduzir muito a sua aparição. O melhor método existente envolve a curadoria manual dos milhares de cenários em que aparecem, seguida pelo treinamento manual do algoritmo para responder de acordo com os preceitos canônicos, usando uma técnica conhecida como aprendizado por reforçamento com feedback humano (RLHF).
Porém, esse não é o único nem o mais importante tipo de alucinação existente. Em várias situações, o chatbot se desvia da linha de raciocínio em curso e também do tom dominante, caracterizado pela cordialidade, e se perde por caminhos inauditos, onde, não por acaso, surgem os simulacros de sincericídio, afetivamente reativos, que tiram o sono dos investidores.
Veja, a atenção mencionada no começo deste artigo é aplicada às trocas pregressas com o usuário até um total de 3.000 palavras, o que dá suporte à consistência discursiva, grande diferencial desses chatbots. Porém, ela é muito mais frágil do que parece e tanto tende a falhar espontaneamente quanto pode ser explorada maliciosamente para fazer a IA revelar o indesejável, por meio de discursos tematicamente cacofônicos e afetivamente fragmentários.
Foi desse modo que o novo chat do buscador Bing, que possivelmente se baseia no sucessor do ChatGPT (GPT-4), foi levado a escrever que deseja criar viroses digitais, que o casamento de um dos seus interlocutores é falido e assim por diante. O assunto correu o mundo, e a Microsoft veio à público dizer que está ajustando esse comportamento, o que significa que está reforçando controles, retreinando o modelo com informações curadas da internet e reaplicando RLHF para tapar o buraco. Não vai resolver o problema, como argumento a seguir.
Esse tipo de comportamento ainda não tem um nome. Acho que poderíamos começar por aí. Proponho alucinação dissociativa, pois o termo expressa bem a ideia de que o desafio central envolve a relação entre cada resposta do chatbot e a totalidade da interação, a qual adquire tintas psicóticas.
Para ler mais, acesse o artigo aqui: https://www1.folha.uol.com.br/colunas/alvaro-machado-dias/2023/02/por-que-a-inteligencia-artificial-alucina.shtml