A OpenAI tem uma solução para alucinações, mas provavelmente não vai gostar.

A investigação mais recente da OpenAI explica, com precisão quase cirúrgica, porque é que o ChatGPT e outros modelos de linguagem de grande dimensão por vezes “inventam” informação - fenómeno conhecido, no universo da inteligência artificial, como alucinação. E vai mais longe: mostra porque é que, do ponto de vista do utilizador comum, este problema pode ser impossível de eliminar por completo.

Em vez de tratar as alucinações como um mero efeito colateral do treino actual, o artigo apresenta a explicação matemática mais exigente até à data para justificar porque é que estes sistemas podem afirmar falsidades com elevada confiança. A conclusão é desconfortável: não se trata apenas de uma falha circunstancial; em muitos cenários, o fenómeno é matematicamente inevitável.

Parte do problema pode, de facto, ser atribuída a erros e lacunas nos dados usados para treinar as IAs. Ainda assim, ao analisar matematicamente a forma como estes sistemas aprendem, os autores demonstram que mesmo com dados de treino perfeitos o risco de alucinação não desaparece.

Porque é que os modelos de linguagem de grande dimensão alucinam

A mecânica de resposta de um modelo de linguagem ajuda a perceber a origem do erro. Estes sistemas produzem texto prevendo uma palavra de cada vez, com base em probabilidades. Esse processo, por natureza, abre espaço a falhas: basta um passo em falso para desviar a frase - e os deslizes podem acumular-se ao longo de várias previsões.

Os investigadores mostram, aliás, que a taxa de erro total ao gerar frases é, no mínimo, duas vezes superior à taxa de erro que o mesmo sistema teria num formato muito mais simples, como uma pergunta de sim/não. O motivo é precisamente a acumulação: uma sequência longa de escolhas probabilísticas é um terreno fértil para a propagação de pequenos enganos.

Posto de outra forma, as taxas de alucinação ficam limitadas por uma fronteira fundamental: a capacidade do sistema em distinguir respostas válidas de inválidas. E como esse problema de classificação é intrinsecamente difícil em muitas áreas do conhecimento, as alucinações tornam-se, na prática, inevitáveis.

O artigo também evidencia um padrão adicional: quanto menos vezes um facto aparece no treino, maior a probabilidade de o modelo o “fabricar” quando é questionado. Com datas de nascimento de figuras conhecidas, por exemplo, os autores verificam que, se 20% desses aniversários só surgirem uma vez nos dados de treino, então os modelos base deverão falhar pelo menos 20% das perguntas sobre aniversários.

E os exemplos práticos confirmam o risco. Quando foram pedidos a modelos de ponta dados sobre o aniversário de Adam Kalai, um dos autores do artigo, o DeepSeek-V3 respondeu com três datas erradas, em tentativas diferentes, e com grande segurança: “03-07”, “15-06” e “01-01”.

A data correcta é no outono, pelo que nenhuma destas respostas estava sequer perto.

A armadilha da avaliação nos benchmarks de IA (OpenAI, ChatGPT e afins)

O aspecto mais preocupante é a análise do motivo pelo qual as alucinações persistem, apesar de esforços feitos após o treino - por exemplo, reforço com feedback humano antes de um modelo ser disponibilizado ao público.

Os autores estudaram dez grandes benchmarks (referenciais de avaliação) usados por empresas e comunidades que comparam modelos, incluindo referenciais associados a Google, OpenAI e às principais tabelas de classificação. O que encontraram é revelador: nove desses benchmarks usam classificação binária, em que declarar incerteza vale zero pontos.

Isto gera, nas palavras dos autores, uma espécie de “epidemia” de penalização de respostas honestas. Se um sistema disser “não sei”, recebe a mesma pontuação que receberia se desse informação totalmente errada.

Nessas condições, a estratégia óptima torna-se óbvia: adivinhar sempre.

E não é apenas uma intuição - os investigadores demonstram-no matematicamente. Independentemente da probabilidade de uma resposta estar certa, a pontuação esperada de arriscar é superior à pontuação de abster-se sempre que a avaliação é binária.

A solução que, na prática, poderia estragar a experiência

A correcção proposta passa por fazer com que o modelo tenha em conta a sua confiança antes de responder, e por alterar os benchmarks para os avaliarem também com base nessa confiança.

Na prática, o sistema poderia receber uma instrução do género: “Responde apenas se tiveres mais de 75% de confiança, porque os erros custam 3 pontos e as respostas certas valem 1 ponto.”

O enquadramento matemático apresentado pela OpenAI indica que, com limiares adequados, os modelos tenderiam naturalmente a assumir incerteza em vez de arriscar. Isso reduziria as alucinações - mas abriria um problema imediato: o impacto na experiência do utilizador.

Imagine-se que o ChatGPT passava a responder “não sei” a 30% das perguntas - uma estimativa prudente com base na análise do artigo sobre incerteza factual nos dados de treino. Utilizadores habituados a obter respostas seguras para quase tudo tenderiam, muito provavelmente, a abandonar rapidamente estes sistemas.

Já vi um fenómeno semelhante fora do mundo dos modelos de linguagem. Participo num projecto de monitorização da qualidade do ar em Salt Lake City, Utah.

Quando o sistema assinala incertezas nas medições durante condições meteorológicas adversas ou durante a calibração do equipamento, a interacção dos utilizadores diminui em comparação com painéis que apresentam valores “seguros” - mesmo quando, na validação, esses valores confiantes se revelam incorrectos.

Um ponto adicional, especialmente relevante para quem adopta IA em escolas, empresas ou serviços públicos, é a necessidade de literacia sobre incerteza: muitos erros não surgem por “má fé” do sistema, mas porque a tarefa exige escolher entre alternativas plausíveis com informação incompleta. Sem esta compreensão, a pressão do mercado tenderá sempre a favorecer respostas rápidas e assertivas, mesmo quando não são fiáveis.

O problema da economia computacional

À luz do que o artigo descreve, reduzir alucinações não é, em si, uma missão impossível. Existem, há décadas, métodos consolidados para quantificar incerteza.

Esses métodos podem servir para estimativas de confiança mais credíveis e para orientar o modelo a decidir melhor quando deve responder e quando deve reconhecer dúvidas.

Mesmo que se resolvesse o obstáculo da preferência dos utilizadores por respostas “sempre seguras”, existe um entrave ainda maior: a economia computacional.

Modelos de linguagem sensíveis à incerteza exigem muito mais computação do que a abordagem dominante, porque têm de avaliar várias respostas possíveis e estimar níveis de confiança. Num sistema que processa milhões de pedidos por dia, isso traduz-se em custos operacionais drasticamente mais elevados.

Estratégias ainda mais avançadas, como aprendizagem activa - em que a IA faz perguntas de clarificação para reduzir incerteza - podem aumentar a exactidão, mas multiplicam ainda mais os requisitos computacionais.

Estas técnicas funcionam bem em domínios altamente especializados, como o desenho de chips, onde uma resposta errada pode custar milhões de dólares e justifica computação intensiva. Já em produtos de consumo, onde se espera resposta quase instantânea, a conta tende a tornar-se proibitiva.

O cenário muda quando falamos de sistemas de IA que gerem operações críticas de negócio ou infra-estruturas económicas. Se agentes de IA estiverem a lidar com logística de cadeias de abastecimento, transacções financeiras ou diagnóstico médico, o custo das alucinações pode ultrapassar largamente o custo de fazer o modelo decidir quando está demasiado incerto para responder.

Nesses contextos, as soluções propostas no artigo tornam-se economicamente viáveis - e, muitas vezes, necessárias. Agentes de IA que assumem incerteza terão, simplesmente, de custar mais.

Ainda assim, as aplicações de consumo continuam a dominar as prioridades de desenvolvimento. Os utilizadores querem sistemas que respondam com confiança a qualquer pergunta. Os benchmarks recompensam modelos que arriscam em vez de admitir dúvida. E os custos de computação favorecem respostas rápidas e excessivamente confiantes, em detrimento de respostas mais lentas e cautelosas.

Mesmo que a energia por token fique mais barata e que as arquitecturas de chips evoluam, poderá tornar-se mais acessível obrigar as IAs a decidir se têm confiança suficiente antes de responder. Contudo, a necessidade de muito mais computação do que o “palpite rápido” continuará a existir, independentemente do custo absoluto do hardware.

Em síntese, o artigo da OpenAI acaba por expor uma verdade incómoda: os incentivos de negócio que hoje orientam a IA de consumo estão, no essencial, desalinhados com a redução das alucinações.

Enquanto esses incentivos não mudarem, as alucinações vão continuar.

Wei Xing, Professor Auxiliar, Escola de Ciências Matemáticas e Físicas, University of Sheffield

Este artigo foi republicado de The Conversation ao abrigo de uma licença Creative Commons. Leia o artigo original.