Alucinações: por que acontecem e o que realmente ajuda
A fonte do problema
O modelo produz a continuação mais plausível, não a verdade. Quando não tem base, a saída ainda parece confiante — e esse é exatamente o perigo: o erro não parece um erro.
Quatro coisas que ajudam
Anexar uma fonte relevante ao prompt em vez de depender da memória do modelo.
Exigir uma citação da fonte para cada afirmação, e verificar no código que a fonte existe no material fornecido.
Dar uma forma explícita de dizer 'não há resposta no material', e recompensá-la com exemplos.
Verificar fatos discretos — números, datas, identificadores — contra uma fonte de verdade estruturada, não contra texto.
O que não ajuda
Escrever 'não invente' no prompt. Isso é um pedido, não um mecanismo. Declarações de confiança do modelo também não são uma medida confiável — fazem parte da saída, não são uma medição dela.
Indo mais fundo
Construa uma categoria de teste dedicada de perguntas sem resposta no material, e meça com que frequência o sistema disse isso corretamente. É a métrica quase sempre esquecida, e a que decide se dá para confiar no sistema no uso real.