幻覚：なぜ起きるか、実際に何が助けるか

問題の源

モデルは真実ではなく最もありそうな続きを生成する。根拠がないとき、出力は依然として自信に満ちているように見える——そしてそれがまさに危険だ：エラーはエラーのように見えない。

助けること四つ

モデルのメモリに頼る代わりに、関連するソースをプロンプトに添付する。

すべての主張にソースの引用を要求し、ソースが提供された素材に存在することをコードで確認する。

「素材に回答がない」と言う明示的な方法を与え、例でそれを報いる。

構造化された信実の源に対して、テキストではなく、離散した事実——数値、日付、識別子——を確認する。

助けないこと

プロンプトに「発明するな」と書くこと。それはリクエストであり、メカニズムではない。モデルの信頼の宣言も信頼できる指標ではない——それらは出力の一部であり、その測定ではない。