Halluzinationen: warum sie geschehen und was wirklich hilft
Die Quelle des Problems
Das Modell erzeugt die plausibelste Fortsetzung, nicht die Wahrheit. Hat es keine Grundlage, sieht die Ausgabe dennoch selbstsicher aus — und genau das ist die Gefahr: Der Fehler sieht nicht wie ein Fehler aus.
Vier Dinge, die helfen
Fügen Sie dem Prompt eine relevante Quelle bei, statt sich auf das Gedächtnis des Modells zu verlassen.
Verlangen Sie ein Quellenzitat für jede Behauptung und prüfen im Code, dass die Quelle im bereitgestellten Material existiert.
Geben Sie einen expliziten Weg zu sagen „es gibt keine Antwort im Material“ und belohnen ihn mit Beispielen.
Prüfen Sie diskrete Fakten — Zahlen, Daten, Kennungen — gegen eine strukturierte Wahrheitsquelle, nicht gegen Text.
Was nicht hilft
„Erfinde nichts“ in den Prompt zu schreiben. Das ist eine Bitte, kein Mechanismus. Sicherheitsbekundungen des Modells sind ebenfalls kein zuverlässiges Maß — sie sind Teil der Ausgabe, keine Messung von ihr.
Im Detail
Bauen Sie eine dedizierte Testkategorie aus Fragen ohne Antwort im Material und messen, wie oft das System das korrekt sagte. Es ist die fast immer vergessene Kennzahl, und sie entscheidet, ob man sich auf das System im echten Einsatz verlassen kann.