Verzerrung, Fairness und Verantwortung beim Einsatz von Modellen
Wo es gefährlich ist
Jede Nutzung, die die Chancen von Menschen betrifft: Einstellung, Kredit, Preisgestaltung, Servicepriorität, Moderation. Dort ist der Fehler keine Unannehmlichkeit, sondern echter Schaden, und mitunter auch rechtliche Aussetzung.
Was man in der Praxis tut
Messen Sie die Leistung über Segmente — nicht nur einen Gesamtdurchschnitt — und prüfen, ob eine bestimmte Gruppe systematisch schlechtere Ergebnisse erhält.
Halten Sie einen Menschen in der Endentscheidung und geben ihm die Information, anders zu entscheiden und nicht nur zu bestätigen.
Dokumentieren Sie: was das System entscheidet, auf welcher Grundlage und wie man Widerspruch einlegt. Erklärbarkeit ist eine praktische Anforderung, keine Philosophie.
Transparenz gegenüber Nutzern
Menschen müssen wissen, dass sie mit einem automatisierten System interagieren, und was mit ihren Informationen geschieht. In regulierten Domänen lohnt es, die konkreten Anforderungen mit einer qualifizierten Stelle zu klären.
Im Detail
Bauen Sie einen dedizierten Fairness-Testsatz mit parallelen Fällen, die sich nur in einem Detail unterscheiden, das keine Rolle spielen sollte, und prüfen, dass das Ergebnis identisch ist. Führen Sie ihn als Regression bei jeder Modell- oder Prompt-Änderung aus — eine Versionsänderung kann eine geschlossene Lücke wieder öffnen.