KI in der Praxis · Gemischt

Ein KI-System über die Zeit betreiben

In einem Satz: Modelle werden ersetzt, Dokumente ändern sich und Nutzer lernen, anders zu fragen — ein sechs Monate unberührtes System ist fast immer schlechter.

Ein Wartungsrhythmus

Den Evaluationssatz einmal im Monat ausführen, auch ohne Änderung; eine wöchentliche Prüfung einer realen Gesprächsstichprobe; und die Wissensbasis im Takt der Quellenänderung auffrischen.

Zwischen Modellversionen wechseln

Anbieter ändern und stellen Modelle außer Dienst. Halten Sie eine Abstraktionsschicht, führen Sie den Evaluationssatz vor dem Wechsel auf der neuen Version aus und gehen stufenweise mit einem Live-Vergleich über.

Nehmen Sie nicht an, eine neue Version sei bei Ihrer Aufgabe stets besser — sie ändert mitunter den Ausgabestil und bricht eine Analyse, die darauf beruht.

Worauf man sieht

Der Anteil negativ markierter Antworten, die Rate der Übergabe an einen Menschen, die „keine Antwort“-Rate, Kosten je Anfrage und Antwortzeit. Fünf Zahlen auf einem Board.

Im Detail

Weisen Sie jedem modellbasierten System einen Eigentümer zu, wie jedem Dienst. Solche Systeme bleiben nach Projektende oft eigentümerlos, und dann setzt sich der Verfall monatelang fort, bis jemand sich beschwert — und die Untersuchung von Grund auf beginnt.

Langfristige WartungÜberwachung