KI in der Praxis · Gemischt

Daten: woher sie kommen und was zu tun ist, wenn es keine gibt

In einem Satz: In den meisten Projekten existieren die Daten, sind aber verstreut, unetikettiert und unbereinigt — und das ist die Stufe, die die meiste Zeit frisst.

Drei Fragen, bevor man beginnt

Wo die Information physisch sitzt und wer Zugang hat; in welchem Zustand sie ist — Format, Vollständigkeit, Duplikate; und ob man sie für diesen Zweck nutzen darf. Die dritte Frage stoppt mehr Projekte als die ersten beiden.

Wenn es keine Etikettierung gibt

Beginnen Sie klein: zweihundert gut etikettierte Beispiele schlagen zehntausend nachlässig etikettierte. Schreiben Sie Etikettierungsrichtlinien, etikettieren eine Stichprobe doppelt und messen die Übereinstimmung zwischen Etikettierern — Uneinigkeit weist auf eine vage Definition, nicht auf schlechte Arbeiter.

Man kann auch eine Erstetikettierung mit einem Modell erzeugen und von Hand korrigieren. Das ist schnell und erfordert die Prüfung der Stichprobe, um keine Verzerrung fortzuschreiben.

Bereinigung, die sich lohnt

Doppelte Entitäten zusammenführen, hebräischen Text normalisieren, Daten und Zahlen korrigieren und Datensätze ohne Bedeutung entfernen. Der meiste Qualitätssprung kommt von hier, nicht von einem besseren Modell.

Im Detail

Halten Sie die Daten in Versionen: welche Stichprobe für welche Evaluation genutzt wurde. Ohne das ist der Vergleich zweier in verschiedenen Wochen durchgeführter Läufe bedeutungslos, und man kann nicht sagen, ob man sich verbesserte oder sich nur die Daten änderten.

Daten