Données : d'où elles viennent et quoi faire quand il n'y en a pas

Trois questions avant de commencer

Où l'information réside physiquement et qui y a accès ; dans quel état elle est — format, complétude, doublons ; et si on est autorisé à l'utiliser à cette fin. La troisième arrête plus de projets que les deux premières.

Quand il n'y a pas d'étiquetage

Commencez petit : deux cents exemples bien étiquetés valent plus que dix mille étiquetés négligemment. Rédigez des guides d'étiquetage, étiquetez un échantillon deux fois et mesurez l'accord entre les étiqueteurs — le désaccord indique une définition vague, pas de mauvais travailleurs.

On peut aussi générer un premier étiquetage avec un modèle et corriger à la main. C'est rapide, et nécessite de vérifier l'échantillon pour ne pas perpétuer de biais.

Le nettoyage qui vaut la peine

Fusionner les entités dupliquées, normaliser le texte hébreu, corriger les dates et les nombres, et supprimer les enregistrements sans signification. La plupart du gain de qualité vient de là, pas d'un meilleur modèle.