Classification et extraction : les tâches qui rapportent le plus
Pourquoi précisément celles-ci
La classification et l'extraction ont une réponse correcte qu'on peut vérifier, une sortie courte et peu coûteuse, et une intégration simple avec les systèmes existants. Ce sont aussi les cas où un modèle remplace le travail manuel répétitif — router des demandes, lire des factures, étiqueter des leads.
À l'inverse, une interface de chat ouverte est difficile à mesurer, coûteuse et invite à des attentes que le système ne satisfera pas toujours.
Comment construire correctement
Définissez des catégories fermées avec une définition écrite pour chacune, y compris une catégorie « pas clair ». Sans elle, le modèle poussera chaque cas dans la catégorie la plus proche et vous mentira dans les chiffres.
Pour l'extraction : définissez un schéma strict, validez dans le code et retournez une valeur vide plutôt qu'une supposition. Un champ halluciné est plus dangereux qu'un champ manquant.
L'humain dans la boucle
Acheminez les cas à faible confiance vers un humain, et utilisez ses décisions pour agrandir l'ensemble d'évaluation. Ainsi le système s'améliore par l'utilisation, sans aucun projet d'entraînement.
Pour aller plus loin
Mesurez chaque catégorie séparément — une précision globale de 92 % peut cacher une catégorie critique à 60. Et construisez une matrice de confusion : elle montre non seulement combien d'erreurs il y a mais quelles catégories s'échangent, ce qui est généralement un défaut de définition, pas du modèle.