Opérer un système IA dans le temps
Un rythme de maintenance
Exécuter l'ensemble d'évaluation une fois par mois même sans changement ; une revue hebdomadaire d'un échantillon de vraies conversations ; et rafraîchir la base de connaissances au rythme où les sources changent.
Passer entre les versions de modèle
Les prestataires changent et retirent des modèles. Gardez une couche d'abstraction, exécutez l'ensemble d'évaluation sur la nouvelle version avant le passage, et faites la transition progressivement avec une comparaison en direct.
Ne supposez pas qu'une nouvelle version est toujours meilleure sur votre tâche — elle change parfois le style de sortie et casse une analyse qui en dépend.
Ce qu'on observe
La part de réponses marquées négativement, le taux de renvoi à un humain, le taux « pas de réponse », le coût par requête et le temps de réponse. Cinq chiffres sur un tableau.
Pour aller plus loin
Attribuez un propriétaire à chaque système basé sur des modèles, comme à tout service. Ces systèmes ont tendance à rester sans propriétaire après la fin du projet, et alors le déclin se poursuit pendant des mois jusqu'à ce que quelqu'un se plaigne — et l'enquête recommence de zéro.