Expériences : comment savoir que le changement a amélioré quelque chose
Pourquoi pas avant et après
La saisonnalité, une campagne en cours, un changement dans le mix d'utilisateurs — tous ont un effet. Une division aléatoire simultanée les neutralise, c'est pourquoi c'est le seul outil qui donne une réponse fiable.
Comment l'exécuter correctement
Décidez à l'avance la métrique principale, la taille de l'échantillon et la durée, et ne vous arrêtez pas au moment où une amélioration apparaît — s'arrêter tôt est la façon la plus courante de se tromper.
Gardez au moins une métrique d'équilibre, pour détecter une amélioration obtenue au détriment d'autre chose.
Quand il n'y a pas assez de trafic
Dans les systèmes internes, il n'y a pas toujours un échantillon statistique. Comparez alors sur un ensemble d'évaluation fixe, et ajoutez une vérification qualitative : vingt cas réels, deux évaluateurs, une décision motivée.
Pour aller plus loin
Enregistrez chaque expérience dans un seul endroit : hypothèse, métriques, résultat et décision. Les organisations oublient ce qui a été essayé et lancent la même idée une fois par an. Un journal d'expériences est la mémoire organisationnelle la moins chère qui soit.