Experimentos: cómo saber que el cambio mejoró algo
Por qué no antes y después
La estacionalidad, una campaña en marcha, un cambio en la mezcla de usuarios: todos tienen efecto. Una división aleatoria simultánea los neutraliza, por eso es la única herramienta que da una respuesta fiable.
Cómo ejecutarlo bien
Decide de antemano la métrica principal, el tamaño de la muestra y la duración, y no pares en el momento en que aparece una mejora: parar pronto es la forma más común de engañarse.
Mantén al menos una métrica de equilibrio, para detectar una mejora lograda a costa de otra cosa.
Cuando no hay suficiente tráfico
En los sistemas internos no siempre hay una muestra estadística. Entonces compara en un conjunto de evaluación fijo, y añade una comprobación cualitativa: veinte casos reales, dos evaluadores, una decisión razonada.
En profundidad
Registra cada experimento en un sitio: hipótesis, métricas, resultado y decisión. Las organizaciones olvidan qué se ha intentado y ejecutan la misma idea una vez al año. Un diario de experimentos es la memoria organizacional más barata que existe.