Experimente: wie man weiß, dass die Änderung etwas verbesserte

Warum nicht vorher und nachher

Saisonalität, eine laufende Kampagne, eine Verschiebung im Nutzermix — alle haben eine Wirkung. Eine gleichzeitige zufällige Aufteilung neutralisiert sie, weshalb sie das einzige Werkzeug ist, das eine zuverlässige Antwort gibt.

Wie man es richtig ausführt

Entscheiden Sie im Voraus über die primäre Kennzahl, die Stichprobengröße und die Dauer und stoppen Sie nicht im Moment einer erscheinenden Verbesserung — frühes Stoppen ist der häufigste Weg, sich zu täuschen.

Halten Sie mindestens eine ausgleichende Kennzahl, um eine Verbesserung zu erkennen, die auf Kosten von etwas anderem erreicht wurde.

Wenn es nicht genug Verkehr gibt

In internen Systemen gibt es nicht immer eine statistische Stichprobe. Dann vergleichen Sie auf einem festen Evaluationssatz und fügen eine qualitative Prüfung hinzu: zwanzig reale Fälle, zwei Bewerter, eine begründete Entscheidung.