ניסויים: איך יודעים שהשינוי שיפר משהו

למה לא לפני ואחרי

עונתיות, קמפיין שרץ, שינוי בתמהיל המשתמשים — כולם משפיעים. חלוקה אקראית בו־זמנית מנטרלת אותם, ולכן היא הכלי היחיד שנותן תשובה אמינה.

איך מריצים נכון

החליטו מראש על המדד הראשי, על גודל המדגם ועל משך הניסוי, ואל תעצרו ברגע שנראה שיפור — עצירה מוקדמת היא הדרך הנפוצה ביותר להשלות את עצמכם.

שמרו מדד מאזן אחד לפחות, כדי לזהות שיפור שהושג על חשבון משהו אחר.

כשאין מספיק תעבורה

במערכות פנימיות אין תמיד מדגם סטטיסטי. אז השוו על סט הערכה קבוע, והוסיפו בדיקה איכותנית: עשרים מקרים אמיתיים, שני מעריכים, החלטה מנומקת.