יסודות ותכנון מוצר · מעורב

מדדי הצלחה שלא משקרים

בשורה אחת: בחרו מדד אחד שקשור לערך שהמשתמש קיבל, ומדדו לצידו מדד אחד ששומר עליכם מלשבור משהו אחר.

מדדי הבל

מספר הרשמות, כניסות, לחיצות. הם עולים כמעט תמיד ואינם מעידים על דבר. מדד טוב יורד כשעושים משהו רע — זה המבחן.

החליפו "כמה נכנסו" ב"כמה השלימו את הפעולה שבגללה נכנסו", ו"כמה נרשמו" ב"כמה חזרו בשבוע השני".

זוג מדדים, לא אחד

לכל מדד ראשי צריך מדד מאזן. מהירות מול איכות. אחוז אוטומציה מול שביעות רצון. הכנסה מול ביטולים. בלי המאזן, כל צוות ימצא דרך לשפר את המדד הראשי בדרך שפוגעת במקום אחר.

רשמו את שני המספרים באותו לוח, זה לצד זה.

לפני ואחרי

מדדו שבועיים לפני השחרור. בלי קו בסיס, כל מספר אחרי השחרור הוא סיפור שאפשר לספר לשני הכיוונים. אם אפשר, שחררו לחלק מהמשתמשים והשוו לקבוצה שנשארה על המצב הקיים — זו הדרך היחידה להבדיל בין השפעה לבין עונתיות.

לעומק

הגדירו את המדד כשאילתה שמורה, לא כמספר שמישהו מחשב ידנית פעם בחודש. מדד שדורש עבודה ידנית מפסיק להימדד בדיוק כשהוא הופך למעניין. הוסיפו חתכים: לפי סוג משתמש, לפי ותק, לפי ערוץ — ממוצע יציב מסתיר לעיתים קרובות התדרדרות חדה בפלח אחד.