בינה מלאכותית בפועל · מעורב
לתפעל מערכת AI לאורך זמן
בשורה אחת: מודלים מתחלפים, מסמכים משתנים ומשתמשים לומדים לשאול אחרת — מערכת שלא נגעו בה חצי שנה כמעט תמיד גרועה יותר.
קצב תחזוקה
הרצת סט ההערכה אחת לחודש גם בלי שינוי; סקירת מדגם שיחות אמיתיות שבועית; ורענון מאגר הידע לפי קצב השינוי של המקורות.
מעבר בין גרסאות מודל
ספקים משנים ומוציאים משימוש. החזיקו שכבת הפשטה, הריצו את סט ההערכה על הגרסה החדשה לפני המעבר, ועברו בהדרגה עם השוואה חיה.
אל תניחו שגרסה חדשה תמיד טובה יותר במשימה שלכם — לעיתים היא משנה סגנון פלט ושוברת ניתוח שמסתמך עליו.
מה מסתכלים עליו
אחוז התשובות שסומנו לשלילה, שיעור המעבר לאדם, שיעור "אין תשובה", עלות לפנייה, וזמן תגובה. חמישה מספרים באותו לוח.
לעומק
קבעו בעלים לכל מערכת מבוססת מודל, כמו לכל שירות. מערכות כאלה נוטות להישאר ללא בעלים אחרי סיום הפרויקט, ואז ההידרדרות נמשכת חודשים עד שמישהו מתלונן — ואז החקירה מתחילה מאפס.