הטיה, הוגנות ואחריות בשימוש במודלים

איפה זה מסוכן

כל שימוש שמשפיע על הזדמנויות של אנשים: גיוס, אשראי, תמחור, קדימות בשירות, מודרציה. שם הטעות אינה אי־נוחות אלא נזק ממשי, ולעיתים גם חשיפה משפטית.

מה עושים בפועל

מדדו ביצועים בחתכים — לא רק ממוצע כללי — ובדקו אם קבוצה מסוימת מקבלת תוצאות גרועות יותר באופן שיטתי.

השאירו אדם בהחלטה הסופית, ותנו לו את המידע להחליט אחרת ולא רק לאשר.

תעדו: מה המערכת מחליטה, על סמך מה, ואיך מערערים. יכולת הסבר היא דרישה מעשית ולא פילוסופיה.

שקיפות למשתמש

אנשים צריכים לדעת שהם מקיימים אינטראקציה עם מערכת אוטומטית, ומה קורה למידע שלהם. בתחומים מוסדרים כדאי לברר את הדרישות הספציפיות עם מי שמוסמך לכך.