אבטחה במערכות מבוססות מודלים

הזרקת הוראות

כל טקסט שהמערכת קוראת — דואר, אתר, מסמך, תגובה — עלול להכיל הוראות. המודל אינו מבחין בין הנחיה שלכם לבין טקסט שנראה כהנחיה.

הכלל: תוכן חיצוני הוא נתון, לעולם לא פקודה. פעולות בעלות השפעה שנגזרות ממנו דורשות אישור אנושי או כלל קשיח בקוד.

הפלט כקלט

אם המערכת מריצה, שולחת או שומרת את מה שהמודל הפיק, יש להתייחס לפלט כאל קלט לא מהימן: אימות סכמה, בריחת תווים, ורשימת פעולות מותרות. מודל שמייצר שאילתה לא צריך להריץ אותה ישירות מול בסיס נתונים עם הרשאות רחבות.

דליפה בכיוון השני

מידע רגיש שנשלח בפנייה, וקטעים מאוחזרים שהמשתמש אינו מורשה לראות. סינון הרשאות חייב לקרות בשלב האחזור, והנחיית מערכת אינה סוד — אפשר לגרום למודל לחשוף אותה.