לחבר את הידע שלכם למודל: "RAG" בלי מילים גדולות
ארבעת השלבים
חלוקה. חתכו לפי מבנה — סעיף, כותרת, שורה — ושמרו בכל קטע את שם המסמך ונתיב הכותרות. חיתוך שרירותי הוא הסיבה הנפוצה ביותר לתשובות גרועות.
אינדוקס. שילוב של חיפוש לפי משמעות עם חיפוש מילולי עדיף על כל אחד לבדו, במיוחד בעברית ובמזהים.
אחזור. מעט קטעים רלוונטיים, לא הרבה. יותר קטעים מייקרים, מאטים ומכניסים רעש.
תשובה. הנחיה לענות רק מהחומר, לצטט מקור, ולומר במפורש כשאין תשובה.
המלכודות
הרשאות שנשכחו באחזור; מסמכים סותרים שאין ביניהם תיעדוף לפי תאריך; שאלות שהן בעצם שאילתת נתונים ולא חיפוש טקסט; וכתיב עברי לא מנורמל.
איך יודעים שזה עובד
מדדו את שני השלבים בנפרד: האם הקטע הנכון הופיע בתוצאות, ובהינתן שהופיע — האם התשובה מדויקת. מדידה של התוצאה בלבד לא אומרת מה לתקן.
לעומק
בנו סט שאלות שלכל אחת ידוע הקטע הנכון, ומדדו כמה פעמים הוא הופיע בחמש הראשונות. זה המדד שמניע את רוב השיפור. הוסיפו ניסוח מחדש של השאלה לפני החיפוש, ושמירת הקשר משיחה קודמת לשאלות המשך.