Hallucination ב-LLMs היא כשהמודל ממציא מידע שלא קיים - URL לא קיים, ספר שלא נכתב, פונקציה ב-API שלא קיימת. הסיבה: LLM חוזה את המילה הבאה הסטטיסטית, לא חוקר עובדות. דרכים לצמצם: RAG (חיפוש במקור אמין), prompt engineering (drop hallucination explicit), validation אוטומטי, ו-citations.
מצב שבו מודל AI מייצר מידע שגוי בביטחון מלא. זה קורה כי המודל הוא סטטיסטי ולא עובדתי. הפתרון לרוב הוא שימוש ב-RAG.
כי הוא מנוסח להשלים טקסט סביר, לא לאמת עובדות. ניסוח סביר וניסוח נכון נראים לו דומים, ולכן תשובה שגויה נשמעת בדיוק כמו תשובה נכונה.
מספקים את המקור בתוך הבקשה במקום לסמוך על הזיכרון של המודל, ומבקשים ממנו לצטט מאיפה הגיע כל טענה. מה שאין לו מקור מסומן ונבדק.
במספרים, בתאריכים, בשמות ובציטוטים - בדיוק המקומות שנראים הכי סמכותיים בתשובה, ולכן עוברים בלי בדיקה.
קטגוריה: AI & Automation