סקירה מדעית ומדריך מעשי להנדסת הקשר, RAG וזיכרון AI: מה להכניס לחלון ההקשר, מה לשמור, מה לאחזר ואיך למדוד איכות ופרטיות. פרומפט טוב הוא רק חלק קטן ממערכת AI אמינה. כדי לענות נכון, המודל צריך לקבל בזמן הנכון הוראות, מידע מקצועי, היסטוריה, תוצאות מכלים והרשאות. Context Engineering, או הנדסת הקשר, היא העבודה השיטתית של בחירת המידע הזה, סידורו, דחיסתו והפרדתו. חלון הקשר גדול אינו פותר את הבעיה לבדו: עוד טקסט עלול להוסיף רעש, סתירות, עלות וסיכון. המטרה היא לא למלא את החלון, אלא לתת למודל את המינימום המספיק לביצוע המשימה ולשמור יכולת להסביר מאין הגיעה כל טענה.
- הוראותמדיניות ויעד
- ידעRAG ומקורות
- כליםפעולות ותוצאות
- זיכרוןתוקף ומחיקה
חלון גדול אינו תחליף לבחירה. כל פריט הקשר צריך סיבה, מקור ותוקף.
מה ההבדל בין Prompt Engineering ל-Context Engineering
Prompt Engineering עוסק בעיקר בניסוח הוראות: מטרה, תפקיד, שלבים, אילוצים ופורמט. Context Engineering מסתכל על כל מצב העבודה שמוצג למודל בכל קריאה. הוא כולל את הפרומפט, אך גם מסמכים שנשלפו, דוגמאות, זיכרונות, תיאורי כלים, תוצאות ביניים, הרשאות והיסטוריית השיחה.
ההבדל חשוב במיוחד בסוכנים ובתהליכים ארוכים. כל פעולה מוסיפה מידע חדש, וחלק ממנו כבר אינו רלוונטי. אם המערכת מעבירה למודל את כל מה שנצבר, פרטים ישנים עלולים להתחרות בהוראה הנוכחית. לכן הנדסת הקשר היא מחזור: לכתוב מחוץ לחלון, לבחור מה להחזיר, לדחוס את הדרוש ולבודד מידע שאינו נדרש כרגע.
- Write - שמירה מחוץ לחלון
- Select - אחזור לפי המשימה
- Compress - דחיסה ללא אובדן החלטות
- Isolate - הפרדת מידע וכלים
חמש שכבות של הקשר ארגוני
השכבה הראשונה היא הוראות יציבות: תפקיד המערכת, גבולות פעולה וכללי סירוב. השנייה היא מצב המשימה: המשתמש, היעד, השלב והתוצר המצופה. השלישית היא ידע: מסמכים, רשומות ונתונים עדכניים. הרביעית היא כלים: אילו פעולות זמינות ומהי סכמת הקלט. החמישית היא זיכרון: העדפות או עובדות שנשמרו ממפגשים קודמים.
לכל שכבה מגדירים בעלים, מקור אמת, תוקף והרשאה. הוראה עסקית אינה נשמרת באותו מקום כמו העדפה אישית, ותוצאת חיפוש אינה מקבלת מעמד של מדיניות. תיוג המקור והתאריך מאפשר למערכת להעדיף מידע עדכני ולמשתמש לפתוח את הראיה. בלי היררכיה כזאת, המודל מקבל אוסף טקסטים ואינו יודע איזו סתירה להכריע.
- הוראות ומדיניות
- מצב המשימה
- ידע ומקורות
- כלים ותוצאות
- זיכרון והעדפות
RAG, חלון ארוך או זיכרון: לא אותה טכנולוגיה
RAG מאחזר קטעים ממאגר ידע לפי בקשה ומצרף אותם לקלט. הוא מתאים למידע רב, משתנה או מצוטט. חלון הקשר ארוך מאפשר להזין מסמך או שיחה גדולים בקריאה אחת, אך אינו מבטיח שהמודל ישתמש היטב בפרט שנמצא באמצע. זיכרון מתמשך שומר מידע מעבר לשיחה אחת, למשל העדפה, החלטה או עובדה מקצועית שנבדקה.
במערכת ארגונית משלבים לעיתים את שלושתם. מסמך קצר נכנס ישירות; ספריית נהלים עוברת RAG; החלטה שאושרה נשמרת בזיכרון מובנה. הבחירה נקבעת לפי נפח, קצב שינוי, צורך בציטוט, רגישות ותוחלת חיים. אין לשמור כל הודעה כזיכרון ואין לאחזר את כל המאגר. כל שכבה זקוקה למדיניות מחיקה ובדיקת רלוונטיות.
- Long Context - חומר תחום לקריאה
- RAG - ידע רב ועדכני
- Memory - מידע שנדרש בין מפגשים
- Database - מצב עובדתי מחייב
כשלי הקשר שכדאי לבדוק
כשל ראשון הוא אחזור לא נכון: הקטע דומה לשאלה אך אינו עונה עליה. השני הוא Context Clash, כאשר שני מקורות סותרים. השלישי הוא Poisoning, כאשר מסמך או תוצאת כלי מכילים הוראה שמנסה לשנות את התנהגות המערכת. הרביעי הוא זיכרון שגוי או פולשני שחוזר למשימה שאינה קשורה. החמישי הוא דחיסה שמוחקת החלטה, מספר או הסתייגות.
הגנות מעשיות כוללות הפרדה בין הוראות לנתונים, דירוג מקור, סינון לפי הרשאה, הצגת ציטוט, תוקף לזיכרון ולוג של מה נכנס לכל קריאה. בפעולה בעלת השפעה גבוהה לא מסתפקים בכך שהמידע הופיע בחלון: המערכת צריכה לזהות מקור מוסמך, לבדוק עדכניות ולהעביר לאדם כאשר קיימת סתירה שלא נפתרה.
- Retrieval שגוי
- סתירת מקורות
- Prompt Injection
- זיכרון לא רלוונטי
- דחיסה מאבדת מידע
חוזה הקשר לפיילוט ראשון
בוחרים תרחיש אחד, למשל מענה על נהלים או הכנת טיוטת עדכון. מגדירים Context Contract: אילו הוראות תמיד נכללות, אילו מקורות מותרים, כיצד נבחרים קטעים, מה אסור לשמור, מתי פג תוקף הזיכרון ומה מוצג למשתמש. החוזה כולל גם תקציב טוקנים וסדר עדיפויות כאשר אין מקום לכל החומר.
בבדיקה מריצים שאלות רגילות, עמומות, סותרות ועוינות. מודדים Retrieval Recall, נאמנות למקור, דיוק ציטוט, זמן, עלות ושיעור העברה לאדם. משווים לפחות שתי תצורות, למשל חלון מלא מול אחזור ממוקד. כל כשל נשמר כתרחיש Eval. רק לאחר שאפשר להסביר איזה מידע נכנס ולמה, מרחיבים את המאגר או מוסיפים זיכרון.
- מקורות מורשים ומתוארכים
- כללי בחירה וסדר עדיפויות
- שמירה, תוקף ומחיקה
- Eval של קלט רגיל ועוין
סקירה מדעית: חלון ארוך אינו זיכרון יעיל
מחקר Lost in the Middle בחן מודלי שפה במשימות שבהן המידע הרלוונטי הוזז למקומות שונים בתוך קלט ארוך. הביצוע היה לעיתים גבוה יותר כשהמידע הופיע בתחילת ההקשר או בסופו ונמוך יותר כשהופיע באמצע. התוצאה אינה אומרת שכל מודל נכשל תמיד באמצע, אך היא מפריכה הנחה נפוצה: עצם היכולת לקבל מספר גדול של טוקנים אינה מבטיחה שימוש אחיד בכל פרט.
LooGLE הרחיב את בדיקת ההקשר הארוך למסמכים של יותר מ-24 אלף טוקנים ולשאלות שתלויות בקשרים בין חלקים רחוקים. החוקרים יצרו אלפי שאלות והדגישו משימות קצרות וארוכות תלות. לארגון המסקנה היא לבדוק את סוג השאלה והמיקום של הראיה, ולא להסתפק בהצהרת היצרן על גודל החלון.
- Capacity אינה Recall
- מיקום הראיה משפיע
- בדיקה על מסמכים אמיתיים
- שאלות קצרות וארוכות תלות
RAG: אחזור הוא שלב מדידה בפני עצמו
המאמר המקורי של Lewis ועמיתיו חיבר מודל יצירה עם זיכרון חיצוני לא-פרמטרי שנשלף לפי הקלט. הרעיון מאפשר לעדכן ידע בלי לאמן מחדש את כל המודל ולבסס תשובה על מסמכים. עם זאת, אם מנגנון האחזור לא מביא את הראיה הנכונה, המודל אינו יכול להפיק ממנה תשובה נאמנה.
לכן מפרידים בין Retrieval ל-Generation. קודם בודקים Recall@K: האם קטע תומך נמצא בין התוצאות. אחר כך בודקים Precision ורלוונטיות, ולבסוף Faithfulness וציטוט. Chunking, Metadata, חיפוש היברידי ו-Reranking הם משתנים בניסוי. אין Chunk Size אוניברסלי; הגבול הנכון תלוי במבנה המסמך ובשאלה.
- Retrieval Recall
- רלוונטיות ודירוג
- Faithfulness
- ציטוט שנפתח למקור
RAPTOR וזיכרון היררכי
RAPTOR מציע לארגן מסמכים בעץ של אשכולות וסיכומים רקורסיביים, כך שאפשר לאחזר גם קטעים מפורטים וגם ייצוגים ברמת נושא. בעבודה שפורסמה ב-ICLR 2024 דווח שיפור משמעותי במשימות שאלות על נרטיבים ארוכים, כולל שיפור של 20 נקודות אבסולוטיות ב-QuALITY בתצורה שנבחנה עם GPT-4. זהו נתון ניסויי מוגדר, לא הבטחה לכל מאגר.
MemGPT משתמש באנלוגיה של מערכת הפעלה ומנהל שכבות זיכרון: הקשר עבודה קטן לצד אחסון חיצוני שאפשר לקרוא ולכתוב. התרומה היא ארכיטקטונית: במקום להתייחס לחלון כאל כל הזיכרון, המערכת מחליטה מה צריך להיות פעיל. האתגר עובר ממגבלת נפח למדיניות בחירה, עדכון ומחיקה.
- סיכום רב-רמות
- אחזור לפי רמת הפשטה
- Working Memory
- Archival Memory
LongMemEval: מה צריך לבדוק בזיכרון מתמשך
LongMemEval, שהוצג ב-ICLR 2025, מגדיר חמש יכולות לזיכרון שיחתי ארוך טווח: חילוץ מידע, חשיבה מרובת מפגשים, ידע זמני, עדכון ידע והימנעות כאשר אין מידע. אלה יכולות שונות. מערכת יכולה לזכור עובדה ישנה אך להיכשל בעדכון שלה, או לחבר פרטים משני מפגשים ולהמציא קשר שלא נאמר.
ב-Eval ארגוני בונים לכל יכולת תרחיש. מוסיפים עובדה, משנים אותה, בודקים מה נשמר, מבקשים מחיקה ושואלים שאלה שאין עליה תשובה. מודדים גם False Retrieval: זיכרון שנשלף שלא לצורך. הצלחה אינה רק לזכור יותר, אלא לדעת מתי לא לזכור ומתי לבקש אישור.
- חילוץ
- קישור בין מפגשים
- זמן ועדכון
- הימנעות ומחיקה
Context Engineering כמערכת ניתנת לביקורת
Anthropic מגדירה הנדסת הקשר כאוצרות ותחזוקה של קבוצת הטוקנים האופטימלית בזמן ההסקה, ומדגישה שהקשר הוא משאב סופי. LangChain מחלקת את העבודה לארבע אסטרטגיות: כתיבה, בחירה, דחיסה ובידוד. אלה מסגרות מקצועיות, לא תוצאות ניסוי מבוקר, אך הן מועילות לתרגום המחקר לארכיטקטורה.
לכל קריאת מודל שומרים Trace: הוראות, מזהי מקורות, תוצאות כלים, זיכרונות שנשלפו וגרסה. אין צורך לשמור מידע רגיש ללא גבול; אפשר לשמור מזהים ונתוני בדיקה לפי מדיניות. ה-Trace מאפשר להבין אם הכשל נבע מהמודל או מהקשר ולבנות Eval מדויק. בלי תצפית כזאת, שיפור פרומפט הוא ניחוש.
- Trace לכל קריאה
- מקור ותאריך
- מדיניות שמירה
- Eval לפי שכבת הכשל
מדריך יישומי: כך מתחילים עם הנדסת הקשר וזיכרון AI
כדי להפוך את הקריאה לפעולה, בחרו יחידה אחת ומשימה אחת. תארו כיצד היא מתבצעת היום, מי מעורב, איזה מידע נדרש ומהי תוצאה טובה. לאחר מכן נסחו השערה קטנה: כיצד הנדסת הקשר וזיכרון AI עשוי לשפר זמן, איכות, בהירות או למידה. הימנעו מיעד כללי כמו “להשתמש יותר ב-AI”; יעד שימושי מתאר התנהגות ותוצר שאפשר לראות.
בשלב הבא מומלץ למפות שכבות הקשר, להגדיר מקור והרשאה ולבדוק אחזור, דחיסה, זיכרון ומחיקה. השתמשו רק בכלי ובמידע שאושרו, הגדירו קריטריונים לפני הפעלת הכלי ושמרו גרסה של התהליך הקיים. התייחסו לניסיון הראשון כאל פיילוט ללמידה. אם התוצאה חלשה, בדקו אם הבעיה נבעה מהגדרת משימה, מקור, הרשאה, תדריך, יכולת הכלי או בקרת האדם — ולא רק אם הפרומפט היה ארוך מספיק.
- משימה אחת וקהל מוגדר
- קו בסיס של זמן ואיכות
- כלי ומידע מאושרים
- קריטריונים ותיעוד
תכנית עבודה ל-30 יום
בשבוע הראשון ממפים את המשימה, אוספים שתי דוגמאות ומגדירים כללי מידע. בשבוע השני מקיימים הדרכה ותרגול מונחה, ובונים תבנית ראשונה. בשבוע השלישי המשתתפים מפעילים את השיטה בעבודה ומתעדים תוצאה, תיקון ושאלה. בשבוע הרביעי משווים לקו הבסיס, משתפים לקחים ומחליטים אם לשפר, להרחיב או לעצור.
הקצב חשוב יותר מהיקף התוכן. עדיף ניסוי קטן עם משוב מאשר קורס רחב שאין אחריו יישום. מנהל הקבוצה צריך להקצות זמן, להסיר חסם ולהבהיר שאין להסתיר טעויות. שגריר AI או מומחה מלווה מרכז שאלות חוזרות והופך אותן לחומר למידה. כך הידע שנוצר בפיילוט הופך לנכס ארגוני.
- שבוע 1 — מיפוי וקו בסיס
- שבוע 2 — הדרכה ותבנית
- שבוע 3 — יישום ומשוב
- שבוע 4 — מדידה והחלטה
שאלות ביקורת לפני שמרחיבים
לפני הרחבה שאלו האם המשתמשים יודעים להסביר מתי להשתמש ומתי לא, האם הם פותחים מקורות, מהי עלות התיקון והאם התהליך עובד גם בקלט שאינו מושלם. בדקו מי מרוויח מהשינוי, מי נושא בעומס חדש ומה קורה כאשר הכלי אינו זמין. שאלות אלה מונעות מצב שבו הדגמה מוצלחת הופכת במהירות לסטנדרט לא יציב.
לבסוף, ודאו שקיימים בעלים, מדד וקצב עדכון. AI משתנה במהירות, אך ארגון אינו יכול לשנות נורמות מדי יום. בנו עקרונות יציבים, רשימת כלים מתעדכנת וספריית תרחישים שעוברת בדיקה. הרחיבו רק כאשר אפשר לשחזר את התהליך, להדריך עובד חדש ולהסביר את ההחלטה לגורם מקצועי או ניהולי.
- אפשר להסביר ולשחזר
- המקורות וההרשאות ברורים
- עלות התיקון סבירה
- קיימים בעלים ומנגנון עדכון
להמשיך מהידע ליכולת
מה לקחת מכאן?
- הנדסת הקשר מנהלת את כל המידע בזמן ההסקה, לא רק את הפרומפט
- חלון ארוך אינו מבטיח שימוש נכון במידע
- RAG, זיכרון ובסיס נתונים פותרים צרכים שונים
- כל פריט הקשר צריך מקור, הרשאה, תוקף ומדד איכות
המקורות שעליהם נשענת הסקירה
- Lewis et al. (2020), Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
- Liu et al. (TACL 2024), Lost in the Middle: How Language Models Use Long Contexts
- Jiang et al. (ACL 2024), LooGLE: Can Long-Context Language Models Understand Long Contexts?
- Sarthi et al. (ICLR 2024), RAPTOR: Recursive Abstractive Processing for Tree-Organized Retrieval
- Packer et al. (2023), MemGPT: Towards LLMs as Operating Systems
- Wu et al. (ICLR 2025), LongMemEval: Benchmarking Chat Assistants on Long-Term Interactive Memory
- Anthropic (2025), Effective Context Engineering for AI Agents
- LangChain (2025), Context Engineering for Agents
המקורות נועדו להעמקה ואינם תחליף לייעוץ משפטי, מדעי או מקצועי המותאם לארגון.
רוצים להפוך את הידע לתכנית עבודה?
המכון הישראלי לבינה מלאכותית יבנה עבורכם הרצאת בינה מלאכותית, הרצאת AI, סדנה מעשית או סדרת 3–5 מפגשים שמותאמת לאנשים, לכלים ולמשימות בארגון.
למעבדת Use Cases ומערכות AI ארגוניות