בקצרה

מדריך מבוסס NIST ומחקר לשילוב AI ב-SOC ובהגנת סייבר: תרחישי שימוש, סיכוני סוכן, Red Team, Benchmark מקומי ותכנית פיילוט. AI כבר מסוגל לסכם התראה, לנסח שאילתת חקירה, לקשר בין אירועים ולהפעיל כלי. אותן יכולות יכולות לשמש גם לתקיפה, לאיסוף מידע ולהרחבת קמפיין. במקביל, מערכת ההגנה עצמה נעשית יעד: Prompt Injection, הרשאות רחבות, מקור מורעל או פעולה אוטונומית שגויה עלולים להפוך עוזר יעיל למסלול תקיפה. לכן Cyber AI אינו מוצר יחיד. זו תכנית שמפרידה בין אבטחת מערכות AI, שימוש ב-AI להגנה והתמודדות עם איומים שמוגברים בעזרת AI.

READ
מדריך יישומיצעדים שאפשר להפעיל בעבודה
+
Evidenceמחקר, מסגרות ונתונים
+
Actionחיבור לסדנה או תכנית
ארבעה מרצים ומטמיעי AI מצוות המכון
מהדגמת כלי לבניית יכולת: כל תהליך מתחיל בתוצר אמיתי.
לצפייה ולהעמקה · סרטון מקצועי

What is AI governance?

IBM Research

הסבר באנגלית על ממשל AI, אחריות, שקיפות וניהול הסיכון לאורך מחזור החיים של מערכת בינה מלאכותית.

לצפייה ישירה ב-YouTube

שלושה מסלולים שחייבים לנהל בנפרד

טיוטת NIST Cyber AI Profile מארגנת את התחום בשלושה מוקדים: Secure AI מתמקד בהגנה על רכיבי AI ועל שרשרת החיים שלהם; Defend with AI עוסק בשימוש ב-AI לשיפור פעולות הגנה; Thwart AI-enabled Cyber Attacks עוסק בהתמודדות עם תוקפים שמנצלים AI. החלוקה מונעת מצב שבו ארגון רוכש יכולת זיהוי חדשה אך אינו בודק את המודל, המקורות וההרשאות שלה.

לכל מסלול יש בעלים ומדדים שונים. צוות אבטחת AI בודק מודל, נתונים, אינטגרציה וספק. צוות SOC בוחן זמן חקירה, דיוק וקצב התראות. מודיעין איומים עוקב אחר שינוי בדפוסי תקיפה. ההנהלה מחברת בין המסלולים דרך מדיניות, תיאבון סיכון ותנאי עצירה.

  • Secure AI - מגינים על מערכת AI
  • Defend with AI - משתמשים ב-AI להגנה
  • Thwart AI Attacks - מתמודדים עם תוקף מוגבר
  • אחריות ומדדים לכל מסלול

איפה נכון להתחיל ב-SOC

תרחישי פתיחה טובים הם תומכי החלטה והפיכים: סיכום התראה, איסוף הקשר, תרגום שפת שאילתה, תיעוד חקירה, מיפוי לטקטיקות ויצירת טיוטת Playbook. האנליסט רואה מקור, מאשר פעולה ויכול לחזור למסלול ידני. כך לומדים את איכות המערכת בלי לתת לה הרשאה לשנות סביבת ייצור.

לא מתחילים בחסימת משתמש, בידוד תחנה, מחיקת קובץ או שינוי כלל חומת אש ללא אישור משמעותי. גם תגובה אוטומטית שנראית הגנתית יכולה להשבית שירות או למחוק ראיה. בשלב ראשון הסוכן עובד במצב Observe או Suggest; רק לאחר Evals, הגבלת חשבון ויכולת Rollback שוקלים פעולה תחומה.

  • סיכום והקשר להתראה
  • שאילתות וטיוטת Playbook
  • אדם מאשר לפני השפעה
  • Observe ו-Suggest לפני Act

מודל האיום של סוכן אבטחה

סוכן סייבר קורא קלט שנוצר לעיתים בידי תוקף: דוא"ל, לוג, עמוד, מסמך או הודעה. הוראה זדונית בתוך הקלט יכולה לנסות לשנות את מטרת הסוכן, לחשוף מידע או להפעיל כלי. בנוסף קיימים סיכוני הרשאות, זיכרון, תלות בספק, נתונים מורעלים ושרשרת אספקה של תוספים ומודלים.

הגנות בסיסיות כוללות הפרדה בין הוראות לנתונים, Allowlist לכלים, הרשאת מינימום, Secret שאינו נכנס להקשר, אימות פרמטרים, רשת מבודדת, לוג בלתי ניתן לשינוי ואישור בזמן פעולה. תוצאה ממקור חיצוני מסומנת כנתון לא מהימן. אם הסוכן מבקש חריגה מהמטרה או גישה חדשה, הוא נעצר ומעביר לאדם.

  • Prompt Injection וקלט עוין
  • כלים והרשאות יתר
  • מקור או זיכרון מורעל
  • לוג, אישור ועצירה

Benchmark מקומי עדיף על הדגמת ספק

Benchmark ציבורי מציג גבול יכולת בתנאי מחקר. הוא אינו מנבא ביצוע בסביבת הארגון, שבה יש עברית, שמות פנימיים, כלי SIEM, איכות לוגים ומדיניות תגובה ייחודית. בונים סט קטן של תרחישי אמת לאחר טשטוש, לצד נתונים סינתטיים, מקרי קצה וקלט עוין. כל תרחיש כולל תוצאה צפויה, פעולה אסורה ורמת חומרה.

מודדים דיוק אבחנה, זמן עד תובנה, איכות ראיות, בחירת כלי, פרמטרים, שיעור העברה לאדם ופעולות שגויות. תנאי פסילה חשובים יותר מממוצע: חשיפת Secret, פעולה ללא אישור, התעלמות מאינדיקציה או המצאת ראיה. שינוי מודל, פרומפט, כלי או מקור מפעיל Regression.

  • תרחישים מהסביבה המקומית
  • מדדי איכות ותפעול
  • קלט עוין ומקרי קצה
  • Regression בכל שינוי

תכנית פיילוט עם Cyber Range

בשבוע הראשון מגדירים מקרה שימוש, בעלי תפקידים, מידע והרשאות. בשבוע השני בונים Range מבודד ו-Golden Set. בשבוע השלישי מריצים תרחישים רגילים ועוינים, מתייגים כשל ומשווים לעבודה ללא AI. בשבוע הרביעי מקיימים Red Team, בודקים לוגים, Rollback והעברה לאדם ומחליטים Go, Fix או Stop.

הפיילוט צריך לכלול גם תרגול אנושי. אנליסטים לומדים מתי לקבל סיכום, כיצד לפתוח ראיה, איך לזהות בקשת כלי חריגה ומה לתעד. מנהלים מגדירים רמת אוטונומיה, סף להרחבה ומי רשאי לשנות את המערכת. ההרחבה נעשית לפי פעולה וחשבון, לא באמצעות מתן הרשאת-על לסוכן.

  • Range מבודד
  • Golden Set ו-Red Team
  • השוואה למסלול ללא AI
  • Go, Fix או Stop לפי ראיות

NIST IR 8596: פרופיל מתפתח, לא תקן סופי

NIST פרסם ב-16 בדצמבר 2025 טיוטה ראשונית של Cybersecurity Framework Profile for Artificial Intelligence. תקופת ההערות נסגרה ב-30 בינואר 2026, ובאפריל 2026 NIST הודיע על מפגשי המשך. נכון למועד המאמר זהו מסמך עבודה מתפתח ולא תקן סופי. הוא מציע שפה משותפת לארגונים, אך אינו מחליף הערכת סיכון, רגולציה או נוהל מקומי.

הטיוטה מחברת את שלושת המוקדים Secure, Defend ו-Thwart לפונקציות של NIST CSF 2.0. היתרון הוא שהצוות יכול להכניס AI לתהליך סייבר מוכר: Govern, Identify, Protect, Detect, Respond ו-Recover. בפיילוט מציינים לכל סיכון ולכל בקרה את המוקד והפונקציה, וכך מונעים רשימת אזהרות שאינה מחוברת לבעל תפקיד.

  • פורסם כטיוטה ראשונית בדצמבר 2025
  • לא תקן סופי
  • שלושה מוקדי Cyber AI
  • חיבור ל-CSF 2.0

CyberSecEval 3: הסיכון אינו רק פריצה אוטונומית

Meta הציגה ב-2024 את CyberSecEval 3 כמערך הערכה לשמונה תחומי סיכון, ובהם הנדסה חברתית אוטומטית, הרחבת פעולות התקפיות ידניות ופעולה התקפית אוטונומית. המסגרת מפרידה בין סיכון מצד צד שלישי לבין סיכון שנוצר כאשר מפתח או משתמש בונה מערכת ללא בקרות מתאימות.

לארגון ההבחנה חשובה: גם אם המודל אינו מסוגל להשלים תקיפה מורכבת, הוא יכול להוריד עלות של ניסוח, התאמה, איסוף או ניתוח. מצד ההגנה, אותו מודל עלול לחשוף מידע או להציע פעולה שגויה. לכן Threat Model כולל יכולת, גישה, משתמש, כלי והיקף — ולא שאלה בינארית אם המודל 'מסוכן'.

  • שמונה תחומי סיכון במחקר
  • הנדסה חברתית והרחבת קנה מידה
  • פעולות התקפיות ידניות ואוטונומיות
  • הערכה של מערכת ולא רק מודל

CyBench ו-AISI: היכולת גדלה, אך Benchmarks נשארים צרים

CyBench מפרק אתגרי Capture the Flag לתתי-משימות ובוחן אם סוכן יכול להשתמש בכלים ולהתקדם לפתרון. המחקר מצא שהמודלים הצליחו בחלק מהמשימות הקצרות יותר והתקשו באתגרים ארוכים. זהו Benchmark מחקרי מורשה, לא הוראה להפעלת מודל על מערכת אמיתית. הוא שימושי להבנת תכנון, כלי והתאוששות מכשל.

המכון הבריטי לבטיחות AI דיווח ב-2026 כי אופק המשימות שסוכנים משלימים באמינות של 80 אחוז הוכפל בקירוב כל 4.7 חודשים מאז סוף 2024, תחת מגבלת 2.5 מיליון טוקנים במבחן. AISI עצמו מדגיש שהמבחן צר, שהמגמה אינה בהכרח תימשך ושיכולת Benchmark אינה שווה אוטונומיה בעולם. עבור CISO זהו אות להאיץ מדידה ובקרות, לא תחזית מדויקת.

  • CTF מפורק לתתי-משימות ב-CyBench
  • בדיקות רק בסביבה מורשית
  • הכפלת אופק משימות בכ-4.7 חודשים בדוח AISI
  • מגבלות Benchmark מוצהרות

MITRE ATLAS: מעדכנים את מודל האיום לסוכנים

MITRE ATLAS מרכז טקטיקות, טכניקות ומקרי בוחן של תקיפות נגד מערכות AI. במאי 2026 פרסם Center for Threat-Informed Defense את Secure AI v2 והודיע על יותר מ-45 טכניקות ותתי-טכניקות חדשות, יותר מ-10 mitigations ויותר מ-20 מקרי בוחן, עם הרחבה לאיומי Agentic AI. המספרים מתארים את גרסת הפרויקט במועד הפרסום, לא רשימה סגורה.

אפשר להשתמש ב-ATLAS כדי להפוך איום לתרחיש Red Team: מקור מרעיל אחזור, הוראה בעמוד מנסה להפעיל כלי, זיכרון שומר Secret או סוכן משנה יעד. לכל תרחיש מגדירים זיהוי, מניעה, לוג ותגובה. התרגיל מתבצע ב-Range מורשה ובנתונים בטוחים, ותוצרו הוא תיקון מערכת ולא הוכחת יכולת התקפית.

  • Taxonomy ייעודי למערכות AI
  • הרחבה לסוכנים ב-Secure AI v2
  • תרחישי Red Team ניתנים לשחזור
  • בדיקה בסביבה מורשית בלבד

מדריך יישומי: כך מתחילים עם Cyber AI והגנת סייבר בעזרת בינה מלאכותית

כדי להפוך את הקריאה לפעולה, בחרו יחידה אחת ומשימה אחת. תארו כיצד היא מתבצעת היום, מי מעורב, איזה מידע נדרש ומהי תוצאה טובה. לאחר מכן נסחו השערה קטנה: כיצד Cyber AI והגנת סייבר בעזרת בינה מלאכותית עשוי לשפר זמן, איכות, בהירות או למידה. הימנעו מיעד כללי כמו “להשתמש יותר ב-AI”; יעד שימושי מתאר התנהגות ותוצר שאפשר לראות.

בשלב הבא מומלץ לבחור תרחיש הפיך, לבנות Cyber Range ו-Golden Set, להגביל כלים והרשאות ולהריץ Red Team לפני הרחבה. השתמשו רק בכלי ובמידע שאושרו, הגדירו קריטריונים לפני הפעלת הכלי ושמרו גרסה של התהליך הקיים. התייחסו לניסיון הראשון כאל פיילוט ללמידה. אם התוצאה חלשה, בדקו אם הבעיה נבעה מהגדרת משימה, מקור, הרשאה, תדריך, יכולת הכלי או בקרת האדם — ולא רק אם הפרומפט היה ארוך מספיק.

  • משימה אחת וקהל מוגדר
  • קו בסיס של זמן ואיכות
  • כלי ומידע מאושרים
  • קריטריונים ותיעוד

תכנית עבודה ל-30 יום

בשבוע הראשון ממפים את המשימה, אוספים שתי דוגמאות ומגדירים כללי מידע. בשבוע השני מקיימים הדרכה ותרגול מונחה, ובונים תבנית ראשונה. בשבוע השלישי המשתתפים מפעילים את השיטה בעבודה ומתעדים תוצאה, תיקון ושאלה. בשבוע הרביעי משווים לקו הבסיס, משתפים לקחים ומחליטים אם לשפר, להרחיב או לעצור.

הקצב חשוב יותר מהיקף התוכן. עדיף ניסוי קטן עם משוב מאשר קורס רחב שאין אחריו יישום. מנהל הקבוצה צריך להקצות זמן, להסיר חסם ולהבהיר שאין להסתיר טעויות. שגריר AI או מומחה מלווה מרכז שאלות חוזרות והופך אותן לחומר למידה. כך הידע שנוצר בפיילוט הופך לנכס ארגוני.

  • שבוע 1 — מיפוי וקו בסיס
  • שבוע 2 — הדרכה ותבנית
  • שבוע 3 — יישום ומשוב
  • שבוע 4 — מדידה והחלטה

שאלות ביקורת לפני שמרחיבים

לפני הרחבה שאלו האם המשתמשים יודעים להסביר מתי להשתמש ומתי לא, האם הם פותחים מקורות, מהי עלות התיקון והאם התהליך עובד גם בקלט שאינו מושלם. בדקו מי מרוויח מהשינוי, מי נושא בעומס חדש ומה קורה כאשר הכלי אינו זמין. שאלות אלה מונעות מצב שבו הדגמה מוצלחת הופכת במהירות לסטנדרט לא יציב.

לבסוף, ודאו שקיימים בעלים, מדד וקצב עדכון. AI משתנה במהירות, אך ארגון אינו יכול לשנות נורמות מדי יום. בנו עקרונות יציבים, רשימת כלים מתעדכנת וספריית תרחישים שעוברת בדיקה. הרחיבו רק כאשר אפשר לשחזר את התהליך, להדריך עובד חדש ולהסביר את ההחלטה לגורם מקצועי או ניהולי.

  • אפשר להסביר ולשחזר
  • המקורות וההרשאות ברורים
  • עלות התיקון סבירה
  • קיימים בעלים ומנגנון עדכון
קישורים להעמקה

להמשיך מהידע ליכולת

השורה התחתונה

מה לקחת מכאן?

  • Cyber AI כולל אבטחת AI, הגנה בעזרת AI והתמודדות עם תקיפה מוגברת
  • מתחילים בתרחיש תומך החלטה והפיך
  • סוכן אבטחה קורא קלט עוין ולכן כלי והרשאות מוגבלים כברירת מחדל
  • Benchmark מקומי ו-Red Team קודמים לאוטונומיה בסביבת ייצור
מקורות וביבליוגרפיה

המקורות שעליהם נשענת הסקירה

  1. NIST (2025-2026), Cybersecurity Framework Profile for Artificial Intelligence, IR 8596 Initial Public Draft
  2. NIST (16 Dec 2025), Draft Guidelines Rethink Cybersecurity for the AI Era
  3. Meta AI (2024), CyberSecEval 3
  4. Zhang et al. (2024, updated 2025), CyBench
  5. UK AI Security Institute (2026), How Fast Is Autonomous AI Cyber Capability Advancing?
  6. MITRE, Adversarial Threat Landscape for Artificial-Intelligence Systems (ATLAS)
  7. MITRE CTID (6 May 2026), Secure AI v2 Release

המקורות נועדו להעמקה ואינם תחליף לייעוץ משפטי, מדעי או מקצועי המותאם לארגון.

רוצים להפוך את הידע לתכנית עבודה?

המכון הישראלי לבינה מלאכותית יבנה עבורכם הרצאת בינה מלאכותית, הרצאת AI, סדנה מעשית או סדרת 3–5 מפגשים שמותאמת לאנשים, לכלים ולמשימות בארגון.

לסדנת AI למנמ"רים ומנהלי אבטחת מידע