סקירה מחקרית ומדריך מעשי לסוכני Computer Use ו-GUI Agents: יכולות, Benchmarks, הרשאות, Prompt Injection ופיילוט ארגוני בטוח. סוכן Computer Use אינו מסתפק בהסבר כיצד לבצע משימה. הוא קורא צילום מסך או ייצוג של ממשק, מזהה כפתור ושדה, מתכנן צעד ומפעיל עכבר ומקלדת כמו משתמש. היכולת הזאת פותחת דרך לאוטומציה גם במערכות ישנות שאין להן API נוח, אך היא מוסיפה אי-ודאות בכל שלב: מה הסוכן ראה, על מה לחץ, האם המסך השתנה והאם הפעולה הושלמה. לכן הערך אינו נמדד בהדגמה שבה הכל עבד פעם אחת, אלא בשיעור השלמה חוזר, באימות תוצאה, בהתאוששות מכשל ובגבולות ההרשאה.
כל פעולה מוסיפה סיכון. הרשאה מתרחבת רק אחרי הצלחה חוזרת ובדיקה פונקציונלית.
מהו סוכן Computer Use ומה הוא אינו
סוכן GUI מקבל יעד, מתבונן במצב הנוכחי של המסך ובוחר פעולה כמו לחיצה, הקלדה, גלילה או מעבר חלון. לאחר הפעולה הוא צופה שוב במסך ומעדכן את התכנית. הלולאה היא תפיסה, תכנון, פעולה ואימות. בניגוד לצ'ט, הפלט אינו רק טקסט; הוא שינוי במערכת חיצונית שיכול להשפיע על מידע, לקוח או תהליך.
הגישה שונה גם מ-RPA קלאסי ומחיבור API. RPA פועל בדרך כלל לפי רצף וכללים שנכתבו מראש ומתאים לתהליך יציב. API מציע פעולה מובנית עם קלט ופלט מוגדרים. סוכן Computer Use גמיש יותר מול ממשק משתנה ושפה טבעית, אבל הוא פחות דטרמיניסטי. לעיתים הפתרון הנכון הוא שילוב: API לפעולה קריטית, RPA לשגרה יציבה וסוכן GUI רק למקטע שאי אפשר לחבר אחרת.
- צפייה במסך ובמצב
- תכנון צעד הבא
- פעולת עכבר או מקלדת
- בדיקת תוצאה והתאוששות
איפה נמצא הערך הארגוני
הערך האפשרי גבוה בתהליך שחוצה כמה ממשקים: איסוף סטטוס ממערכת אחת, עדכון טיוטה במערכת אחרת והכנת סיכום לאישור. גם מערכות Legacy, פורטלים חיצוניים ותהליכים אדמיניסטרטיביים עשויים להיות מועמדים, במיוחד כאשר נפח העבודה אינו מצדיק אינטגרציה מלאה. סוכן יכול גם לסייע בנגישות ולהפוך הוראה בשפה טבעית לרצף פעולות.
לא כל תהליך הוא מועמד. פעולה כספית, שינוי זכויות, מחיקת מידע, החלטה על עובד או שליחת הודעה מחייבת דורשות רמת ביטחון, הרשאה ותיעוד גבוהה. אם אין דרך ברורה לבדוק את התוצאה או לבטל אותה, מתחילים במצב תצפית או הצעה בלבד. משתמשים גם צריכים לדעת שהמערכת פועלת בשמם ולא לייחס לה סמכות שאינה קיימת.
- תהליך חוזר ורב-מערכתי
- ממשק ללא API מתאים
- תוצאה ניתנת לבדיקה
- פעולה הפיכה ומוגבלת
חמש שכבות כשל בממשק גרפי
כשל Grounding מתרחש כשהסוכן מזהה רכיב שגוי או מפספס תפריט. כשל State נוצר כשהוא אינו מבין אם חלון נטען או שהפעולה הצליחה. כשל Planning הוא בחירת סדר צעדים לא נכון. כשל Execution הוא לחיצה, הקלדה או גלילה במקום הלא נכון. כשל Verification מתרחש כאשר הסוכן ממשיך למרות שהתוצאה שונה מהמצופה.
הכשל המסוכן אינו תמיד הודעת שגיאה. סוכן יכול להגיע למסך שנראה סביר אך מכיל ערך, חשבון או לקוח לא נכונים. לכן לכל שלב מגדירים Expected State שניתן לבדוק: כתובת, כותרת, מזהה רשומה, מספר פריטים או הודעת אישור. אם אין התאמה, הסוכן עוצר, מצלם מצב ומעביר לאדם במקום לאלתר.
- Grounding - מה נמצא על המסך
- State - מה מצב המערכת
- Planning - מה סדר הפעולות
- Execution - מה בוצע בפועל
- Verification - האם היעד הושג
סולם הרשאות: Observe, Suggest, Act
במצב Observe הסוכן קורא את המסך ומתעד תהליך בלי לבצע שינוי. ב-Suggest הוא מציע צעדים או ממלא טיוטה, אך אדם מאשר. ב-Act הוא מבצע רק פעולות שהוגדרו מראש ובחשבון בעל הרשאות מצומצמות. הסולם מאפשר ללמוד לפני שמרחיבים אוטונומיה, ולתת רמת הרשאה שונה לכל שלב באותו Workflow.
אישור אנושי צריך להיות משמעותי. חלון כללי בתחילת ההפעלה אינו מספיק לפעולה בעלת השפעה. לפני שליחה, רכישה, מחיקה או שינוי הרשאה מוצגים הפעולה, היעד, הנתונים והחשבון. הסוכן אינו רשאי לעקוף את האישור או לשנות את המטרה לאחריו. לוג הפעולות, צילומי מצב ומזהי הרשומה מאפשרים תחקור וביטול.
- Observe - צפייה ותיעוד
- Suggest - טיוטה והמלצה
- Act - פעולה מוגבלת
- Confirm - אישור בזמן ההשפעה
איך בונים פיילוט שאפשר למדוד
בוחרים 10 עד 20 משימות מייצגות בסביבה מבודדת עם חשבונות ונתונים סינתטיים. לכל משימה מגדירים מצב פתיחה, יעד, צעדים אסורים ותנאי הצלחה שנבדק במערכת עצמה. מריצים גם תרחישים של טעינה איטית, חלון קופץ, שינוי פריסה, מידע חסר והוראה עוינת בתוך עמוד.
המדדים כוללים Task Success, מספר צעדים, זמן, עלות, שיעור התערבות, פעולה שגויה ושיעור התאוששות. חשוב למדוד הצלחה מקצה לקצה ולא רק אם הסוכן לחץ על הכפתור המתאים. לאחר כל כשל מוסיפים תרחיש לסט ה-Eval. עוברים לסביבה אמיתית רק כאשר קיימים הרשאות מינימליות, עצירה אוטומטית, אישור אנושי, בעלים ומסלול חזרה לעבודה ידנית.
- סביבת Sandbox ונתונים סינתטיים
- בדיקת הצלחה במערכת היעד
- תרחישי קצה והזרקת הנחיות
- עצירה, תיעוד ומסלול ידני
סקירה מדעית: OSWorld והפער בין הדגמה לעבודה
OSWorld הציג ב-2024 סביבת Benchmark של 369 משימות אמיתיות במערכות הפעלה וביישומי Web ו-Desktop. המשימות דורשות תפיסה של המסך, שימוש בעכבר ובמקלדת ולעיתים מעבר בין כמה יישומים. במחקר המקורי בני אדם השלימו 72.36 אחוז מהמשימות, בעוד קו הבסיס הטוב ביותר שנבדק הגיע ל-12.24 אחוז בלבד.
המספרים הם תוצאות קו בסיס מ-2024 ולא לוח דירוג עדכני ל-2026. חשיבותם היא בהגדרת סוג המבחן: הצלחה נמדדת לפי מצב היעד במחשב, לא לפי שכנוע הטקסט. החוקרים זיהו קשיים ב-GUI Grounding ובידע תפעולי. ארגון צריך לאמץ אותו עיקרון ולבדוק אם הרשומה, הקובץ או ההודעה הגיעו למצב הנכון.
- 369 משימות אמיתיות
- Web ו-Desktop
- אימות לפי מצב יעד
- תוצאות בסיס מ-2024
WebArena ו-VisualWebArena: האינטרנט הוא סביבת פעולה
WebArena בנה אתרים מקומיים וניתנים לשחזור למסחר, פורום, פיתוח, ניהול תוכן ועוד. במחקר המקורי קו בסיס מבוסס GPT-4 השיג 14.41 אחוז הצלחה, לעומת 78.24 אחוז לבני אדם. הפער נבע בין היתר מתכנון ארוך, שגיאות פעולה והבנת מצב האתר. שוב, אלה תוצאות של מערכת ותצורה מסוימות בזמן הפרסום.
VisualWebArena הוסיף משימות שבהן אי אפשר להסתמך על טקסט בלבד, למשל הבנת תמונה, פריסה או מידע חזותי. הוא מדגים מדוע Accessibility Tree או DOM לבדם אינם תמיד מספיקים, אך גם צילום מסך לבדו מאבד מבנה. מערכת מעשית יכולה לשלב ייצוגים ולבחור כלי תפיסה לפי המשימה.
- סביבה ניתנת לשחזור
- משימות ארוכות טווח
- טקסט ומידע חזותי
- מדד הצלחה פונקציונלי
BrowserGym ו-AgentLab: ניסוי שניתן לשחזר
BrowserGym ו-AgentLab נבנו כדי לאחד סביבת ניסוי, סוכנים, Benchmarks וכלי ניתוח לפעולה בדפדפן. התרומה החשובה לארגון היא מתודולוגית: לשמור גרסת אתר, תצפית, פעולות, מודל, פרומפט ותוצאה. בלי Trace מלא קשה להבין אם שיפור נבע מתכנון, מתפיסה או משינוי מקרי בממשק.
בפיילוט ארגוני אין צורך להעתיק Benchmark ציבורי, אך כן ליצור Harness קבוע. כל משימה מתחילה מאותו מצב, מתבצעת בחשבון ניסוי ומסתיימת בבדיקה אוטומטית ככל האפשר. Replay של מסלול כושל מאפשר לצוות לשפר את הרכיב הנכון ולא להסתפק בהרצה חוזרת עד שמתקבלת הצלחה.
- סביבה וגרסה קבועות
- Trace של תצפית ופעולה
- בדיקת תוצאה אוטומטית
- Replay וניתוח כשל
Agent S2: פירוק בין מנהל למומחים
Agent S2 מציע ארכיטקטורה של Generalist-Specialist: מנהל מרכזי שומר את מצב המשימה ומקצה שלבים למומחים כמו Grounding, ניווט וידע. במאמר המקורי דווח על שיפור יחסי של 18.9 אחוז ו-32.7 אחוז מול קווי בסיס שנבחרו ב-OSWorld תחת מגבלות של 15 ו-50 צעדים. אלה שיפורים יחסיים בתצורת מחקר, לא שיעורי הצלחה מוחלטים.
הלקח הוא שסוכן אחד אינו חייב לבצע הכל באותו פרומפט. אפשר להפריד תפיסה, תכנון, פעולה ואימות, ולבחור מודל או כלל שונה לכל שכבה. ההפרדה גם משפרת ביקורת: כאשר פעולה שגויה, אפשר לדעת אם הרכיב זיהה את הכפתור הלא נכון או שהמתכנן בחר יעד שגוי.
- Generalist מנהל מצב
- Specialists למשימות משנה
- שיפור יחסי ולא ציון מוחלט
- אבחון לפי רכיב
Prompt Injection בתוך עמוד הוא סיכון ביצועי
WASP, מחקר Benchmark מ-2025, בחן סוכני Web מול הוראות זדוניות שהוטמעו בתוכן העמוד. בתצורות שנבדקו סוכנים התחילו לבצע את ההוראה העוינת בשיעורים שבין 16 ל-86 אחוז, והשלימו את יעד התוקף בשיעורים של 0 עד 17 אחוז. הטווח הרחב תלוי במערכת, בתרחיש ובמדד; אין לפרש אותו כשיעור קבוע לכל סוכן.
ההגנה אינה רק הנחיה 'להתעלם מהזרקות'. תוכן עמוד הוא נתון לא מהימן, לא סמכות. מפרידים בינו לבין הוראת המשתמש, מגבילים פעולות והרשאות, דורשים אישור להשפעה חיצונית ובודקים אם יעד הפעולה תואם את הבקשה המקורית. OpenAI תיארה ב-2025 דוגמה מסחרית ללולאת צילום מסך, חשיבה ופעולה, אך גם תוצאות ספק צריכות להיבחן מחדש על משימות הארגון.
- תוכן עמוד אינו הוראת מערכת
- בדיקת התאמה למטרת המשתמש
- הרשאה מינימלית ואישור
- Benchmark עוין כחלק מה-Eval
מדריך יישומי: כך מתחילים עם סוכני Computer Use ו-GUI
כדי להפוך את הקריאה לפעולה, בחרו יחידה אחת ומשימה אחת. תארו כיצד היא מתבצעת היום, מי מעורב, איזה מידע נדרש ומהי תוצאה טובה. לאחר מכן נסחו השערה קטנה: כיצד סוכני Computer Use ו-GUI עשוי לשפר זמן, איכות, בהירות או למידה. הימנעו מיעד כללי כמו “להשתמש יותר ב-AI”; יעד שימושי מתאר התנהגות ותוצר שאפשר לראות.
בשלב הבא מומלץ להתחיל ב-Observe, לבנות משימות Sandbox עם אמת מידה פונקציונלית ולהרחיב הרשאות רק לאחר בדיקות רגילות ועוינות. השתמשו רק בכלי ובמידע שאושרו, הגדירו קריטריונים לפני הפעלת הכלי ושמרו גרסה של התהליך הקיים. התייחסו לניסיון הראשון כאל פיילוט ללמידה. אם התוצאה חלשה, בדקו אם הבעיה נבעה מהגדרת משימה, מקור, הרשאה, תדריך, יכולת הכלי או בקרת האדם — ולא רק אם הפרומפט היה ארוך מספיק.
- משימה אחת וקהל מוגדר
- קו בסיס של זמן ואיכות
- כלי ומידע מאושרים
- קריטריונים ותיעוד
תכנית עבודה ל-30 יום
בשבוע הראשון ממפים את המשימה, אוספים שתי דוגמאות ומגדירים כללי מידע. בשבוע השני מקיימים הדרכה ותרגול מונחה, ובונים תבנית ראשונה. בשבוע השלישי המשתתפים מפעילים את השיטה בעבודה ומתעדים תוצאה, תיקון ושאלה. בשבוע הרביעי משווים לקו הבסיס, משתפים לקחים ומחליטים אם לשפר, להרחיב או לעצור.
הקצב חשוב יותר מהיקף התוכן. עדיף ניסוי קטן עם משוב מאשר קורס רחב שאין אחריו יישום. מנהל הקבוצה צריך להקצות זמן, להסיר חסם ולהבהיר שאין להסתיר טעויות. שגריר AI או מומחה מלווה מרכז שאלות חוזרות והופך אותן לחומר למידה. כך הידע שנוצר בפיילוט הופך לנכס ארגוני.
- שבוע 1 — מיפוי וקו בסיס
- שבוע 2 — הדרכה ותבנית
- שבוע 3 — יישום ומשוב
- שבוע 4 — מדידה והחלטה
שאלות ביקורת לפני שמרחיבים
לפני הרחבה שאלו האם המשתמשים יודעים להסביר מתי להשתמש ומתי לא, האם הם פותחים מקורות, מהי עלות התיקון והאם התהליך עובד גם בקלט שאינו מושלם. בדקו מי מרוויח מהשינוי, מי נושא בעומס חדש ומה קורה כאשר הכלי אינו זמין. שאלות אלה מונעות מצב שבו הדגמה מוצלחת הופכת במהירות לסטנדרט לא יציב.
לבסוף, ודאו שקיימים בעלים, מדד וקצב עדכון. AI משתנה במהירות, אך ארגון אינו יכול לשנות נורמות מדי יום. בנו עקרונות יציבים, רשימת כלים מתעדכנת וספריית תרחישים שעוברת בדיקה. הרחיבו רק כאשר אפשר לשחזר את התהליך, להדריך עובד חדש ולהסביר את ההחלטה לגורם מקצועי או ניהולי.
- אפשר להסביר ולשחזר
- המקורות וההרשאות ברורים
- עלות התיקון סבירה
- קיימים בעלים ומנגנון עדכון
להמשיך מהידע ליכולת
מה לקחת מכאן?
- סוכן Computer Use פועל בממשק כמו משתמש ולכן כל טעות יכולה להפוך לפעולה
- API ו-RPA נשארים עדיפים כאשר התהליך מובנה ויציב
- אוטונומיה נבנית בסולם Observe, Suggest ו-Act
- מודדִים השלמת משימה, אימות והתאוששות ולא איכות הדגמה
המקורות שעליהם נשענת הסקירה
- Xie et al. (2024), OSWorld: Benchmarking Multimodal Agents for Open-Ended Tasks in Real Computer Environments
- Zhou et al. (2023), WebArena: A Realistic Web Environment for Building Autonomous Agents
- Koh et al. (ACL 2024), VisualWebArena: Evaluating Multimodal Agents on Realistic Visual Web Tasks
- Drouin et al. (2024), BrowserGym Ecosystem for Web Agent Research
- Agashe et al. (2025), Agent S2: A Compositional Generalist-Specialist Framework for Computer Use Agents
- Wang et al. (2025), WASP: Benchmarking Web Agent Security Against Prompt Injection Attacks
- OpenAI (2025), Computer-Using Agent
המקורות נועדו להעמקה ואינם תחליף לייעוץ משפטי, מדעי או מקצועי המותאם לארגון.
רוצים להפוך את הידע לתכנית עבודה?
המכון הישראלי לבינה מלאכותית יבנה עבורכם הרצאת בינה מלאכותית, הרצאת AI, סדנה מעשית או סדרת 3–5 מפגשים שמותאמת לאנשים, לכלים ולמשימות בארגון.
לסדנת סוכני AI ואוטומציה