סקירה מדעית ומדריך יישומי ל-Document AI: OCR, מודלים מבוססי פריסה ו-VLM, חילוץ שדות, טבלאות, מסמכים ארוכים ובקרת איכות. מסמך ארגוני אינו רצף מילים בלבד. המשמעות נמצאת גם במיקום, בטבלה, בכותרת, בסימון, בחותמת, בגרף ובקשר בין עמודים. OCR יכול להמיר פיקסלים לתווים, אך אינו מבטיח שהמערכת תבין מי הספק, איזה סכום הוא לתשלום, לאיזו שורה שייכת הערה או היכן ממשיכה טבלה. Document AI רב-מודאלי משלב טקסט ומבנה חזותי כדי לסווג, לחלץ, לנתח ולענות על שאלות. כדי להפעיל אותו בארגון צריך להפריד בין המשימות, לבנות אמת מידה בשפה ובמסמכים המקומיים ולהחזיר לאדם שדה או עמוד שהמערכת אינה בטוחה בהם.
- TEXTמילים ומספרים
- LAYOUTמיקום וסדר
- VISIONטבלה, גרף וחותמת
לא מאשרים מסמך בציון אחד. בודקים כל שדה, טבלה וציטוט מול המקור.
OCR הוא שכבה, לא הבנה
OCR מזהה תווים ומילים בתמונה או בסריקה. זהו שלב חיוני, אך מסמך דורש גם סדר קריאה, גבולות אזורים, קשר בין תווית לערך, מבנה טבלה והבחנה בין כותרת, הערה וגוף. בשתי חשבוניות יכולות להופיע אותן מילים במקומות שונים ומשמעותן תשתנה. במסמך דו-לשוני כיוון הקריאה מוסיף מורכבות.
לכן כדאי להגדיר את יעד המערכת במדויק. Parsing מחזיר מבנה מסמך. Classification בוחר סוג. Extraction מחלץ שדות. Question Answering עונה על שאלה. Summarization יוצר תקציר. מערכת יכולה להצטיין באחת ולהיכשל באחרת. מדד כללי של 'דיוק OCR' אינו מספיק כדי לאשר תהליך תשלום או מענה ללקוח.
- זיהוי תווים ומילים
- פריסה וסדר קריאה
- קשר בין תווית לערך
- טבלאות, תרשימים ועמודים
שלוש ארכיטקטורות מרכזיות
בצינור OCR קלאסי מזהים טקסט, אזורים וטבלאות ואז מפעילים כללים או מודל שפה. היתרון הוא שקיפות יחסית: אפשר לראות אילו תווים נקראו ומה עבר לשלב הבא. מודל Layout-aware לומד טקסט, מיקום ולעיתים תמונה יחד. הוא מתאים לשדות ולמבנים שחוזרים בין מסמכים.
מודל OCR-free מקבל את תמונת המסמך ומייצר ישירות מבנה או תשובה. הוא עשוי להתמודד טוב יותר עם פריסה מורכבת ולהימנע מהצטברות שגיאות בין שלבים, אך קשה יותר לאתר מדוע טעה. בפועל ארגונים רבים ירוויחו מארכיטקטורה היברידית: OCR ומבנה לבקרה, מודל רב-מודאלי להבנה, וכללים קשיחים למספרים ולשדות קריטיים.
- OCR + כללים או מודל
- מודל Layout-aware
- מודל OCR-free רב-מודאלי
- Hybrid עם אימות קשיח
בחירת משימה לפני בחירת מודל
חשבונית דורשת ספק, תאריך, מטבע, סכום ומע"מ; טופס דורש קישור בין שאלה לתשובה; נוהל דורש כותרות, גרסאות וסעיפים; דוח הנהלה דורש גם גרפים וטבלאות. אלה חוזי פלט שונים. אם המערכת אמורה להזין ERP, מגדירים JSON ושדות חובה. אם היא מסייעת למחקר, נדרשים עמוד, ציטוט וקישור למקור.
מומלץ להתחיל במסמך בעל נפח, ערך ושונות סבירים. מסמכים אחידים מדי אינם חושפים את הקושי, ומסמכים נדירים ומורכבים מדי מקשים ללמוד. אוספים דוגמאות של פורמטים, סריקות ומקורות שונים, מסירים מידע שאינו נחוץ ומגדירים מי רשאי לצפות בקלט ובפלט.
- סוג מסמך וגרסה
- חוזה פלט מובנה
- שדה קריטי מול שדה מסייע
- מקור, עמוד וראיה
מה נשבר בעולם האמיתי
סריקה עקומה, צילום מסך, תאורה, קיפול, כתב קטן וחותמת יכולים להחליש זיהוי. טבלה שמתפרסת על עמודים, נוסחה, תרשים או הערת שוליים דורשים הבנת מבנה. מסמך ארוך מוסיף בעיית איתור: התשובה יכולה להיות בעמוד אחד, בסיכום בין כמה עמודים או לא להופיע כלל. המערכת צריכה לדעת להחזיר 'לא נמצא' במקום להשלים פרט.
בעברית בודקים כיוון ימין לשמאל, אותיות שימוש, מספרים, תאריכים וערבוב אנגלית. גם קובץ PDF דיגיטלי אינו תמיד פשוט: שכבת הטקסט יכולה להיות בסדר שגוי או לא להתאים לתמונה. בדיקה אמיתית כוללת דגימות מהשטח ולא רק קבצים נקיים של הספק.
- איכות צילום וסריקה
- טבלאות מרובות עמודים
- עברית ודו-לשוניות
- תשובה חסרה או לא ודאית
חוזה איכות ברמת שדה
לכל שדה מגדירים סוג, פורמט, מקור, טווח מותר ורמת השפעה. סכום ותאריך עוברים בדיקות חישוב וכללים; שם או קטגוריה יכולים לקבל ציון דמיון; תשובה חופשית נבדקת מול ציטוט. Confidence כללי למסמך מסתיר סיכון. עדיף להציג ביטחון ברמת שדה ולהעביר לאדם רק את המקומות שאינם עומדים בסף.
בפיילוט בונים Golden Set שסומן בידי מומחה ומחלקים אותו למסמכים שכיחים, מקרי קצה ודוגמאות שאינן ניתנות לפענוח. מודדים Character או Word Error כאשר רלוונטי, Precision ו-Recall לשדות, דיוק טבלה, נאמנות לציטוט, שיעור העברה לאדם וזמן תיקון. גרסה חדשה של מודל, OCR או Parser מריצה בדיקת נסיגה על אותו סט לפני ייצור.
- אמת מידה מסומנת בידי מומחה
- מדד נפרד לכל משימה ושדה
- סף העברה לאדם
- Regression בכל שינוי
סקירה מדעית: LayoutLMv3 מחבר טקסט, מיקום ותמונה
LayoutLMv3 הציע אימון מאוחד למסמך באמצעות טקסט, תמונה ופריסה. במקום להתייחס ל-OCR כרשימת מילים בלבד, המודל לומד גם היכן כל יחידה נמצאת ומה מופיע באזור החזותי. המאמר דיווח על ביצועים חזקים בכמה משימות הבנת מסמכים, כולל סיווג, חילוץ ישויות ושאלות ותשובות.
הגישה מדגישה שהפריסה היא חלק מן המשמעות, אך אינה מבטלת OCR. אם התווים או הגבולות שגויים, השגיאה יכולה לעבור למודל. גם התאמה ל-Benchmark ציבורי אינה מבטיחה עבודה טובה בעברית או בתבנית מקומית. ארגון צריך לבדוק את כל הצינור, מהקובץ ועד השדה במערכת היעד.
- טקסט + מיקום + תמונה
- אימון מאוחד
- משימות מסמך שונות
- תלות באיכות קלט מקומי
Donut: מסמך ללא מנוע OCR נפרד
Donut, שהוצג ב-ECCV 2022, הוא מודל OCR-free שמקודד את תמונת המסמך ומפענח ישירות רצף מובנה. החוקרים ביקשו להימנע מעלות, קשיי שפה והצטברות שגיאות של מנוע OCR חיצוני. העבודה הראתה שאפשר לבצע משימות הבנת מסמך בלי תוויות OCR נפרדות במועד ההפעלה.
OCR-free אינו אומר נטול טעויות או מתאים אוטומטית לכל שפה. המודל עדיין צריך ללמוד תווים, פריסה ושדה מהתמונה, ולעיתים קשה יותר להבין היכן נוצר הכשל. בפלט בעל השפעה כדאי לשמור תמונת מקור, קואורדינטות או ציטוט חזותי ולאפשר למאמת לראות את הראיה.
- קלט חזותי ישיר
- פלט מובנה
- פחות תלות ב-OCR חיצוני
- צורך בראיה ובבקרה
DocVQA: שאלה על מסמך היא משימה נפרדת
DocVQA הציג משימת שאלות ותשובות על תמונות מסמכים, שבה התשובה תלויה גם בטקסט וגם במבנה. המאגר המקורי כולל שאלות שנכתבו על מסמכים אמיתיים ומדגיש שהצלחה דורשת יותר מזיהוי מילה: צריך לאתר אזור רלוונטי ולפרש את הקשר בין חלקים.
בארגון מומלץ לנסח שאלות לפי החלטות אמיתיות: מה תאריך התוקף, מי אישר, מה החריגה ומהו הסעיף התומך. לכל תשובה שומרים עמוד ואזור מקור. אם השאלה אינה ניתנת למענה, התוצאה הנכונה היא הימנעות. שיעור תשובות מומצאות נמדד בנפרד מדיוק על שאלות שיש להן תשובה.
- שאלה מוכוונת מטרה
- איתור אזור רלוונטי
- ציטוט עמוד וראיה
- בדיקת Unanswerable
OmniDocBench ומסמכים מורכבים
OmniDocBench, שהוצג ב-CVPR 2025, בנה Benchmark מקיף ל-Document Parsing עם סוגי מסמכים ואלמנטים מגוונים. הוא מעריך בנפרד טקסט, טבלאות, נוסחאות וסדר קריאה במקום לצמצם את הכל לציון OCR אחד. ההפרדה מאפשרת לראות אם מערכת טובה בפסקאות אך נכשלת בטבלאות שהן ליבת התהליך.
MMLongBench-Doc מתמקד בהבנה של PDF ארוך ורב-מודאלי. המאגר המקורי כולל 1,062 שאלות מומחה על 130 מסמכים, באורך ממוצע של 49.4 עמודים ו-20,971 טוקנים; 33.2 אחוז מהשאלות דורשות ראיות מכמה עמודים ו-22.8 אחוז אינן ניתנות למענה. בתצורה המקורית המודל הטוב שנבדק הגיע ל-F1 של 42.7, נתון שממחיש את הקושי ולא דירוג עדכני.
- מדדים לפי אלמנט
- סדר קריאה וטבלאות
- ראיות בין עמודים
- שאלות ללא תשובה
Benchmarks מ-2026 בודקים את פער המציאות
CC-OCR V2, שפורסם כ-Preprint במאי 2026, כולל 7,093 דוגמאות קשות בחמישה מסלולים: זיהוי טקסט, Parsing, Grounding, חילוץ מידע ושאלות על מסמך. החוקרים בחנו 14 מודלים רב-מודאליים ומדגישים פערים בתרחישים אמיתיים. מאחר שמדובר ב-Preprint, יש להתייחס למתודולוגיה ולתוצאות כראיה עדכנית שעדיין עוברת ביקורת.
Real5-OmniDocBench, Preprint ממרץ 2026, בנה מחדש 1,355 תמונות בתנאים כמו סריקה, עיוות, צילום מסך, תאורה והטיה. הרעיון חשוב גם בלי לאמץ את כל הציונים: Eval צריך לשקף את הדרך שבה מסמך מגיע בפועל. אם המשתמש מצלם טופס בטלפון, בדיקה רק על PDF נקי תייצר תמונת איכות מטעה.
- Preprints עדכניים מ-2026
- סריקה, צילום ועיוות
- חמישה סוגי משימה
- Eval לפי ערוץ הקלט האמיתי
מדריך יישומי: כך מתחילים עם Document AI רב-מודאלי
כדי להפוך את הקריאה לפעולה, בחרו יחידה אחת ומשימה אחת. תארו כיצד היא מתבצעת היום, מי מעורב, איזה מידע נדרש ומהי תוצאה טובה. לאחר מכן נסחו השערה קטנה: כיצד Document AI רב-מודאלי עשוי לשפר זמן, איכות, בהירות או למידה. הימנעו מיעד כללי כמו “להשתמש יותר ב-AI”; יעד שימושי מתאר התנהגות ותוצר שאפשר לראות.
בשלב הבא מומלץ לבחור סוג מסמך וחוזה פלט, לסמן Golden Set מקומי ולמדוד OCR, שדות, טבלאות וציטוטים בנפרד. השתמשו רק בכלי ובמידע שאושרו, הגדירו קריטריונים לפני הפעלת הכלי ושמרו גרסה של התהליך הקיים. התייחסו לניסיון הראשון כאל פיילוט ללמידה. אם התוצאה חלשה, בדקו אם הבעיה נבעה מהגדרת משימה, מקור, הרשאה, תדריך, יכולת הכלי או בקרת האדם — ולא רק אם הפרומפט היה ארוך מספיק.
- משימה אחת וקהל מוגדר
- קו בסיס של זמן ואיכות
- כלי ומידע מאושרים
- קריטריונים ותיעוד
תכנית עבודה ל-30 יום
בשבוע הראשון ממפים את המשימה, אוספים שתי דוגמאות ומגדירים כללי מידע. בשבוע השני מקיימים הדרכה ותרגול מונחה, ובונים תבנית ראשונה. בשבוע השלישי המשתתפים מפעילים את השיטה בעבודה ומתעדים תוצאה, תיקון ושאלה. בשבוע הרביעי משווים לקו הבסיס, משתפים לקחים ומחליטים אם לשפר, להרחיב או לעצור.
הקצב חשוב יותר מהיקף התוכן. עדיף ניסוי קטן עם משוב מאשר קורס רחב שאין אחריו יישום. מנהל הקבוצה צריך להקצות זמן, להסיר חסם ולהבהיר שאין להסתיר טעויות. שגריר AI או מומחה מלווה מרכז שאלות חוזרות והופך אותן לחומר למידה. כך הידע שנוצר בפיילוט הופך לנכס ארגוני.
- שבוע 1 — מיפוי וקו בסיס
- שבוע 2 — הדרכה ותבנית
- שבוע 3 — יישום ומשוב
- שבוע 4 — מדידה והחלטה
שאלות ביקורת לפני שמרחיבים
לפני הרחבה שאלו האם המשתמשים יודעים להסביר מתי להשתמש ומתי לא, האם הם פותחים מקורות, מהי עלות התיקון והאם התהליך עובד גם בקלט שאינו מושלם. בדקו מי מרוויח מהשינוי, מי נושא בעומס חדש ומה קורה כאשר הכלי אינו זמין. שאלות אלה מונעות מצב שבו הדגמה מוצלחת הופכת במהירות לסטנדרט לא יציב.
לבסוף, ודאו שקיימים בעלים, מדד וקצב עדכון. AI משתנה במהירות, אך ארגון אינו יכול לשנות נורמות מדי יום. בנו עקרונות יציבים, רשימת כלים מתעדכנת וספריית תרחישים שעוברת בדיקה. הרחיבו רק כאשר אפשר לשחזר את התהליך, להדריך עובד חדש ולהסביר את ההחלטה לגורם מקצועי או ניהולי.
- אפשר להסביר ולשחזר
- המקורות וההרשאות ברורים
- עלות התיקון סבירה
- קיימים בעלים ומנגנון עדכון
להמשיך מהידע ליכולת
מה לקחת מכאן?
- OCR מחלץ תווים; Document AI צריך להבין גם פריסה וקשר
- Parsing, Extraction ו-Question Answering הן משימות שונות
- מסמכים ארוכים, סריקות ועברית דורשים Eval מקומי
- בקרה ברמת שדה יעילה יותר מציון ביטחון כללי
המקורות שעליהם נשענת הסקירה
- Huang et al. (2022), LayoutLMv3: Pre-training for Document AI with Unified Text and Image Masking
- Kim et al. (ECCV 2022), OCR-free Document Understanding Transformer
- Mathew et al. (2020), DocVQA: A Dataset for VQA on Document Images
- Ouyang et al. (CVPR 2025), OmniDocBench: Benchmarking Diverse PDF Document Parsing
- Dong et al. (2024), MMLongBench-Doc: Benchmarking Long-context Document Understanding
- Yang et al. (2026, preprint), CC-OCR V2: A Challenging Document Intelligence Benchmark
- Real5-OmniDocBench Team (2026, preprint), Evaluating Document Parsing in Real-World Degradation
- Zhang et al. (Findings of ACL 2026), A Survey of Multimodal Document Understanding
המקורות נועדו להעמקה ואינם תחליף לייעוץ משפטי, מדעי או מקצועי המותאם לארגון.
רוצים להפוך את הידע לתכנית עבודה?
המכון הישראלי לבינה מלאכותית יבנה עבורכם הרצאת בינה מלאכותית, הרצאת AI, סדנה מעשית או סדרת 3–5 מפגשים שמותאמת לאנשים, לכלים ולמשימות בארגון.
למעבדת Use Cases ו-Document AI