האדם בלולאה אינו מנגנון בקרה: כך הופכים פיקוח אנושי על AI למשמעותי

מאת: טל דולב

18.09.2026

---

ארגונים רבים מציגים את קיומו של Human-in-the-Loop כהוכחה לכך שמערכות הבינה המלאכותית שלהם נמצאות תחת שליטה. ההחלטה מתקבלת באמצעות אלגוריתם, אדם בוחן אותה לפני הביצוע - ולכן, לכאורה, הסיכון מנוהל. אלא שנוכחותו של אדם בתהליך אינה מבטיחה פיקוח אנושי אפקטיבי.

כאשר הבודק אינו מבין את מגבלות המערכת, אינו מקבל זמן מספק לבחינת ההחלטה, אינו חש בנוח לחרוג מהמלצת המודל או אינו מוסמך לעצור את התהליך - הוא אינו מנגנון בקרה. הוא עלול להפוך לחותמת אנושית על החלטה אוטומטית.

מסמך חדש של המפקח האירופי להגנת מידע, ה־EDPS, מציע לארגונים רשימת בדיקה להערכת הבשלות של מנגנוני ההתערבות האנושית במערכות קבלת החלטות אוטומטיות - Automated Decision-Making, או ADM. המסר המרכזי במסמך חשוב במיוחד להנהלות, לדירקטוריונים ולמנהלי AI:

פיקוח אנושי אינו פעולה נקודתית. הוא מערכת ארגונית הכוללת סמכות, כשירות, זמן, ממשק, מדידה ואחריות.

המסמך אינו מוצג ככלי פורמלי להערכת ציות, אלא כמסגרת לזיהוי פערים ולשיפור מנגנוני הבקרה. הוא גם מדגיש שפיקוח אנושי אינו תחליף לתכנון תקין של המערכת. מערכת המחייבת התערבות אנושית תכופה כדי למנוע נזק כנראה אינה בשלה להפעלה.

המלכודת של “יש אדם שמאשר”

אחת ההטיות הידועות בעבודה עם מערכות אוטומטיות היא הטיית האוטומציה - הנטייה להעדיף את המלצת המערכת גם כאשר קיימים סימנים שהיא שגויה.

ההטיה מתחזקת כאשר המערכת נתפסת כמתקדמת, כאשר התוצאה מוצגת בביטחון גבוה או כאשר העובד נדרש לבדוק מאות החלטות בזמן קצר. לאחר תקופה מסוימת, תהליך הבקרה עלול להפוך לטכני: העובד לוחץ “אישור”, אלא אם קיימת חריגה בולטת במיוחד.

במצב כזה, הארגון אמנם יכול להראות שבוצעה בדיקה אנושית, אך לא בהכרח התקיים שיקול דעת אנושי עצמאי.

לכן, השאלה הניהולית אינה רק: “האם יש אדם בתהליך?” אלא: “האם אותו אדם מסוגל, מוסמך ומוכן להתנגד למערכת?”

שישה תנאים לפיקוח אנושי אמיתי

1. אחריות וסמכות צריכות להיות מוגדרות מראש

יש לקבוע באופן ברור מי אחראי לפקח על המערכת, מי מוסמך לשנות החלטה, מתי נדרשת הסלמה ומי נושא באחריות להחלטה הסופית.

הסמכות חייבת להיות מעשית, לא רק פורמלית. מפעיל שאמור לפקח על מערכת בסיכון גבוה צריך להיות מסוגל:

• לדחות את המלצת המודל;

• לדרוש מידע נוסף;

• להעביר את המקרה לבחינה בכירה;

• להשהות את התהליך;

• ובמקרה של חשד לכשל מערכתי - לעצור את פעולת המערכת.

ה־EDPS מכנה זאת סמכות מסוג Stop the Line: היכולת לעצור את המערכת ללא חשש מפגיעה מקצועית או ארגונית.

2. הבודק חייב להבין את ההחלטה, לא רק לראות אותה

מערכת המציגה תוצאה ללא הסבר מספק אינה מאפשרת פיקוח משמעותי.

המשתמש צריך לקבל מידע המאפשר לו להעריך את ההחלטה: הגורמים המרכזיים שהשפיעו עליה, הנתונים הרלוונטיים, מגבלות המודל, רמת הביטחון והנסיבות שבהן המערכת נוטה להיכשל.

עם זאת, גם ציון ביטחון גבוה אינו הוכחה לכך שההחלטה נכונה. הוא מבטא את מידת הביטחון של המודל לפי החישוב הפנימי שלו - לא את אמיתות התוצאה ולא את התאמתה להקשר העסקי, המשפטי או האנושי.

במקרים מהותיים נדרשת גם עקיבות מלאה: הארגון צריך להיות מסוגל להראות אילו נתונים, נימוקים וכללים עמדו בבסיס ההחלטה.

3. יש לתת לאדם זמן אמיתי להפעיל שיקול דעת

פיקוח אנושי אינו יכול להתקיים כאשר מפעיל נדרש לבדוק כמות בלתי סבירה של החלטות, מטפל במקביל במשימות אחרות או פועל תחת יעד המעודד אותו לאשר במהירות.

לכן יש להגדיר:

• מכסת טיפול מרבית;

• זמן מינימלי לבחינת החלטות מהותיות;

• הפרדה בין משימות פיקוח למשימות תפעוליות אחרות;

• הפסקות ייעודיות לאחר טיפול במקרים רגישים או מורכבים.

זהו נושא של ניהול סיכונים, אך גם של תכנון כוח אדם. ארגון אינו יכול להסתפק ברכישת מודל ולצפות שהפיקוח האנושי “יסתדר” במסגרת עומסי העבודה הקיימים.

4. הכשרה צריכה לעסוק בכשלים, לא רק בתפעול

הדרכת משתמשים אינה יכולה להסתכם בהסבר כיצד להפעיל את המערכת.

היא צריכה לכלול תרחישי כשל, מקרי עבר, זיהוי הטיות, מגבלות הנתונים, קבלת החלטות אתית ומצבים שבהם יש להתעלם מהמלצת המערכת.

הדרכה אפקטיבית צריכה גם להציב את המשתמש מול דילמות אמיתיות: מה עושים כאשר המלצת המודל מנוגדת לניסיון המקצועי? כיצד פועלים כאשר המודל מציג ביטחון גבוה אך התוצאה נראית חריגה? מתי יש להסלים את ההחלטה?

במערכות קריטיות יש לבחון מעת לעת את יכולת המפעילים לקבל החלטות גם ללא סיוע המערכת. אחרת, עלולה להתפתח תלות הפוגעת בהדרגה במומחיות האנושית.

5. ממשק המשתמש הוא חלק ממערכת הבקרה

ממשק לקוי יכול לבטל מנגנון פיקוח שתוכנן היטב.

כפתור ביטול שאינו בולט, עודף מידע, הסבר שאינו קריא או הצגת נתונים רגישים שאינם נחוצים - כל אלה משפיעים על איכות ההחלטה.

מערכת המיועדת לפיקוח אנושי צריכה לאפשר למשתמש לזהות חריגה במהירות, להבין את ההחלטה ולפעול ללא חיכוך מיותר. יש למדוד זמני תגובה, לבצע בדיקות שימושיות ונגישות ולבחון כיצד מפעילים אמיתיים מגיבים לתרחישים בלתי צפויים.

עיצוב הממשק אינו עניין אסתטי בלבד. הוא בקרת מפתח.

6. יש למדוד את איכות הפיקוח, לא רק את קיומו

ארגון צריך לדעת האם מנגנון הפיקוח שלו באמת משפר את איכות ההחלטות.

לשם כך נדרשים מדדים כגון:

• שיעור הטעויות שהתגלו בבדיקה אנושית;

• שיעור ההחלטות שבוטלו או שונו;

• סוגי המקרים שבהם המשתמשים מתנגדים למערכת;

• רמת ההסכמה בין בודקים שונים;

• זמן התגובה לאירועים;

• מספר הערעורים שהתקבלו;

• תוצאות החלטות לאחר ההתערבות האנושית.

גם שיעור ביטולים נמוך במיוחד אינו בהכרח סימן למודל מצוין. הוא עשוי להעיד שהמשתמשים סומכים על המערכת באופן עיוור או חוששים לחרוג מהמלצתה.

לכן יש לנתח את המדדים בהקשר ולא להסתפק בדיווח כמותי.

כאשר החלטה משפיעה על אדם - הוא צריך להיות חלק ממעגל הבקרה

פיקוח אנושי אינו מסתיים בתוך הארגון. לאדם שהושפע מהחלטה צריכה להיות אפשרות להבין אותה, לערער עליה ולהציג מידע נוסף.

ערעורים ותלונות אינם רק חובה משפטית או שירותית. הם מקור מידע חיוני על כשלים שהמערכת והעובדים לא זיהו.

ארגון בוגר יוצר לולאת משוב שבה החלטות שבוטלו, פניות משתמשים, חריגים ותוצאות בלתי רצויות מוזנים בחזרה לתהליך השיפור: עדכון מדיניות, שינוי ממשק, הדרכה מחדש, התאמת המודל או עצירת שימוש שאינו מתאים.

מה צריכה ההנהלה לדרוש?

הנהלה או דירקטוריון אינם צריכים לבחון כל החלטה של המודל. הם כן צריכים לוודא שקיימת מערכת ניהולית סדורה.

בכל שימוש מהותי ב־AI ראוי לדרוש תשובות לחמש שאלות:

1. מי מוסמך לשנות או לעצור החלטה אוטומטית?

2. איזה מידע מקבל הבודק כדי להפעיל שיקול דעת עצמאי?

3. כיצד אנו מוודאים שעומס, תמריצים וממשק אינם הופכים את הבקרה לחותמת גומי?

4. אילו מדדים מוכיחים שהפיקוח האנושי אכן מפחית טעויות ונזק?

5. מהו התהליך לטיפול בכשל: תיקון נקודתי או בחינת שורש הבעיה?

בנוסף, יש לוודא שכל שינוי מהותי במודל, בנתונים או בלוגיקה העסקית גורר בחינה מחודשת של מנגנון הפיקוח. פרוטוקול שהתאים לגרסה קודמת של המערכת עלול להפוך לבלתי רלוונטי לאחר עדכון.

לא כל החלטה צריכה אדם - אבל כל החלטה צריכה ממשל

אין צורך להציב אדם לפני כל פעולה שמערכת AI מבצעת. גישה כזו אינה בהכרח יעילה ואף עלולה ליצור אשליית ביטחון.

רמת הפיקוח צריכה להיות מותאמת לסיכון. החלטה בעלת השפעה שולית עשויה להיבדק באמצעות דגימה וניטור. החלטה הנוגעת לזכויות, תעסוקה, אשראי, טיפול רפואי, משמעת, זכאות או הקצאת משאבים מחייבת מנגנון חזק בהרבה - ולעיתים בדיקה עצמאית של יותר מאדם אחד.

העיקרון החשוב הוא מידתיות: ככל שההשפעה האפשרית על אדם גדולה יותר, כך נדרשים יותר עצמאות, מומחיות, תיעוד, יכולת התערבות ובקרה.

המבחן האמיתי

מערכת AI אחראית אינה מערכת שבה האדם מאשר את החלטת המכונה. זו מערכת שבה האדם יכול להבין את ההחלטה, לערער עליה, לשנות אותה ולעצור את המערכת - והארגון לומד באופן שיטתי מכל מקרה שבו נדרשה התערבות.

האתגר אינו “להשאיר אדם בלולאה”. האתגר הוא לעצב לולאה שבה לאדם יש ערך אמיתי.