קביעת סדרי עדיפויות לסיכוני בינה מלאכותית: מחקר דלפי גלובלי של קונצנזוס מומחים
30.06.2026
מקור: MIT
תמצית
דו"ח זה מסכם מחקר של דלפי שכלל 272 מומחים בינלאומיים אשר ניתחו את נוף הסיכונים של בינה מלאכותית עד שנת 2030. הממצאים מדגישים הסתברות משמעותית לנזק קטסטרופלי - העולה על מיליון מקרי מוות או הפסדים של 100 מיליארד דולר - ברוב קטגוריות הסיכון, כולל יכולות מסוכנות ולוחמת סייבר. בעוד שיישום אמצעים פרגמטיים להפחתת איומים אלה עשוי להפחית את האיומים הללו, מומחים מזהירים כי סכנות מהותיות נותרות טבועות במסלולי הפיתוח הנוכחיים של בינה מלאכותית. קיים חוסר איזון קריטי בין אלו הפגיעים ביותר לנזקים אלה, כגון הציבור הרחב, לבין אלו האחראים על מניעה, ובמיוחד מפתחים ורגולטורים ממשלתיים. בסופו של דבר, המחקר תומך בתגובה עולמית מתואמת לטיפול בתמריצים המערכתיים ובכשלים הטכניים המניעים את האיומים הקיומיים הללו.
תובנות וממצאים מרכזיים
המומחים העריכו כי בתרחיש של "עסקים כרגיל" (ללא נקיטת צעדי מניעה נוספים), ל-18 מתוך 24 סיכוני ה-AI שנבחנו יש סיכוי של מעל 10% לגרום לתוצאות קטסטרופליות (כגון מעל מיליון מקרי מוות או הפסד כספי של מעל 100 מיליארד דולר) ב-5 השנים הקרובות (2025–2030).
חמשת הסיכונים שדורגו כבעלי פוטנציאל הנזק הגבוה ביותר הם:
יכולות מסוכנות (חומרה ממוצעת: 3.49/5): מתייחס למערכות בינה מלאכותית המפתחות או מקבלות יכולות המגבירות את הפוטנציאל שלהן לפגיעה המונית.יכולות אלה כוללות הטעיה, פיתוח נשק, שכנוע ומניפולציה, אסטרטגיה פוליטית, מתקפות סייבר והפצה עצמיתמומחים ציינו כי אלה עלולים לגרום נזק באמצעות שימוש זדוני, חוסר יישור או כשל מערכתי.
דינמיקה תחרותית (חומרה ממוצעת: 3.49/5): סיכון זה נובע מ"מרוץ "של בינה מלאכותית בין מפתחים או גורמים מדינתיים אשר פורסים במהירות מערכות כדי להשיג יתרונות אסטרטגיים או כלכליים. לחץ תחרותי זה מגביר את הסבירות לשחרור מערכות לא בטוחות או מועדות לשגיאות.
נשק ומתקפות סייבר (חומרה ממוצעת: 3.49/5): מדובר בשימוש מכוון בבינה מלאכותית לפיתוח נשק סייבר (כגון תוכנות זדוניות זולות ויעילות יותר) או לשיפור נשק CBRNE (כימי, ביולוגי, רדיולוגי, גרעיני וחומרי נפץ בעלי תפוקה גבוהה) במטרה לגרום נזק המוני.
ריכוז כוח (חומרה ממוצעת: 3.47/5): זהו ריכוז כוח ומשאבים המונע על ידי בינה מלאכותית בתוך מספר קטן של ישויות או קבוצות.זה מוביל לחלוקה לא שוויונית של הטבות ולעלייה באי השוויון החברתי...
מידע כוזב (חומרה ממוצעת: 3.44/5): סיכון זה כרוך במערכות בינה מלאכותית שמייצרות או מפיצות מידע מטעה בשוגגזה יכול להוביל לאמונות לא מדויקות אצל משתמשים, לערער את האוטונומיה שלהם ולגרום לנזק פיזי, רגשי או חומרי.
גם תחת תרחיש שבו ייושמו אמצעי מניעה פרגמטיים וחסכוניים, המומחים העריכו כי חמישה סיכונים יישארו עם סבירות של מעל 10% לנזק קטסטרופלי :אפשרות מסוכנות, נשק וסייבר, נזק סביבתי, אי-שוויון ואבטלה, וריכוזיות כוח.
לקחים: פגיעות מול אחריות
המחקר חשף פער מבני משמעותי בין אלו שייפגעו מהבינה המלאכותית על אלו שאחראים למנוע את הנזק:
הגורמים הפגיעים ביותר: המשתמשים והציבור הרחב זוהו כפגיעים לסיכונים. המגזרים המועדים ביותר לפגיעה הם מידע (מידע), פיננסים וביטחון לאומי.
הגורמים האחרים: המומחים הטילו את האחריות המרכזית על מפתחי בינה מלאכותית רב-תכליתית (מפתחי בינה מלאכותית למטרות כלליות) ועל גורמי ממשל ורגולציה.
"סיכון מוסרי": קיים חוסר הלימה (חוסר התאמה) שבו הגורמים האחראים לטיפול בסיכונים הם אלו שנושאים בנטל הפגיעה, מה שיוצר תמריצים לקויים להשקעה בבטיחות.
דרכי פעולה מומלצות
המחקר מצביע על פתרונות טכניים שלבדם לא יספיקו כדי למנוע נזקים קטסטרופליים, נדרש ביצוע פעילות דחופה ברמת הממשל והמדיניות:
מרגולציה וולונטרית למחייבת: יש צורך במנגנוני משיךות כללית לרגולציה, אחריות חוקית , ביטוח חובה ודרישות שקיפות שיאלצו את המפתחים "להפנים" את העלויות שהם מטילים כיום על הציבור..
טיפול בדינמיקות תחרותיות: על גרמי ממשל לפעול לצינון "מרוץ החימוש" בין חברות ומדינות, שכן לחץ על תחרותי מוביל לעיגול פינות בנושאי בטיחות.
תיקון עיוותי שוק מבניים: סיכונים כמו ריכוזיות כוח ואי-שוויון נובעים מהמבנה ולא רק מתכונות טכניות, נדרשת מדיניות הגבלים עסקיים והגנות על שוק העבודה.
תיאום בינלאומי: לאחר שסיכונים כמו הפצת מידע כוזב ולוחמת סייבר חוצים גבולות, רגולציה מקומית אינה מספיקה ונדרש שיתוף פעולה גלובלי.
יש לחזק את אמצעי ההגנה והחוסן במגזרים רגישים כמו ביטחון לאומי ופיננסים, פסילה של מערכת AI יכול להוביל לתוצאות שרשרת הרסניות.
המחקר מזהיר כי חלון ההזדמנויות למניעת תוצאות קטסטרוקטורה מצטמצם, וקורא לקובעי מדיניות ולמובילי התעשייה להעדיף בטיחות ואחריות על פני קצב פיתוח מואץ.
על פי המחקר, מגזרי המידע והביטחון הלאומי מדורגים כפגיעים ביותר לסיכוני בינה מלאכותית משום שהם מעורבים עמוק בתהליכי קבלת החלטות קריטיים שבהם כשלים גורמים לתוצאות מיידיות בקנה מידה גדול.
ביטחון לאומי
מגזר הביטחון הלאומי מתמודד עם מה שמומחים מכנים "פגיעות מורכבת" פגיעות זו נובעת משני תפקידים עיקריים:
מטרה לתקיפות: זוהי מטרה עיקרית לנשק מבוסס בינה מלאכותית ולתקיפות סייבר, כולל כאלה הכוללות איומים כימיים, ביולוגיים, רדיולוגיים וגרעיניים.
זרז לחוסר יציבות: זהו תחום שבו כשלים טכניים בבינה מלאכותית - כגון חוסר יישור או חוסר חוסן - עלולים לגרום לתוצאות גיאופוליטיות מדורגות , כולל פירוק מנגנוני תיאום בינלאומיים המונעים אסונות .
רגישות תפעולית: מומחים ציינו כי המגזר רגיש מאוד לפעולות דיסאינפורמציה, אשר יכולות לשמש לתמרון צוות או לעקיפה של בקרות אבטחה מסורתיות...
מֵידָע
מגזר המידע, הכולל הוצאה לאור, טלקומוניקציה ועיבוד נתונים, נחשב לפגיע ביותר בשל תלותו בשלמות הנתונים שהוא מטפל בהם.:
נזקים הקשורים לתוכן: קיימת הסכמה מומחית לגבי הפגיעות הקיצונית של המגזר לדיסאינפורמציה , קמפיינים להשפעה ואובדן פרטיות...
קריסת שרשרת אספקת מידע: המגזר פגיע ל"קריסת מידע" שבה תלויות (כגון פרויקטים בקוד פתוח או תוצאות חיפוש) מופרעות על ידי דיווחי באגים כוזבים שנוצרו על ידי בינה מלאכותית, פרויקטים משוכפלים וחדשות כוזבות...
שחיקת זהות: דאגה משמעותית היא התמוטטות הזהות והאמון האנושיים; אם סוכני בינה מלאכותית יוכלו לפעול כבני אדם ללא פיקוח, עמודי התווך של מערכת האקולוגית של המידע והחברה הדמוקרטית עלולים להיכשל..
פיננסים וביטוח
גם הם המגזרים הנחשבים לפגיעים ביותר לסיכונים הקשורים לבינה מלאכותית. מגזר הפיננסים והביטוח דורג כבעל פגיעות גבוה מאוד להונאות (הונאה והונאות), פרצות אבטחה וכשלים בבטיחות המערכות, מה שמשקף את החשיפה שלו למניפולציות שוק וסיכונים רגולטוריים.
מגזר הרפואה
קיבל דירוג פגיעות גבוה (חציון 4 מתוך 5) בנושאי עובדן פרטיות, אפליה והסתמכות יתר על מערכות לא בטוחות, זאת לאור העלות האנושית המיידית של כשלים רפואיים מבוססי בינה מלאכותית.
סיכוני בינה מלאכותית שדורגו עם הסבירות הגבוהה ביותר לאסון
על פי המחקר, סיכוני הבינה המלאכותית המדורגים כבעלי הסבירות הגבוהה ביותר לגרום לתוצאות קטסטרופליות - המוגדרים כיותר ממיליון מקרי מוות או הפסדים של 100 מיליארד דולר - מתחלקים לשתי קטגוריות עיקריות בהתאם לתרחיש ההתערבות.,,.
1. סיכונים בעלי הסבירות הגבוהה ביותר (תרחיש עסקים כרגיל)
במסגרת מסלול של "עסקים כרגיל" (שבו לא מיושמים אמצעי הפחתה נוספים ספציפיים לבינה מלאכותית), 18 מתוך 24 הסיכונים שנבדקו הוערכו כבעלי סבירות גבוהה מ-10% לגרום לאסון בחמש השנים הקרובות.,,הסיכונים בעלי ההסתברויות הספציפיות הגבוהות ביותר כוללים במיוחד בינה מלאכותית המפתחת יכולות בתחום הטעיה, פיתוח נשק או הפצה עצמית.
נשק ומתקפות סייבר: 21% שימוש בבינה מלאכותית לפיתוח תוכנות זדוניות או נשק כימי, ביולוגי, רדיולוגי וגרעיני,
ריכוזיות כוח: 18% (ריכוז משאבי בינה מלאכותית המוביל לאי-שוויון חברתי קיצוני.
דינמיקה תחרותית: 17% מרוץ שבו מפתחים משחררים מערכות לא בטוחות כדי לשמור על יתרון אסטרטגי.
מערכות בינה מלאכותית רודפות אחר מטרות המתנגשות עם ערכים אנושיים.
אי שוויון ואבטלה: 17% (אוטומציה נרחבת המובילה לחוסר יציבות כלכלית וחברתית.
נזק סביבתי: 17% (נזק קטסטרופלי כתוצאה מאופייה עתיר המשאבים של תשתית בינה מלאכותית.
2. סיכונים מתמשכים (תרחיש הפחתות פרגמטי)
אפילו כאשר מומחים הניחו שארגונים וממשלות יישמו אמצעי הפחתה "פרגמטיים וחסכוניים", חמישה סיכונים נותרו בעלי הסתברות של מעל 10% לנזק קטסטרופלי.,"סיכוני הזנב" המתמשכים הללו הם:
יכולות מסוכנות(12%),
נשק ומתקפות סייבר (12%),
נזק סביבתי (12%),
אי שוויון ואבטלה (11%),
ריכוזיות כוח (11%),
כיצד מומחים מבחינים בין מי פגיע לבין מי שאחראי?
מומחים במחקר דלפי מבחינים בין פגיעות לאחריות על ידי התמקדות בחשיפה וברגישות עבור הראשונה, וביכולת , מחויבות והשפעה סיבתית עבור השנייה...
המחקר מדגיש הפרדה מבנית משמעותית או "אי התאמה" בין שתי הקבוצות הללו, המכונה לעתים קרובות סיכון מוסרי, שבו אלו הנושאים את עיקר הפגיעה אינם אלה שנמצאים בעמדה הטובה ביותר למנוע אותה...
הבחנה בין פגיעות
מומחים מגדירים פגיעות על סמך מידת החשיפה של שחקן לסיכון וכמה הוא רגיש לנזק שנגרם כתוצאה מכך..
הגורמים הפגיעים ביותר: משתמשי בינה מלאכותית ובעלי עניין מושפעים (הציבור הרחב, צרכנים ועובדים) נחשבו לפגיעים ביותר. הסיבה לכך היא שהם "נושאים את ההשפעה בקנה מידה גדול של אוכלוסייה" אך לעתים קרובות חסרים להם האמצעים הטכניים להגן על עצמם..
מגזרים פגיעים ביותר: מגזרי המידע , הפיננסים והביטחון הלאומי זוהו כפגיעים ביותר משום שבינה מלאכותית משולבת עמוק בתהליכי קבלת ההחלטות הקריטיים שלהם, שבהם לכשלים יש השלכות מיידיות בקנה מידה גדול..
גורמים הכי פחות פגיעים: ספקי תשתית בינה מלאכותית (ספקי מחשוב וענן) נחשבו כפחות פגיעים ומבודדים במידה רבה מרוב הסיכונים, למרות שהם מספקים את המשאבים המאפשרים לסיכונים אלה להתפשט...
הבחנה בין אחריות
מומחים מגדירים אחריות באמצעות שלושה ממדים ספציפיים: היכולת להתמודד עם הסיכון, החובה להוביל מאמצי הפחתה, וההשפעה הסיבתית על התממשות הנזק..
(ממשלות, רגולטורים וגופי תקינה).
למה מפתחים? הם נתפסים כאחראים משום שהם שולטים בתכנון הבסיסי, בפרמטרי המודל ובברירות המחדל של הבטיחות שמעצבים את התוצאות במורד הזרם.מומחים טענו כי התערבויות הן היעילות ביותר כאשר הן מונעות וריכוזיות (ברמת המפתח) ולא מגיבות ומבוזרות (ברמת המשתמש)..
למה משילות? ממשלות ורגולטורים נתפסים כ"גשר העיקרי" בין יזמים לציבור, האחראים על יישום אכיפה והתאמת תמריצי השוק לאינטרס הציבורי..
פער הפגיעות-אחריות
המחקר מסיק כי קיים "סיכון מוסרי" משום שאלה האחראים ביותר לטיפול בסיכוני בינה מלאכותית אינם אלה הפגיעים ביותר.מומחים ציינו כי לבעלי העניין המושפעים חסרים את הסוכנות והמינוף המערכתי כדי להפחית סיכונים, והטלת האחריות עליהם "תביא לחוסר משמעות באחריותיות".זה משקף תעשיות אחרות קריטיות לבטיחות, כגון תעופה או אנרגיה גרעינית, שבהן הציבור פגיע ביותר לכשל, אך יצרנים ורגולטורים נושאים באחריות העיקרית לתקני בטיחות..
אילו אמצעים פרגמטיים יכולים להפחית את הסיכון למתקפות סייבר?על פי המקורות, תרחיש "ההפחתות הפרגמטיות" מניח שארגונים וממשלות יעשו מאמצים חסכוניים וריאליסטיים כדי להתמודד עם סיכוני בינה מלאכותית.בעוד שמומחים מאמינים שצעדים אלה יכולים להפחית את ההסתברות הקטסטרופלית של מתקפות סייבר מ -21% ל-12% , הם מדגישים כי אמצעי הגנה טכניים לבדם אינם מספיקים כדי לפתור את הסיכונים המבניים הבסיסיים..
זוהו האמצעים הפרגמטיים הבאים להפחתת הסיכון למתקפות סייבר ופגיעויות אבטחה קשורות:
הגנות טכניות וברמת המודל
הקשחת תשתיות: יישום בידוד חזק של מערכות, שימוש בשירותי ניהול מפתחות (KMS) , והבטחת בידוד דיירים כדי למנוע גישה לא מורשית..
לשלמות תוכנה, ולקיים היגיינת שרשרת האספקה.
בקרות גישה ופלט: יישום צימוד כלי ברירת מחדל לדחיית נתונים , סינון קלט וסיווג פלט כדי למנוע שימוש במודלים למטרות זדוניות..
יישור והערכות: שימוש בטכניקות יישור ברמת המודל והערכות טרום פריסה חובה כדי להבטיח שהמערכות אינן מציגות יכולות מסוכנות..
אמצעים תפעוליים וארגוניים
תגובה לאירועים: ביצוע תרגילי תגובה לאירועים ופיתוח ספרי הדרכה מוכנים לביקורת.
Red-Teaming: שימוש ב- red-team לפריסת שערים (gateing) וביצוע בדיקות מאמץ כדי לזהות פגיעויות לפני שניתן לנצל אותן על ידי גורמים זדוניים..
שיתוף מידע: הקלה על דיווח נרחב יותר על אירועים ושיתוף מידע בין יזמים מתחרים ומבטחים ליצירת הגנה קולקטיבית מפני וקטורי תקיפה חדשים..
חוסן ונגד שבירות: הכנה להיות "נגד שבירות" על ידי יצירת מיומנות בבנייה מחדש והתאוששות מהירה מהתקפות מוצלחות, דבר שמומחים טוענים שהוא בלתי נמנע למרות אמצעי הזהירות..
ממשל והתערבויות מבניות
הפנמת עלויות: יישום כלי משילות כגון ביטוח חובה, משטרי אחריות ורגולציה כדי לאלץ מפתחים להפנים את העלויות של כשלי אבטחה המוטלים כיום על הציבור..
ניהול מחשוב: יישום ספי ניהול מחשוב וספי יכולות כדי להגביל את פיתוחם של מודלים בעלי יכולות קיברנטיות התקפיות בסיכון גבוה..
תיאום בינלאומי: מאחר שמתקפות סייבר חוצות לעתים קרובות גבולות לאומיים, מומחים הדגישו את הצורך בתיאום בינלאומי כדי לנהל את הדינמיקה הגזעית ולמנוע "מרוץ לתחתית" בתקני אבטחה..
דרישות שקיפות: קביעת דרישות שקיפות וניטור כדי להבטיח שמפתחים ומפעילים יהיו אחראים למצב האבטחה של המערכות שלהם..
תגובות