הנדסת איכות בעידן הבינה המלאכותית
מאת: אסף האוזר | Director of Quality Engineering at Peax Ideo
Founder of automatico
15.10.2026
תקציר
הבינה המלאכותית משנה את הנדסת האיכות בשני כיוונים בו בזמן. היא מרחיבה את היכולת לתכנן ולבצע בדיקות מתוך כוונה והקשר, ובמקביל הופכת את המערכות הנבדקות להסתברותיות ומחייבת דרכים נוספות להערכת איכותן. הטענה המרכזית במאמר היא שהסתפקות באוטומציה מהירה יותר מחמיצה את השינוי המקצועי העמוק. החידוש המוצע הוא מסגרת משותפת לשני הצירים, המחברת בין מעבר מתסריטים לכוונה ובין מעבר מתוצאה צפויה להתנהגות קבילה. מסגרת זו מסייעת למנהלי טכנולוגיה ולאנשי איכות לבחון מחדש מדדי הצלחה, כיסוי בדיקות ואחריות מקצועית. היא מדגישה את הצורך בהערכה חוזרת ומבוססת סיכון, ואת תפקידו של איש האיכות בהגדרת מטרות, בחינת ראיות והפעלת שיקול דעת גם כשהביצוע נעשה אוטונומי יותר.
שינוי רחב יותר מאוטומציה
במשך שנים מדדנו התקדמות בבדיקות תוכנה בעיקר דרך היקף האוטומציה. כמה תרחישים אפשר להריץ, כמה זמן נחסך וכמה מהר מתקבל משוב. גם כניסת AI לתחום נתפסת לעיתים דרך אותה עדשה: יצירת בדיקות, כתיבת קוד וניתוח כשלים. אלה שימושים חשובים, אך הם אינם ממצים את השינוי.
הנדסת איכות, Quality Engineering, ניצבת כעת מול שתי שאלות משלימות: כיצד בינה מלאכותית משנה את הדרך שבה אנו בודקים תוכנה, וכיצד בודקים תוכנה שהבינה המלאכותית היא חלק מהותי מהתנהגותה. התשובות מחייבות לבחון מחדש גם את העבודה היומיומית וגם את משמעות האמון במוצר.
מעמידה במפרט להגשמת צורך
Verification בוחן אם המערכת פועלת בהתאם למה שהוגדר. Validation בוחן אם היא נותנת מענה לצורך שלשמו נבנתה. תהליך רכישה יכול לעמוד בכל דרישות המפרט, ובכל זאת להשאיר לקוח מבולבל לגבי השאלה אם חויב. הצלחה טכנית של התרחיש אינה מבטיחה הצלחה עבור המשתמש.
סוכני AI פותחים אפשרות להרחיב את הבדיקות מעבר לביצוע מסלול קבוע. המעבר אינו מבטל את הצורך בבדיקות מדויקות, וגם אינו מוכיח שמכונה כבר מסוגלת לשפוט חוויית משתמש כאדם. הוא מאפשר להעביר חלק מההחלטות על דרך הביצוע לסוכן, ולמקד את עבודת איש האיכות במטרה ובסיכונים שצריך לבחון.
מתסריטים לכוונה
זהו המעבר מן Scripts אל Intent. במקום להכתיב כל לחיצה, אפשר להגדיר מטרה: בחן אם לקוח חדש מצליח להשלים רכישה ולהבין מה מצבה. כדי שזו תהיה בדיקה משמעותית, יש להוסיף הקשר, מגבלות וקריטריונים להצלחה. סוכן שהגיע למסך האישור עשוי להחמיץ תקלה בדרך. היכולת להשתמש בתוכנה אינה זהה ליכולת לבחון אותה בביקורתיות.
כשהמערכת הנבדקת היא הסתברותית
בציר השני, האתגר נוגע לעצם הגדרת התוצאה הנכונה. במערכת המבוססת על AI גנרטיבי, אותה שאלה עשויה להניב תשובות שונות שכולן קבילות. מנגד, תשובה רהוטה ומשכנעת עלולה להכיל הזיה: פרט שהמערכת מציגה כעובדה ללא בסיס מתאים. תשובה יכולה להיות מדויקת אך לא רלוונטית, או מועילה למשתמש מנוסה ומטעה עבור משתמש חדש.
מכאן המעבר מן Expected Result אל Expected Behavior. במקום לדרוש תמיד ניסוח יחיד, מגדירים גבולות להתנהגות קבילה: דיוק, ביסוס על מקורות, שמירת הקשר, עמידה בהנחיות והשלמת המשימה. אין פירוש הדבר שוויתרנו על תוצאות צפויות. הרשאות, חישובים וכללים עסקיים עדיין מחייבים בדיקות חדות. ההערכה ההתנהגותית מתווספת אליהן במקום שבו השוואה לתשובה יחידה אינה מספיקה.
למשל, עוזר שירות צריך להסתמך על מדיניות ההחזרות הנכונה, לזהות מידע חסר ולהימנע מהמצאת זכאות. ניסוח התשובה יכול להשתנות; הכללים שעליהם היא נשענת אינם אמורים להשתנות. כך הופכים ציפייה כללית ל״תשובה טובה״ לקריטריונים שאפשר לבדוק ולהסביר.
הרצה אחת אינה תמונת האיכות
בדיקה הסתברותית דורשת לבחון דפוסי התנהגות לאורך הרצות חוזרות. אם תרחיש הצליח תשע פעמים מתוך עשר, הסימון Pass/Fail לבדו מסתיר מידע חיוני. צריך לברר מה היה הכשל, מה חומרתו, באילו תנאים התרחש וכמה ראיות דרושות כדי להעריך את שכיחותו. הצלחה במדגם קטן אינה מבטיחה שכשל נדיר לא יופיע בשימוש נרחב.
גם הממוצע עלול להטעות. שיעור הצלחה גבוה יכול להסתיר קושי עקבי של פרסונה מסוימת. לכן מערך ההערכה צריך לכלול משתמשים בעלי ידע, שפה, מטרות ואילוצים שונים, לצד וריאציות בניסוח ושיחות מרובות שלבים. פרסונות מדומות מאפשרות להרחיב את הבדיקה, אך אינן תחליף מלא למפגש עם משתמשים אמיתיים.
כיסוי אינו רשימה של כל השאלות האפשריות. הוא בחירה מנומקת של שילובי כוונה, הקשר, נתונים והיסטוריית שיחה, עם דגש על מצבים עתירי סיכון. שינוי במודל, בהנחיות או במאגר הידע עשוי לשנות את התפלגות התוצאות. לכן נדרשת הערכה חוזרת לאורך חיי המוצר, תוך השוואת דפוסים ובחינת כשלים, ולא רק ספירת בדיקות ירוקות.
שני צירים ומקצוע אחד
אני מכנה את המפגש הזה The AI × Quality Shift. הציר AI for Quality Engineering עוסק בשימוש בבינה מלאכותית לתכנון, לביצוע ולחקירה של בדיקות. הציר Quality Engineering for AI עוסק בהערכת האיכות של מערכות שהתנהגותן תלויה בבינה מלאכותית. הראשון משנה כיצד אנו עובדים; השני מרחיב את מה שעלינו לדעת למדוד.
זו מסגרת לחשיבה, לא מודל בשלות מחייב ולא הבטחה שכל ארגון יגיע לאיכות אוטונומית. שני הצירים יכולים להתפתח בקצבים שונים. דווקא משום כך חשוב להפריד בין התועלת שבהאצת הביצוע לבין הראיות לכך שהמוצר נעשה אמין ומועיל יותר.
תפקיד איש האיכות מתרחב
במרכז נמצא איש ה־Quality Engineering. ככל שיותר פעולות ניתנות לביצוע באמצעות AI, גדל משקלן של הגדרת כוונה, הבנת הסיכון, בחירת ראיות והפעלת שיקול דעת. עליו לברר אילו שאלות לא נשאלו, אילו אוכלוסיות אינן מיוצגות בבדיקות והאם מדד ההצלחה משקף את התוצאה העסקית והאנושית הרצויה.
את חלק מצורת העבודה המתהווה הזאת אני מכנה Vibe Testing: תהליך איטרטיבי שבו מגדירים לסוכן כוונה והקשר, בוחנים את התנהגותו ומדייקים את הבדיקה לפי הממצאים. המונח אינו היתר לבדיקה על סמך תחושה. הוא מחייב קריטריונים מפורשים, תיעוד ויכולת לערער על מסקנות הסוכן, במיוחד כשמערכת AI אחת מעריכה מערכת AI אחרת.
מכאן נגזרת גם אחריות ניהולית: להגדיר מראש מה נחשב כשל, מי מכריע במקרים עמומים ואילו ראיות נדרשות לשחרור. ריבוי הרצות אינו מפצה על שאלה שגויה, וציון איכות אינו מסביר את עצמו. האתגר המקצועי יהיה לחבר בין הממצאים לבין החלטה שאפשר לנמק.
העתיד של הנדסת האיכות רחב יותר מעוד אוטומציה. הוא דורש מאיתנו להגדיר מה ראוי לבדוק, ללמוד מהתנהגות שלא צפינו ולבסס אמון באמצעות ראיות. AI משנה את אמצעי הבדיקה ואת מושא הבדיקה בו בזמן; האחריות להבין מה משמעות התוצאות נשארת בלב המקצוע.
אודות המחבר
מספר נייד: 054-3453149 | דואר אלקטרוני: assaf@automatico.co.il
תגובות