מאת: ד"ר עומרי אלוש | מנהל מחלקת המחקר, Gong
הקדמה
בשנים האחרונות חלה התקדמות עצומה ביכולות הבינה המלאכותית. מודלים של למידה עמוקה (Deep learning) המאומנים על גופים גדולים דוחפים את הגבולות של מה שחשבנו שאפשרי, ומציגים הזדמנויות חדשות לחברות הייטק לשנות לחלוטין תעשיות קלאסיות.
ועדיין, בניית מוצרים מבוססי AI דורשת גישה ייחודית לשלל נושאים. במאמר זה נסקור כמה שיעורים שלמדנו במהלך המסע שלנו בחברת גונג, מתוך פיתוח עשרות מודלים בתחומי AI מגוונים.
אז מה עושה גונג?
גונג היא חברה ישראלית שהוקמה ב-2016 בכדי לסייע לצוותים העובדים מול לקוחות, ובראשם צוותי מכירה, לנהל שיחות טובות יותר.
גונג אוספת את כל האינטראקציות הקשורות לשיחות מול לקוחות - שיחות זום, מיילים, שיחות טלפון, הודעות טקסט, הודעות Slack, עדכוני CRM ועוד. לאחר מכן, גונג מתמללת את השיחות הקוליות, מנתחת אותן ואת האינטרקציות האחרות ומחלצת מהן ידע ותובנות שעוזרים לשפר תהליכי מכירה, עבודת צוות והבנת שוק.
בפועל, בעזרת גונג נבין למשל בשיחה בת שעה:
מי דיבר ומתי, עם ציר זמן מחולק לדוברים השונים
מה נאמר, עם תמליל במספר שפות כולל אפשרות לחיפוש בקלות
איך התקדמה השיחה, כולל חלוקה לפרקים ונושאים שונים שנדונו במפגש
מה התרחש על המסך - גונג מזהה הדגמות של דפדפן, מצגות מחולקות לשקופיות שונות, שיתוף מצלמה וכו'.
גונג מנתחת ומבינה גם מיילים - הן מבחינה תוכנית, והן מבחינת דפוסי התקשורת - למשל, אם הלקוח הפוטנציאלי היה מאוד מגיב בהתחלה, אבל עכשיו עונה הרבה יותר לאט.
לצורך השירות, בנינו פנימית עשרות מודלי ML שונים - בתחומי דיבור (למשל זיהוי שפה מקטעי אודיו, זיהוי דוברים על פי חתימה קולית, זיהוי הדיבור במגוון שפות ועוד), עיבוד שפה טבעית (למשל זיהוי שאלות, Action items, נושאי שיחה ועוד), מודלי ניבוי (האם עסקת מכירה תסגר בהצלחה? האם החברה תעמוד ביעדים הרבעוניים? ועוד). מתוך הנסיון שלנו בבניית מודלים בעולמות שונים למדנו כמה שיעורים שנרצה לחלוק כאן:
התרכזו ביצירת ערך ללקוח, לא בטכנולוגיה
לאחרונה נדמה שבכל שבוע נשבר שיא חדש ביכולות הבינה המלאכותית. מודלי AI מייצרים תמונות מרהיבות ממשפטים, ומתמללים שיחות במגוון שפות תוך תרגום שלהן. ההתקדמויות האלה מביאות ברכה אמיתית, אבל קל לטעות ולהתרכז בהן, במקום בדבר החשוב באמת - יצירת ערך ללקוח.
בספרו המכונן "אמנות המלחמה", כתב סון צו שהמצביא המוכשר יודע לנצח בקרב בלי לצאת למלחמה. הדבר נכון שבעתיים למודלי AI, שדורשים מאמץ רב לבניה שלהם - אם אפשר לפתור את הבעיה.
שיטה יעילה לכך היא "שיטת הקוסם מארץ עוץ" (Wizard of Oz), בה נפגש עם לקוחות ונראה להם תוצאות של "מודל AI חכם" שבנינו, במטרה להבין איזה ערך יש לפתרון. למעשה, אין מודל ומאחורי הקלעים ישבו אנשים ויצרו פלט "כמו של מודל". כך נוכל "להאיץ את התהליך" ולהבין למשל שאנחנו פותרים למעשה בעיה לא נכונה, בלי לאמן כלל מודל.
בהקשר הזה בניית מודלי AI לא שונה מכל פיצ'ר - מתחילים במיפוי הכאבים והאתגרים של המשתמש, מתקדמים באיטרציות מחקר ופיתוח מהירות ומקבלים פידבקים מהמשתמש מוקדם ותדיר ככל האפשר. חשוב שהשיחה לא תהיה תיאורטית מדי - אין תחליף לפידבק של המשתמש על תוצאות מודל על דאטה שלו. רבים מקדמים תפיסה של עבודה תחילה עם מודל פשוט. למעשה, מתוך הנסיון שלנו בגונג עם מגוון רחב של מודלי למידה עמוקה (Deep Learning), למדנו שההפך הוא הנכון - מודל הבסיס צריך להיות גדול ומורכב ככל האפשר. ברשתות נוירונים זה מתורגם למודלים עם מיליארדי נוירונים, שאומנו אימון מקדים (Pre-training). מודלים אלה דורשים מחשוב כבד, לא יכולים לרב לרוץ על מכשירי הקצה שאנו מייעדים להם, מייצרים תחזיות לאט ועולים הרבה מעבר לתקציב הפרויקט. ועדיין, מודלים אלה מוכרים בספרות כ-Few shot learners - בעזרת מספר קטן של דוגמאות מתויגות ניתן להתאים אותם לבעיה הספציפית שלנו (Transfer learning) ובזמן פיתוח קצר, ניתן להגיע איתם לביצועים מרשימים ובכך להוכיח ערך ללקוח. את הורדת העלויות ופישוט המודל נבצע בשלבים מתקדמים, כשביססנו את הערך ללקוח.
העריכו את הכח שבנתונים
מקובל להציג כמה רמות של עיבוד נתונים: נתונים > מידע > ידע > תובנה > חוכמה.
בגונג הבינו מהימים הראשונים את הכח שבהנגשה של נתונים. בכל שבוע פרסמה החברה פוסט ובו תובנות שעולות מניתוח מיליוני שיחות מכירה. זו היתה הפעם הראשונה בה מנהלות צוותי מכירות יכלו לוודא האם Best practices בתחום אכן מתקיימים במציאות. האם אכן אלוהים ברא אותנו עם פה אחד ושתי אוזניים כדי שנקשיב הרבה יותר מאשר נדבר? (רמז: בעולם המכירות, בהחלט כן - אנשי מכירות מעולים מקשיבים הרבה יותר לצד השני, ובכך מבינים את הצרכים שלו ומתאימים את תהליך המכירה אליהם).
ברמת השיווק, התובנות האלה ביססו את מעמדה של גונג כמובילת דעה בעולם הסיילס. לינקדאין למשל בחרה מספר פעמים בכותבי הבלוג כריס אורלוב ודווין ריד לרשימת 5 אנשי המכירות המשפיעים ביותר בעולם. גונג נלמדת גם ב-Harvard Business School כהדגמה לכוחו של Content marketing. חברות התעניינו בתוצאות, וקנו את המוצר של גונג כדי ללמוד האם הדגמים שזוהו תופסים גם במקרה הספציפי שלהן, על הנתונים שלהן.
תמצאו את נווה המדבר שלכם
בהגדרתם, פרויקטי מחקר כוללים חשש משמעותי מכשלון. במחקר בינה מלאכותית, הבעיה יכולה לנבוע למשל מנתונים חסרים, חלקיים או לא מדויקים, מתיוג שגוי, משגיאות בתהליך עיבוד המידע, מקשיים בתהליך הלמידה, כגון היפר-פרמטרים לא אופטימליים באימון רשת הנוירונים, התכנסות שגויה של הרשת, או אפילו מכך שהבעיה עדיין קשה מדי ליכולות בינה מלאכותית מודרנית. אי הודאות הזו מכניסה קושי משמעותי משל עצמה - כיצד יודעת החוקרת שהיא עובדת על בעיה שניתנת לפתרון? כיצד נחליט האם להשקיע עוד רבעון של מחקר, או שאנחנו נלחמים במשימה בלתי אפשרית?
בגונג פיתחנו שיטת עבודה שמכוונת להפחתת אי הוודאות ככל האפשר - שיטת "נווה המדבר". הרעיון הוא להתחיל בלזהות חלק בעולם בו התנאים טובים ככל האפשר - קל להשיג דאטה באיכות גבוהה ולתייג אותו, לבנות מודל עליו, ולהבין דרכו בזמן קצר יחסית האם הבעיה בכלל ניתנת לפתרון.
דוגמא לכך היא מערכת תמצות Action Items. בפגישות עבודה אנחנו מזכירים פעמים רבות משימות לביצוע כהמשך לשיחה - גונג מזהה אותן אוטומטית עבורנו, ואף שאנחנו מבטאים אותן בשפה חופשית, מתמצתת אותן למשימות קצרות וקליטות. בתהליך המחקר יש הרבה שלבים שיכולים לגרום למערכת הסיכום שלנו להיכשל - למשל תמלול שגוי, זיהוי שגוי של משפטים מסוימים כ-Action items, ואפילו קושי של אדם להבין מהו ה-Action item שצריך לקחת ממקטע שיחה מסוים. מערכת המשלבת את כל המורכבויות האלה עלולה להיכשל ממגוון סיבות ובכך למנוע מאיתנו את היכולת להבין את התיקונים והשיפורים הנדרשים בה לפעילות תקינה. האם עלינו להשקיע במנוע התמצות או דווקא במנוע זיהוי הדיבור?
שיטת נווה המדבר מכוונת אותנו להתחיל בתנאים נוחים - למשל, נפעל על תמלול ידני מדויק, רק על משפטים שבהם אכן יש Action item, למשל בקטגורית "שליחה" בלבד (שליחת אימייל, שליחת סרטון הדרכה וכו'). לאחר הצלחה במשימה מוגדרת כזו (המושלמת לרב בטווח של שבועות קצרים בשל התנאים הנוחים), נתחיל לרכך את ההנחות המקילות ולהבין איפה להשקיע את המאמצים. ההצלחה המהירה יוצרת גם מחויבות בצוותי הפיתוח והמוצר, כיוון שלעיתים כבר יש מודל שנותן ערך על חלק מהמצבים. אנשי המוצר והפיתוח מתחילים עבודה על הנגשת הפיצ'ר למשתמשים, בעוד צוות המחקר ממשיך בשיפור הביצועים.
תתכוננו לעולם האמיתי
אומרים שמודל ML הוא כמו מכונית חדשה - ברגע שהוצאת אותה ממגרש הדילר, היא כבר שווה 20% פחות. מודלי ML הם מודלים סטטיסטיים בבסיסם, וככאלה טועים באופן אינהרנטי על אחוז מסוים מהמקרים. קל לכן לשייך לטעויות כאלה גם מקרים של באגים ותקלות בתהליך עיבוד המידע, במודל וכו'. הפתרון הוא מעקב (Monitoring) על פרדיקציות המודלים בפרודקשן, לזיהוי אנומליות, טרנדים ותת קבוצות עם מאפיינים חשודים.
אחד השלבים הראשונים בניתוח שיחה בגונג הוא זיהוי שפת השיחה. אלגוריתמית, אימנו רשת נוירונים לזהות האם שני קטעי דיבור שונים מגיעים מאותו דובר או דוברים שונים, ולאחר מכן שינינו את המשימה כדי לזהות את השפה והמבטא בקטעים. המודל השיג תוצאות מצוינות במעבדה, אך כשהפעלנו אותו בעולם האמיתי זיהינו שבשיחות קצרות, בנות פחות מ-5 דקות, יש אחוז גדול של שיחות בצרפתית. כשהאזנו לשיחות הבנו את הסיבה - ברבות מהשיחות האלה היתה מוזיקת המתנה, והנה ההוכחה מבוססת הדאטה לכך שצרפתית היא אכן השפה הכי מוזיקלית…
לאחר שזיהינו את הבעיה, התיקון שלה היה קל - בנינו מודל מקדים שמזהה מוזיקה בשיחות ומוודא שמודל זיהוי השפה רץ רק על קטעי דיבור ולא על קטעי מוזיקה, גם אם היא כוללת דיבור. מוניטורינג חשוב מאוד גם כדי לזהות שינויים בהתפלגות הנתונים עם הזמן. למשל, אפשר להקביל חברה בצמיחה מואצת כמו גונג, שיותר ומכפילה את המכירות שלה מדי שנה, לעולם ב-1491 - אנחנו עדיין לא יודעים שקיימת עוד יבשת… המודלים שלנו אומנו לתמלל דיבור באיכות גבוהה מאוד, על מבטאים צפון-אמריקאים נפוצים. עם ההאצה של המכירות בחברה הצטרפו כלקוחות משתמשים רבים עם מבטא סקוטי, אוסטרלי, הודי ועוד, וחשוב להיות מודע לירידה בביצועים ולפעול פרואקטיבית כדי לשמור על איכות גבוהה של המוצר.
תחלמו בגדול
הקפיצה הגדולה ביכולות AI בחודשים האחרונים זוכה לכותרות גם בעיתונות המרכזית. ועדיין, עוטפת את התחום הילה (או שמא עוטף ערפל?) וקשה למנהלי מוצר לברור את המוץ מהתבן ולהבין איזו טכנולוגיה באמת בשלה להגיע ללקוח כמוצר בוגר. זה עלול להוביל לגישה הגנתית של מנהלי המוצר, וכדאי שצוותי המחקר יפעלו לאזן אותה. כדוגמא, גונג פיתחה כלי לכתיבת אימיילים ללקוחות, המאפשר לאשת המכירות לשלוח אימייל ישירות מתוך המערכת, כשלפניה התכתובות הקודמות בעסקה, ה-Action items מהשיחה האחרונה וכו'. כמוצר "חכם" יותר ביקשו פיתוח של טמפלייטים לאימיילים, ו-auto-complete חכם שישלים כמה מילים קדימה מדי פעם - פרויקטים מעניינים עם ערך ברור ללקוח, שפשוטים מאוד ברמה המחקרית.
צוות המחקר לקח את זה צעד קדימה, ובנה מצגת כדי לעודד את אנשי המוצר לחלום, והדגים אימיילים שנוצרו אוטומטית ע"י רשת נוירונים בהינתן הנחיות שונות. כך למשל, ביקשנו מהמודל שיכתוב אימייל מכירתי קצר ומצחיק על הדימיון בין הצגה בכנס לבין עבודה בקרקס.
הנה התוצר:
Hi there!
If you've ever given a presentation at a conference, you know that it can be a bit like working in a circus. There's the juggling act of trying to keep everyone's attention, the tightrope walk of staying on topic, and the circus-like atmosphere of being in a big room full of people.
But just like the circus, giving a presentation can be a lot of fun. It's a chance to show off your skills and knowledge, and to connect with other people who are passionate about the same things you are.
So if you're feeling like a circus performer, remember that it's all part of the fun. And if you're looking for some tips on how to make your presentation a success, we've got you covered.
Thanks for reading, and we hope to see you at a conference soon!
זה בהחלט זמן מדהים לחיות בו :)
אם גם לכם יש תשוקה לדאטה, ל-AI ולשמח לקוחות, נשמח לשמוע ממכם! omri.allouche@gong.io.
