מה באמת אפשר ללמוד ממשוב לקוחות בעזרת בינה מלאכותית?

בישיבת שיווק אפשר להציג רשימה מרשימה של נושאים שחזרו בתגובות לקוחות, ועדיין לא לדעת מה לעשות מחר בבוקר. האם צריך לשנות את ההבטחה בדף המוצר, להוסיף הסבר על המשלוח או לבדוק תקלה בשירות? כדאי לנסח את ההחלטה לפני שמבקשים סיכום.

ההבחנה הזאת קובעת גם כמה ראיות נדרשות. תגובות עשויות להצדיק בדיקה של הסבר לא ברור. כדי לטעון שאותו הסבר הוא הגורם המרכזי לנטישת לקוחות, צריך מידע נוסף. התהליך שלהלן הוא דרך עבודה מוצעת של MindVerve, לא תוצאה של ניסוי ולא הבטחה לדיוק.

קודם מבררים מי נכנס לאוסף הטקסטים

אוסף הטקסטים הוא פשוט החומר שנבחר לניתוח: למשל ביקורות, שיחות עם השירות ותמלילי ראיונות. לפני שמעלים אותו לכלי, מתעדים את הערוצים, התקופה, השפות והמוצרים שנכללו, ואת מה שהושאר בחוץ. קובעים גם מי גויס לראיונות ובאילו נסיבות. לקוחות שפנו בעקבות תקלה ולקוחות שמעולם לא נזקקו לשירות אינם בהכרח מתארים אותה חוויה.

מדריך הדגימה של הלשכה לסטטיסטיקה של קנדה מסביר שהכללה מתוך בחירה לא אקראית דורשת הנחות חזקות, ושהשתתפות מרצון עשויה לתת משקל יתר לאנשים בעלי מוטיבציה חזקה להגיב. מכאן נובעת מגבלה מעשית: ספירת נושאים בפניות שירות מתארת קודם כול את הפניות שנבחרו. גם בחירה אקראית מתוך הפניות אינה מתקנת את הבחירה הראשונית של הלקוחות לפנות לשירות.

זה לא הופך את המשוב לחסר ערך. הוא יכול לחשוף ניסוח מבלבל או קושי שלא חשבנו עליו. צריך רק להפריד בין זיהוי הקושי לבין הערכת מספר האנשים שחווים אותו.

הודעה, שיחה ולקוח הם שלוש יחידות שונות

לקוח אחד עשוי לשלוח כמה הודעות באותה שיחה, ולפרסם גם ביקורת. לכן מחליטים מראש אם סופרים הודעות, שיחות שלמות או לקוחות ייחודיים. מסירים כפילויות לפי כלל מתועד, ולא מניחים ששתי זהויות בערוצים שונים שייכות לאותו אדם בלי בסיס מהימן ומותר.

לצד כל ספירה מציינים את המכנה: מתוך כמה יחידות נבדק הנושא? אם שיחה עוסקת גם במחיר וגם במשלוח, אפשר לשייך אותה לשני הנושאים. במקרה כזה סכום ההופעות של הנושאים יכול להיות גדול ממספר השיחות, ואין בכך טעות. הטעות תהיה להציג אותו כאילו כל שיחה שייכת לנושא יחיד, או להחליף שיעור מההודעות בשיעור מהלקוחות.

קוראים כדי לגלות, בודקים כדי לסווג, ורק אז סופרים

בשלב הגילוי קוראים ידנית טקסטים ממקורות שונים, ונעזרים במודל כדי להציע נושאים עם קטעים שתומכים בהם. בהמשך מגדירים לכל נושא מה נכלל בו ומה לא. מדריכי Google לסיווג טקסטים ממליצים להכיר את הדוגמאות, לבדוק את התוויות ולכסות סוגי קלט שונים. ההקשר שלהם הוא למידה מונחית, שבה המערכת לומדת מדוגמאות מסווגות; כאן אנחנו מתאימים את העקרונות לתהליך אחר, ולא מסתמכים עליהם כהשוואה בין מודלים יוצרים.

לבדיקת הסיווג בונים קבוצה מגוונת בכוונה: טקסטים קצרים וארוכים, שפות וערוצים שונים, בקשות מרומזות, מקרים מעורבים, ניסוחים לא ברורים ובעיות נדירות. אנשים בודקים את המקרים ומנסחים סיווגי ייחוס. מתעדים גם מחלוקות; הבודק האחראי יכול להכריע בעזרת המקור וההקשר, או להשאיר מקרה כלא ידוע.

קבוצת הבדיקה הזאת אינה בסיס לחישוב שכיחות הנושאים. אם הוספנו לה הרבה מקרים נדירים כדי לבחון את המודל, שינינו במכוון את היחסים בין הנושאים. את הספירות מפיקים מהנתונים שנועדו לכך, תוך ציון גבולותיהם. גם בדיקת איכות מדגמית אינה מבטיחה שכל פריט שלא נבדק סווג נכון.

דוגמה בדויה: החבילה הגיעה בזמן, המידע הגיע מאוחר

נניח שבמשוב מומצא נכתב: ״החבילה הגיעה ביום חמישי כפי שהובטח, אבל רק אחרי התשלום גיליתי שזה מועד ההגעה״. התצפית היא שהלקוח מספר כי ידע את המועד רק אחרי התשלום, אף שהחבילה הגיעה במועד שהובטח. הנושא האפשרי הוא בהירות המידע לפני הקנייה, ולא איחור במסירה.

ההשערה השיווקית היא שהמידע על המועד קשה לאיתור לפני התשלום. הבדיקה הבאה יכולה להיות באחריות מנהלת חוויית הקנייה: לבדוק היכן המועד מוצג, ולבקש ממשתתפים במחקר משתמשים למצוא אותו לפני השלמת ההזמנה. זו המחשה של דרך חשיבה, לא תיאור של לקוח אמיתי או תוצאת בדיקה.

אם תגובה אחרת מתארת איחור ממשי, שומרים אותה כנושא נפרד; אם שני הקשיים מופיעים יחד, משייכים את הטקסט לשניהם. ספירת המילה ״משלוח״ לא תבדיל ביניהם. גם זיהוי של נימה שלילית אינו זיהוי של כוונה או של סיבת נטישה. טענה סיבתית דורשת ראיות נוספות.

התיעוד של Anthropic לניתוב פניות שירות עוסק בקשיים כמו כוונה מרומזת, ערבוב בין רגש לבקשה וכמה בעיות באותה פנייה. זהו מדריך של ספק לצורכי שירות, לא מדד עצמאי לאיכות מחקר שיווקי. בניתוח נושאים אין סיבה לכפות כוונה יחידה רק מפני שבניתוב נדרשת לעיתים כתובת אחת.

מה צריך להישאר לצד כל ממצא

ממצא שימושי מאפשר לחזור למקור. שומרים את מזהה המקור ואת הקטע המדויק שעליו נשען הסיווג, ובודקים שהציטוט אכן מופיע בטקסט או בהקלטה. מסמנים תרגום כתרגום, ומציינים במפורש כשהמודל מסר את הדברים במילים אחרות. לא מציגים אף אחד מהם כציטוט מקורי.

מדריך מחקר המשתמשים של השירות הדיגיטלי הממשלתי בבריטניה מדגיש תיעוד תצפיות, אימות ציטוטים והפרדה בין ממצאים לפעולות. הוא עוסק בניתוח אנושי; החלת העקרונות האלה על תהליך בסיוע בינה מלאכותית היא ההמלצה שלנו. גם כאן מועיל שכמה אנשים יבחנו את הפרשנות.

אפשר להעתיק את הרשומה הבאה ולמלא אותה לכל נושא:

1. הנושא: תיאור ברור של הקושי או הבקשה.
2. יחידת הספירה והמכנה: מה נספר, ובכמה יחידות מתוך כלל היחידות שנבדקו הופיע הנושא.
3. גבולות האוסף: ערוצים, תקופה, שפות, מוצרים והחרגות.
4. הראיות: מזהי מקורות וקטעים מדויקים שאומתו, עם סימון של תרגומים וניסוחים מחדש.
5. ראיות סותרות או עמומות: דוגמאות שמקשות על ההסבר ומחלוקות שנותרו פתוחות.
6. הבירור הבא והאחראי לו: מה נבדוק, ומי יקדם את הבדיקה.

תלונה נדירה בעלת השלכות חמורות צריכה להישאר גלויה, גם אם אינה משנה את דירוג הנושאים. היא עשויה להצדיק בירור נפרד. לפני העברת החומר משתמשים רק בנתונים שיש הרשאה להשתמש בהם ובכלים שאושרו בארגון, ומסירים מידע אישי שאינו נחוץ. זו זהירות מעשית, לא ייעוץ משפטי.

מתי שווה לבחון מודל בעל יכולת גבוהה יותר

אם המודל קיבל הקשר מספיק, במסגרת הרשאות השימוש בנתונים, והקטגוריות ברורות, אבל המודל עדיין טועה באופן חוזר במשימה מוגדרת, יש טעם בהשוואה. אם גם בני האדם חלוקים על משמעות הקטגוריות, מבהירים אותן קודם. החלפת המודל לבדה לא תפתור הגדרה לא מוסכמת.

משווים על אותם מקרים מגוונים שנבדקו בידי אנשים ונשמרו מחוץ לתהליך שיפור ההנחיות. בוחנים את סוגי הטעויות, הנאמנות למקורות, הטיפול בחוסר ודאות, הזמן הכולל לבדיקה ולתיקון, זמן התגובה והעלות. דירוג כללי של מודלים אינו מחליף את ההשוואה הזאת, ובדיקה מוצלחת אינה הבטחה לגבי כל חומר עתידי.

כשהמשימה והקריטריונים ברורים, AI Workflow Launch של MindVerve יכול לסייע בהקמת תהליך מוגדר אחד: בחירת כלים במסגרת ההיקף שסוכם, בדיקת מקרים אופייניים ומצבים שבהם התהליך עלול להיכשל, הכנת תדריכים והנחיות לשימוש חוזר, תיעוד, הדרכה והעברה לצוות. רישיונות, שימוש בממשקי תכנות המחברים תוכנות לשירותים, וחיבורים נוספים אינם כלולים; תמיכה ותחזוקה שוטפות נפרדות. אם ההחלטה, הנתונים או הקריטריונים עדיין אינם ברורים, AI Opportunity Sprint מתאים לבירור סדרי העדיפויות והיקף העבודה.