AI อ่านความคิดเห็นลูกค้าได้ แต่เราสรุปอะไรจากข้อความเหล่านั้นได้บ้าง

เมื่อมีทั้งรีวิว ข้อความถึงฝ่ายบริการ และบันทึกสัมภาษณ์ การขอให้ AI สรุปว่า “ลูกค้าต้องการอะไร” ดูเป็นจุดเริ่มต้นที่สะดวก แต่คำตอบอาจรวมปัญหาคนละอย่างเข้าด้วยกัน หรือทำให้เรื่องที่ถูกพูดถึงบ่อยดูเหมือนเป็นความต้องการของลูกค้าส่วนใหญ่

เรายังใช้สรุปเหล่านี้ช่วยตัดสินใจได้ เพียงต้องรู้ว่าข้อความแต่ละกลุ่มรองรับข้อสรุปแบบใด และยังขาดหลักฐานอะไร วิธีต่อไปนี้เป็นข้อเสนอในการทำงานของ MindVerve ไม่ใช่ผลการทดลองที่พิสูจน์ความแม่นยำของระบบ

ลองแยกปัญหาเรื่องส่งของออกจากปัญหาเรื่องข้อมูล

สมมติว่ามีข้อความที่แต่งขึ้นเพื่ออธิบายว่า “ของมาถึงวันพฤหัสบดีตามที่แจ้ง แต่ฉันเพิ่งรู้ว่าจะมาวันไหนหลังจ่ายเงินแล้ว” สิ่งที่พบจากข้อความคือผู้เขียนทราบวันที่ของจะมาถึงหลังชำระเงิน และบอกว่าของมาถึงตามกำหนด ประเด็นที่ควรจัดเข้ากลุ่มจึงเป็นความชัดเจนของข้อมูลก่อนซื้อ ไม่ใช่การส่งของล่าช้า

จากนั้นจึงตั้งข้อสันนิษฐานว่า ลูกค้าอาจหาข้อมูลวันส่งของก่อนจ่ายเงินได้ยาก ขั้นต่อไปอาจให้ผู้รับผิดชอบประสบการณ์การซื้อสำรวจตำแหน่งที่แสดงข้อมูล และให้ผู้เข้าร่วมการวิจัยลองหากำหนดส่งก่อนชำระเงิน ทั้งหมดนี้เป็นตัวอย่างสมมติ ไม่ใช่ลูกค้าจริงหรือผลทดสอบที่เกิดขึ้นแล้ว

หากอีกข้อความบอกว่าของมาช้ากว่าที่แจ้ง ต้องเก็บเป็นอีกประเด็นหนึ่ง ส่วนข้อความที่พูดถึงทั้งสองเรื่องอาจติดได้สองหมวด การนับคำว่า “ส่งของ” หรือดูว่าอารมณ์ของข้อความเป็นลบจึงยังแยกความต้องการไม่ได้ และยิ่งไม่เพียงพอที่จะบอกว่าอะไรเป็นสาเหตุให้เลิกซื้อ การกล่าวถึงเหตุและผลต้องมีหลักฐานอื่นมาประกอบ

กำหนดการตัดสินใจก่อนเลือกข้อความมาวิเคราะห์

เริ่มด้วยคำถามที่นำไปทำงานต่อได้ เช่น ควรเพิ่มคำอธิบายเรื่องกำหนดส่งในหน้าสินค้าหรือไม่ คำถามนี้ใช้หลักฐานต่างจากคำถามว่า ลูกค้าทั้งหมดกี่รายประสบปัญหาการจัดส่ง การพบคำอธิบายที่ชวนสับสนอาจพอให้เริ่มตรวจหน้าเว็บ แต่ยังไม่พอให้ประกาศสัดส่วนของลูกค้าที่ได้รับผลกระทบ

เขียนขอบเขตของชุดข้อความที่รวบรวมไว้ให้ชัดเจน ทั้งช่องทาง ช่วงเวลา ภาษา สินค้า และสิ่งที่ไม่นำมาวิเคราะห์ พร้อมเหตุผล หากรวมบทสัมภาษณ์ ต้องบอกด้วยว่าเลือกผู้ให้สัมภาษณ์อย่างไร คนที่ติดต่อฝ่ายบริการเพราะเจอปัญหาไม่จำเป็นต้องมีประสบการณ์เหมือนคนที่ไม่เคยติดต่อเลย

แนวทางของสำนักงานสถิติแคนาดาอธิบายว่าการนำข้อมูลจากการเลือกแบบไม่สุ่มไปสรุปถึงประชากรทั้งหมดต้องอาศัยข้อสมมติสำคัญหลายข้อที่ต้องมีเหตุผลรองรับ และผู้ที่สมัครใจตอบอาจเป็นกลุ่มที่มีแรงจูงใจจะให้ความเห็นมากเป็นพิเศษ เมื่อนำหลักนี้มาใช้กับงานการตลาด จำนวนเรื่องที่พบในข้อความถึงฝ่ายบริการจึงอธิบายชุดข้อความที่เลือกมาก่อน แม้สุ่มข้อความจากชุดนั้นอีกครั้ง ก็ไม่ได้แก้การคัดเลือกที่เกิดจากการตัดสินใจติดต่อฝ่ายบริการตั้งแต่แรก

ข้อจำกัดนี้ไม่ได้ทำให้ความคิดเห็นไร้ประโยชน์ เราอาจพบอุปสรรคใหม่จากข้อความเพียงไม่กี่ชิ้นได้ แต่ควรแยกการค้นพบปัญหาออกจากการประมาณว่ามีคนเจอปัญหานั้นมากเพียงใด

ตกลงให้ได้ว่าหนึ่งหน่วยหมายถึงอะไร

หนึ่งข้อความ หนึ่งบทสนทนา และลูกค้าหนึ่งคนไม่ใช่หน่วยเดียวกัน ลูกค้าคนเดียวอาจส่งหลายข้อความเพื่อถามเรื่องเดิม หากนับเป็นจำนวนลูกค้า ปัญหานั้นจะดูแพร่หลายเกินกว่าหลักฐานที่มี จึงต้องเลือกหน่วยให้เหมาะกับคำถาม ตัดข้อความซ้ำตามกติกาที่บันทึกไว้ และไม่เชื่อมตัวตนข้ามช่องทางโดยไม่มีข้อมูลที่เชื่อถือได้และได้รับอนุญาต

ทุกจำนวนควรมีฐานที่ใช้เทียบ เช่น พบประเด็นนี้ในกี่บทสนทนาจากบทสนทนาที่ตรวจทั้งหมด หากหนึ่งบทสนทนามีหลายประเด็น ผลรวมของจำนวนแต่ละประเด็นอาจมากกว่าจำนวนบทสนทนาได้ ต้องอธิบายวิธีนับนี้ไว้ ไม่บังคับให้เหลือประเด็นเดียวเพียงเพื่อให้ตัวเลขรวมกันพอดี

แยกชุดค้นหาประเด็นออกจากชุดตรวจคุณภาพ

ช่วงแรกเป็นการสำรวจ ทีมควรอ่านตัวอย่างจากหลายแหล่งด้วยตนเอง แล้วให้ AI เสนอประเด็นพร้อมข้อความสนับสนุน จากนั้นกำหนดความหมายของแต่ละหมวดและขอบเขตระหว่างหมวดให้ชัด คู่มือการจัดหมวดหมู่ข้อความของ Google แนะนำให้สำรวจตัวอย่าง ตรวจป้ายกำกับ และเตรียมข้อมูลให้ครอบคลุมรูปแบบที่อาจพบ คู่มือเหล่านี้อยู่ในบริบทของการเรียนรู้จากตัวอย่างที่มีคำตอบกำกับ ไม่ใช่ผลเปรียบเทียบโมเดลสร้างข้อความรุ่นต่าง ๆ เรานำหลักการมาปรับใช้เท่านั้น

เมื่อได้หมวดที่พอใช้งาน ให้จัดชุดตรวจคุณภาพที่ตั้งใจเลือกให้หลากหลาย ทั้งข้อความสั้นและยาว หลายภาษา หลายช่องทาง ความต้องการที่ไม่ได้พูดตรง ๆ ข้อความกำกวม กรณีที่มีหลายปัญหา และข้อร้องเรียนที่พบน้อย ให้คนตรวจและกำหนดคำตอบอ้างอิง รวมทั้งบันทึกว่าผู้ตรวจเห็นต่างกันตรงไหน ผู้รับผิดชอบอาจตัดสินจากต้นฉบับและบริบท หรือระบุว่ายังสรุปไม่ได้ แทนที่จะฝืนให้ทุกกรณีมีคำตอบแน่นอน

อย่านำสัดส่วนในชุดตรวจคุณภาพไปใช้แทนความถี่ที่พบจริง เพราะเราอาจใส่กรณีหายากเพิ่มเพื่อทดสอบข้อจำกัดของโมเดล ข้อมูลที่ใช้คำนวณความถี่ต้องแยกบทบาทจากชุดนี้ และระบุขอบเขตกับหน่วยนับของตัวเอง การสุ่มตรวจคุณภาพบางส่วนก็ไม่ใช่หลักประกันว่าทุกรายการที่เหลือถูกต้อง

เอกสารของ Anthropic เรื่องการส่งต่อคำร้องไปยังผู้รับผิดชอบชี้ถึงความยากของการตีความคำขอโดยนัย การแยกอารมณ์ออกจากความต้องการ และการพบหลายปัญหาในคำร้องเดียว นี่เป็นคำแนะนำจากผู้ให้บริการสำหรับงานฝ่ายบริการ ไม่ใช่การประเมินงานวิจัยการตลาดโดยหน่วยงานอิสระ และการวิเคราะห์ประเด็นไม่จำเป็นต้องเลือกเจตนาเดียวตามข้อจำกัดของงานส่งต่อคำร้อง

บันทึกผลให้คนอื่นย้อนตรวจได้

เก็บรหัสแหล่งที่มาและข้อความต้นฉบับส่วนที่สนับสนุนแต่ละประเด็น ตรวจคำอ้างอิงกับเอกสารหรือเสียงบันทึกจริง หากแปลภาษา ให้ระบุว่าเป็นคำแปล หาก AI เรียบเรียงใหม่ ให้ระบุว่าเป็นข้อความสรุป ไม่ใส่เครื่องหมายคำพูดเพื่อทำให้ดูเป็นคำพูดเดิมของลูกค้า

คู่มือวิจัยผู้ใช้ของหน่วยงานดิจิทัลภาครัฐสหราชอาณาจักรให้ความสำคัญกับการเก็บสิ่งที่สังเกตได้จริง การตรวจคำอ้างอิง และการแยกข้อค้นพบออกจากสิ่งที่จะทำต่อ คู่มือนี้กล่าวถึงการวิเคราะห์โดยคน ส่วนการนำมาประยุกต์กับ AI เป็นแนวทางที่เราเสนอ

ใช้เฉพาะข้อมูลที่มีสิทธิ์นำมาใช้กับเครื่องมือที่องค์กรอนุมัติ และตัดข้อมูลส่วนบุคคลที่ไม่จำเป็นออก เช่น การทบทวนความชัดเจนของกำหนดส่งไม่จำเป็นต้องแสดงที่อยู่บ้านของผู้ซื้อ ข้อนี้เป็นข้อควรระวังในการทำงาน ไม่ใช่คำแนะนำทางกฎหมาย

ทีมสามารถคัดลอกแบบบันทึกต่อไปนี้ไปใช้กับแต่ละประเด็นได้:

1. ประเด็นที่พบ: ระบุปัญหาหรือความต้องการให้เฉพาะเจาะจง
2. หน่วยนับและฐานที่ใช้เทียบ: นับอะไร พบกี่หน่วยจากทั้งหมดกี่หน่วย
3. ขอบเขตชุดข้อความ: ช่องทาง ช่วงเวลา ภาษา สินค้า และรายการที่ตัดออก
4. หลักฐาน: รหัสแหล่งที่มาและข้อความอ้างอิงที่ตรวจแล้ว พร้อมระบุคำแปลหรือข้อความเรียบเรียงใหม่
5. หลักฐานที่ขัดแย้งหรือยังคลุมเครือ: ตัวอย่างที่ไม่เข้ากับข้อสรุป และความเห็นต่างที่ยังไม่ยุติ
6. สิ่งที่จะตรวจสอบต่อและผู้รับผิดชอบ: คำถามที่จะหาคำตอบและคนหรือทีมที่จะดำเนินการ

เก็บข้อร้องเรียนที่พบไม่บ่อยแต่มีผลกระทบสูงไว้ให้เห็นชัด อาจแยกเป็นเรื่องที่ต้องตรวจสอบต่างหาก ไม่ควรตัดทิ้งเพียงเพราะไม่ติดอันดับประเด็นยอดนิยม

เมื่อไรจึงควรลองโมเดลที่มีความสามารถสูงขึ้น

หากคนในทีมยังตีความหมวดไม่ตรงกัน ให้แก้นิยามก่อน หากบริบทยังไม่พอ ให้เติมข้อมูลที่ได้รับอนุญาตให้ใช้ เมื่อทำสองอย่างนี้แล้วแต่ยังพบข้อผิดพลาดเฉพาะงานซ้ำ ๆ เช่น แยกวันส่งที่ไม่ชัดเจนออกจากการส่งผิดนัดไม่ได้ จึงมีเหตุผลที่จะทดสอบโมเดลที่มีความสามารถสูงขึ้น

ใช้กรณีหลากหลายชุดเดียวกันที่คนตรวจแล้ว และกันไว้ไม่ให้ใช้ปรับคำสั่งระหว่างพัฒนา เปรียบเทียบชนิดของข้อผิดพลาด ความตรงกับต้นฉบับ การจัดการความกำกวม เวลารวมที่คนใช้ตรวจและแก้ไข เวลารอคำตอบ และค่าใช้จ่าย ไม่ควรตัดสินจากอันดับทั่วไปของโมเดลเพียงอย่างเดียว

หากคำถาม ข้อมูล และเกณฑ์ตรวจพร้อมแล้ว บริการ AI Workflow Launch ของ MindVerve ช่วยตั้งกระบวนการทำงานที่กำหนดชัดเจนหนึ่งกระบวนการ ครอบคลุมการเลือกเครื่องมือภายในขอบเขต การทดสอบกรณีทั่วไปและกรณีที่อาจผิดพลาด ชุดคำสั่งและเอกสารกำหนดงานที่ใช้ซ้ำได้ เอกสารประกอบ การฝึกอบรม และการส่งมอบ ไม่รวมค่าลิขสิทธิ์ ค่าเรียกใช้บริการผ่าน API ซึ่งเป็นช่องทางให้โปรแกรมติดต่อกัน และการเชื่อมระบบเพิ่มเติม ส่วนการสนับสนุนและบำรุงรักษาต่อเนื่องแยกต่างหาก หากยังไม่ชัดว่าจะเริ่มจากงานใด AI Opportunity Sprint ช่วยจัดลำดับความสำคัญและกำหนดขอบเขตก่อนลงมือได้