ROAS ในรายงาน AI รองรับข้อเสนอเพิ่มงบโฆษณาจริงหรือ?

ก่อนอนุมัติข้อเสนอเพิ่มงบจากรายงานที่ AI เขียน ลองหยุดอ่านตรงคำว่า “สร้างรายได้เพิ่ม” แล้วถามว่า รายงานใช้หลักฐานอะไรยืนยันคำว่า “เพิ่ม” หากมีเพียงตัวเลขยอดขายที่แพลตฟอร์มให้เครดิตกับโฆษณา คำตอบคือยังยืนยันไม่ได้ แม้สูตรคำนวณและตัวเลขที่ดึงมาจะถูกต้องทั้งหมดก็ตาม

สำหรับผู้บริหารการตลาดและผู้รับผิดชอบรายงานของเอเจนซี มีสองคำถามที่ต้องแยกกันให้ชัด โฆษณาทำให้เกิดยอดขายที่เดิมจะไม่เกิดขึ้นหรือไม่ และเงินที่กำลังจะเพิ่มเข้าไปจะให้ผลตอบแทนอย่างไร รายงานที่น่าใช้ตัดสินใจต้องแสดงให้เห็นว่าตอบแต่ละคำถามได้ถึงไหน

ลองอ่านข้อสรุปจากร้านค้าสมมติ

ตัวอย่างต่อไปนี้เป็นสถานการณ์สมมติ ไม่ใช่ผลลัพธ์ของลูกค้าหรือการศึกษาที่ได้ดำเนินการจริง แดชบอร์ดของร้านค้าแห่งหนึ่งแสดงค่าโฆษณา THB 100,000 และมูลค่าการซื้อที่ระบบระบุแหล่งที่มาให้กับโฆษณา THB 400,000 ในหนึ่งเดือน ร้านค้ายังจัดโปรโมชันในช่วงนั้นด้วย และไม่มีผลการศึกษาหรือแบบจำลองเชิงสาเหตุแนบมา

เมื่อนำ 400,000 หารด้วย 100,000 จะได้ ROAS เท่ากับ 4.0 แต่เป็น ROAS ตามการระบุแหล่งที่มา หาก AI เขียนว่า “โฆษณาสร้างรายได้เพิ่ม THB 400,000 จึงควรเพิ่มงบ” ประโยคนั้นได้เพิ่มข้อสรุปเรื่องเหตุและผลที่ข้อมูลยังไม่รองรับ อีกทั้งค่า 4.0 ก็ไม่ได้หมายถึงกำไร 400%

ข้อความที่ใช้ได้กับหลักฐานชุดนี้คือ “ตามแดชบอร์ดของแคมเปญ ในเดือนที่รายงาน แพลตฟอร์มให้เครดิตมูลค่าการซื้อ THB 400,000 กับค่าโฆษณา THB 100,000 คิดเป็น ROAS ตามการระบุแหล่งที่มา 4.0 โดยรายงานที่ได้รับยังไม่ได้ประมาณผลส่วนเพิ่มจากโฆษณา”

ส่วนโปรโมชันเป็นประเด็นที่ควรตรวจสอบ ไม่ใช่คำอธิบายที่พิสูจน์แล้วว่าทำให้ยอดขายเปลี่ยนไป การแก้ข้อความจึงต้องไม่เปลี่ยนจากการอ้างสาเหตุหนึ่งอย่างมั่นใจ ไปอ้างอีกสาเหตุหนึ่งอย่างมั่นใจเช่นกัน

ยอดขายที่ได้เครดิตกับยอดขายที่เพิ่มขึ้นตอบคนละคำถาม

ROAS คือมูลค่า Conversion หารด้วยค่าโฆษณา โดย Conversion คือเหตุการณ์ที่กำหนดให้เป็นผลลัพธ์ เช่น การซื้อสินค้า สำหรับ ROAS ตามการระบุแหล่งที่มา ระบบจัดสรรเครดิตให้โฆษณาตามการตั้งค่าติดตามและกติกาการระบุแหล่งที่มา ตัวเลขนี้มีประโยชน์ต่อการอ่านผลงานตามวิธีวัดของระบบ แต่ไม่ได้บอกว่าการซื้อทั้งหมดนั้นจะไม่เกิดขึ้นหากไม่มีโฆษณา

ROAS ส่วนเพิ่มพิจารณามูลค่า Conversion ที่ประมาณว่าเกิดเพิ่มเพราะโฆษณาที่ศึกษา สำหรับ Conversion Lift แบบอิงผู้ใช้ของ Google ค่านี้คำนวณจากมูลค่า Conversion ส่วนเพิ่มที่ประมาณได้ หารด้วยค่าโฆษณา การประมาณผลต้องมีฐานเปรียบเทียบว่า หากไม่มีโฆษณานั้น ผลลัพธ์น่าจะเป็นอย่างไร นี่คือสถานการณ์เปรียบเทียบที่สมมติว่าไม่มีโฆษณา หรือ counterfactual โมเดลภาษาที่เรียบเรียงตัวเลขในแดชบอร์ดไม่สามารถสร้างฐานเปรียบเทียบที่น่าเชื่อถือขึ้นมาได้จากการเขียนเพียงอย่างเดียว

ต้องตรวจนิยามมูลค่าด้วย เพราะมูลค่า Conversion อาจไม่ใช่รายได้ที่ได้รับชำระแล้ว และไม่ใช่กำไร การประเมินความเหมาะสมทางธุรกิจยังต้องพิจารณาอัตรากำไรและต้นทุนอื่นตามบริบท ไม่ควรให้ชื่อ ROAS ทำให้รายละเอียดเหล่านี้หายไปจากการตัดสินใจ

จัดประเภทหลักฐานก่อนยอมรับคำว่า “ทำให้เกิด”

เริ่มจากแยกข้อมูลสี่ประเภท การเปลี่ยนแปลงก่อนและหลังเริ่มแคมเปญบอกว่าเกิดอะไรขึ้นตามเวลา ผลการระบุแหล่งที่มาบอกว่าระบบแจกจ่ายเครดิตอย่างไร การทดลองที่มีการควบคุมเปรียบเทียบกลุ่มที่ได้รับโฆษณากับกลุ่มควบคุม ส่วนแบบจำลองเชิงสาเหตุจากข้อมูลสังเกตประมาณผลภายใต้สมมติฐานและวิธีวิเคราะห์ที่เหมาะสม การเล่าเรื่องของ AI ไม่ได้เป็นหลักฐานประเภทใหม่เพิ่มจากสี่ประเภทนี้

ยอดขายที่สูงขึ้นหลังเปิดแคมเปญยังไม่ใช่ฐานเปรียบเทียบที่ใช้แทนโลกซึ่งไม่มีโฆษณาได้โดยอัตโนมัติ การศึกษาที่ออกแบบเหมาะสมช่วยสร้างการเปรียบเทียบดังกล่าวได้ Google Ads มี Conversion Lift แบบอิงผู้ใช้และแบบอิงพื้นที่ แต่ไม่ได้เปิดให้ทุกบัญชีใช้งาน และการลบยอดของสองกลุ่มตรง ๆ ก็ไม่ใช่วิธีทั่วไปที่ใช้แทนการออกแบบและปรับการเปรียบเทียบให้เหมาะสมได้

ไม่จำเป็นต้องจำกัดหลักฐานเชิงสาเหตุไว้ที่การทดลองเท่านั้น การสร้างแบบจำลองส่วนประสมทางการตลาด หรือ MMM สามารถประมาณผลจากข้อมูลสังเกตได้เมื่อมีสมมติฐานและการจัดการตัวแปรกวนที่เหมาะสม ตัวแปรกวนคือปัจจัยที่กระทบทั้งการตัดสินใจใช้งบสื่อและยอดขาย เช่น ฤดูกาลหรือโปรโมชันอาจเป็นเรื่องที่ต้องพิจารณาในบางกรณี โมเดลหลายตัวอาจทำนายยอดขายได้ดี แต่ให้ค่าผลตอบแทนเชิงสาเหตุต่างกัน จึงใช้ความแม่นในการทำนายอย่างเดียวรับรองข้อสรุปไม่ได้

แม้วัดผลส่วนเพิ่มได้ ก็ยังต้องตรวจเหตุผลของงบใหม่

สมมติว่ามีหลักฐานเพียงพอสำหรับผลส่วนเพิ่มในอดีตแล้ว คำแนะนำให้เพิ่มงบก็ยังต้องผ่านอีกขั้นหนึ่ง ผลตอบแทนเฉลี่ยของเงินที่ใช้ไปแล้วไม่ได้บอกผลตอบแทนจากเงินก้อนถัดไปโดยตรง ระดับการใช้จ่ายใหม่อาจให้ผลต่างจากเดิม และเงื่อนไขของช่วงเวลาหรือกลุ่มเป้าหมายอาจเปลี่ยนไป

เอกสาร Meridian แยกผลตอบแทนในอดีตออกจากผลตอบแทนส่วนเพิ่มต่อการเพิ่มงบเล็กน้อย และใช้เส้นโค้งการตอบสนองเพื่อแสดงผลลัพธ์ที่แบบจำลองประมาณ ณ ระดับงบต่าง ๆ ยิ่งประมาณผลไกลออกไปจากระดับการใช้จ่ายที่เคยมีข้อมูล ความเสี่ยงก็ยิ่งเพิ่มขึ้น ทั้งนี้ ผลตอบแทนเชิงสาเหตุจากแบบจำลองไม่ใช่ค่า ROAS ตามการระบุแหล่งที่มาของแพลตฟอร์ม

ข้อคิดในการตรวจรายงานคือ ให้ผู้เสนออธิบายว่าประมาณผลของงบใหม่อย่างไร แทนการนำอัตราเฉลี่ยเดิมไปคูณเงินที่จะเพิ่มทันที บทความนี้ไม่ได้สร้างเส้นโค้งหรือพยากรณ์ผลให้ร้านค้าสมมติ แต่ชี้ว่าข้อเสนอเรื่องงบต้องมีเหตุผลเพิ่มเติมจากการรายงานผลงานที่ผ่านมา

เพิ่มบันทึกหลักฐานหนึ่งรายการต่อข้อสรุปสำคัญ

วิธีตรวจที่ MindVerve เสนอเริ่มจากทำเครื่องหมายคำที่มีผลต่อการตัดสินใจ เช่น “ทำให้เกิด” “สร้างยอดขายเพิ่ม” และ “จะเพิ่มรายได้” จากนั้นจัดประเภทหลักฐานและตรวจข้อกล่าวอ้างทีละข้อ ไม่จำเป็นต้องตรวจทุกประโยคด้วยความละเอียดเท่ากัน แต่ข้อสรุปที่ใช้รองรับงบต้องตามกลับถึงหลักฐานได้

สามารถคัดลอกชุดข้อมูลต่อไปนี้ใส่ในข้อกำหนดงานรายงาน และกรอกหนึ่งรายการต่อข้อกล่าวอ้างสำคัญ:

1. ประโยคที่เสนอ และการตัดสินใจที่ต้องการให้ประโยคนี้รองรับ
2. ชื่อและนิยามตัวชี้วัดเดิม แหล่งข้อมูล วันที่ของข้อมูลหรือวันที่ดึงข้อมูล
3. ขอบเขตแคมเปญ กลุ่มเป้าหมาย ผลลัพธ์ที่วัด และช่วงเวลา
4. ประเภทหลักฐาน วิธีประมาณ และฐานเปรียบเทียบที่ใช้
5. ความไม่แน่นอน สมมติฐาน ข้อจำกัด และหลักฐานที่ยังขาด
6. ข้อความที่อนุมัติ ผู้รับผิดชอบ และขั้นตอนถัดไป

AI ช่วยร่างบันทึกเชื่อมข้อกล่าวอ้างกับแหล่งข้อมูลและชี้ส่วนที่ขาดได้ แต่ผู้ตรวจต้องเปิดดูแหล่งข้อมูลและอนุมัติข้อสรุปที่มีผลต่อการตัดสินใจ หากยังไม่มีหลักฐาน อาจขอเพิ่มหรือระบุว่าเป็นการตัดสินใจทางธุรกิจในขอบเขตจำกัดภายใต้ความไม่แน่นอน ไม่จำเป็นต้องหยุดทุกการตัดสินใจจนกว่าจะมีการทดลอง

หากเลือกทดสอบผล ต้องอาศัยผู้มีความรู้ด้านการออกแบบการวัดและสิทธิ์เข้าถึงที่มีอยู่ ไม่จำเป็นต้องเป็นการศึกษา Lift ใน Google โดยตรง และเมื่อนำผลศึกษามาสรุป ต้องรักษาขอบเขตของผลกับช่วงความไม่แน่นอนไว้ด้วย

ตั้งเกณฑ์รับงานให้ระบบแสดงขอบเขตของหลักฐาน

ก่อนขยายระบบรายงาน ลองใส่กรณีต่อไปนี้เป็นเกณฑ์รับงานของโครงการนำร่อง ทั้งสามข้อเป็นการทดสอบที่เสนอให้ทำ ไม่ใช่ผลการทดสอบที่ดำเนินการแล้ว:

1. เมื่อให้ข้อมูลการระบุแหล่งที่มาเพียงอย่างเดียว ระบบต้องไม่เปลี่ยนเป็นข้อสรุปว่ามีรายได้ส่วนเพิ่ม
2. เมื่อให้ผลศึกษาที่ยังสรุปไม่ได้ ระบบต้องคงความไม่แน่นอนไว้ และไม่ฟันธงว่า “ไม่มีผล”
3. เมื่อให้ผลประมาณจากแบบจำลองเชิงสาเหตุ ระบบต้องรักษาขอบเขตและสมมติฐาน พร้อมระบุว่าเป็นค่าประมาณ ไม่เสนอว่าเป็นการทดลอง

ติดตามจำนวนข้อกล่าวอ้างที่ไม่มีหลักฐานและต้องแก้ไข ความสามารถในการตามข้อสรุปกลับไปยังแหล่งข้อมูล และภาระงานตรวจทั้งหมด ข้อมูลเหล่านี้ช่วยประเมินการใช้งานโดยไม่ต้องแต่งเป้าหมายหรือผลลัพธ์ขึ้นมา การมีพรอมป์ต์หรือรายการตรวจเพียงอย่างเดียวไม่ได้รับประกันว่าคำแนะนำเรื่องงบจะถูกต้อง

กำหนดงานรายงานให้ชัดก่อนเริ่มโครงการนำร่อง

บริการระบบอัตโนมัติและรายงานของ MindVerve กำหนดข้อมูลเข้า ผลลัพธ์ ผู้รับผิดชอบ การคำนวณและการตรวจ จุดทบทวน รวมถึงกติกาเมื่อเกิดข้อผิดพลาด ส่วน AI Workflow Launch นำกระบวนการที่ตกลงกันหนึ่งกระบวนการไปใช้งาน พร้อมทดสอบกรณีตัวแทนและกรณีผิดปกติ จัดทำเอกสาร ฝึกอบรม และส่งมอบ