הניסוי בחן מבקרים בעמודי מוצר נבחרים
המחקר Generative AI and Sales Productivity: Field Experiments in Online Retail נערך אצל קמעונאי אחד המוכר מעבר לגבולות, ששמו לא פורסם. החלק שעוסק בתיאורי מוצר כולל חמישה ניסויי משנה אקראיים בדצמבר 2023, כל אחד למשך שבוע. השפות היו אנגלית, ספרדית, צרפתית, פורטוגזית וקוריאנית; הן אינן מזהות את מדינות הצרכנים.
הניתוח כולל 4,772,937 תצפיות על צרכנים לאחר שלחצו ונכנסו לעמודי פרטי המוצר שנבחרו. זה אינו מספר הקונים או כלל המבקרים באתר. תיאורי AI נוספו לתיאורים האנושיים הקיימים; כשלא היה טקסט, סופק תיאור. קבוצת הביקורת נשארה במצב המקורי. לא מדובר בהחלפת כתיבה אנושית ב־AI כדי להשוות אותה לכתיבה של מומחה.
לקריאת המחקר והשיטההוצאה לצרכן, לא מספר הזמנות ולא רווח
מדד המכירות בניתוח הזה הוא סך ההוצאה בדולרים על הזמנות מוצרים לכל צרכן. התוספת המוערכת הייתה 0.0104 דולר לצרכן, עם שגיאת תקן של 0.00417 דולר ומובהקות סטטיסטית ברמת p<0.05. בטבלה C5 מופיעה עלייה יחסית של 2.05%, שעוגלה ל־2.1% בטבלה 4.
לכן לא מדובר בעלייה של 2.1 נקודות אחוז בשיעור ההמרה, וגם לא בעלייה זהה במספר ההזמנות, בסכום ההזמנה הממוצע בקרב קונים או ברווח. הצגת השיעור היחסי לצד הסכום המוחלט מונעת רושם מופרז. אין גם בסיס להכפיל את השיעור בהכנסות שנתיות ולקרוא לתוצאה תחזית.
לקריאת המחקר והשיטהחשוב לדעת איזה תוכן היה בעמודים קודם
כמעט מחצית מהמוצרים שהפלטפורמה מוכרת בעצמה ישירות היו ללא תיאור או עם מעט מאוד טקסט. זהו רקע להבנת מצב המידע המקורי, אך אינו מוכיח שהשלמת המידע החסר הייתה המנגנון היחיד שהוביל לתוצאה.
בניסוי באנגלית בלבד הושווה גם האפקט היחסי בין מוצרים עם תיאורים קצרים וארוכים לפני הניסוי. ערך p להבדל היה 0.0536, ולכן לא הגיע לסף המובהקות המקובל של 5%. אין להפוך את הניתוח לטענה שעמודים קצרים תמיד יפיקו תועלת רבה יותר, או לכלל אוניברסלי של מספר מילים.
לקריאת המחקר והשיטהלפני שמזמינים תוכן, מגדירים איזה מידע חסר
השאלה המעשית היא איזה מידע הלקוח צריך כדי להחליט, והאם העסק יכול לאמת אותו. מפרטים, תנאי שימוש והתאמה למוצרים אחרים צריכים להישען על חומרי מוצר אמינים, לא על השלמות סבירות של המודל. יש להגדיר גם את הקוראים, השפה והאחראי לאישור התוכן שיפורסם.
לאחר מכן בוחרים תוצאה עסקית להערכה ובוחנים את עלויות הכנת המידע, בדיקת העובדות, העריכה המקומית, התחזוקה וזכויות השימוש. יצירת טיוטה במהירות אינה מוכיחה שתוכן ראוי לפרסום יעלה פחות. את הכדאיות של עבודה בהיקף מוגדר צריך לבחון לפי התנאים האלה, ולא לפי הבטחה לשחזר את אחוזי המחקר.
ממצא ממוקד, לא הבטחה לצמיחה
המחקר מתייחס לקמעונאי אחד, להקשר של 2023 ולניסויים קצרים. הוא אינו מוכיח גידול בתנועה אורגנית, באזכורי AI, בשולי הרווח או בתשואה לעסקים קטנים, ואינו מבטיח שההשפעה תימשך. המאמר מסתמך על גרסה 6 ב־arXiv, שעודכנה ב־29 ביוני 2026, עם כתב יד מתאריך 30 ביוני. זהו קדם־פרסום, ולא מוצג כאן מחקר שעבר ביקורת עמיתים.
החוקרים ציינו בגילוי הנאות כי Fang ו־Yuan שימשו יועצים לשותף המחקר, ואילו Zhang הוא עובד שלו. כדאי להכיר את הקשרים ולבחון את השיטה והתוצאות יחד, בלי לקבל או לפסול את המחקר על סמך הקשר לבדו. הממצא מצדיק בחינה של איכות מידע המוצר, לא תחזית למכירות של עסק אחר.
לקריאת המחקר והשיטהאפשר לבחון עם MindVerve מידע מוצר שניתן לאמת, קהל יעד וגבולות עבודה במסגרת השירותים הקיימים, בלי להניח אותה עלייה במכירות.
לשירותי תוכן וקמפיינים עם AIמקורות רשמיים
גילוי במחקר: Fang ו־Yuan ייעצו לשותף המחקר, ו־Zhang הוא עובד שלו. המאמר אינו מייצג את החוקרים או הקמעונאי.
לקריאת המחקר והשיטהGenerative AI and Sales Productivity: Field Experiments in Online Retail · Fang, Yuan, Zhang, Donati, Sarvary · arXiv:2510.12049v6CC BY 4.0