实验针对已进入指定商品页的消费者
研究《Generative AI and Sales Productivity: Field Experiments in Online Retail》在一家未具名跨境零售商开展。商品描述部分包括五个随机子实验,均在 2023 年 12 月进行,每个持续一周,涉及英语、西班牙语、法语、葡萄牙语和韩语。语言不能直接对应消费者所在国家,本次分析并未确定这些国家。
分析包含 4,772,937 条消费者观察记录,范围是点击进入选定商品详情页后的消费者,并非全部网站访客,更不是同等数量的购买者。实验在原有人工描述之外添加 AI 描述;原本没有文本时则提供描述。对照组保留原来的状态,并不是把人工描述换成 AI 后与专家文案对比。它也不是对今天模型能力的评测。
阅读研究原文与方法2.1% 指人均订单支出,不是订单量
论文把这一结果中的销售指标定义为每位消费者用于商品订单的总支出,单位为美元。估计增加值为每位消费者 0.0104 美元,标准误为 0.00417 美元,统计显著性达到 p<0.05。附表 C5 报告相对增幅 2.05%,表 4 将其四舍五入为 2.1%。
因此,这不是转化率提高 2.1 个百分点,也不是订单数、购买者平均客单价或利润增加 2.1%。相对增幅与绝对金额回答不同的问题,应该放在一起看。将实验结果直接乘到全年营收上,还需要本文没有提供的外推依据。
阅读研究原文与方法先看原来的商品信息是否完整
平台直接销售的商品中,接近一半原本没有描述,或文字非常少。它提供了理解原有信息条件的背景,但不能据此认定信息缺失就是效果产生的唯一机制。
英语实验还比较了原描述较短与较长的子组,其相对效果差异的 p 值为 0.0536,没有达到常用的 5% 显著性阈值。不能把这一分析改写成“短描述一定获益更多”,更不应据此设定通用的字数门槛。
阅读研究原文与方法投入前,先明确需要补足哪类信息
对于业务负责人,更有用的问题是:现有商品页缺少哪些消费者真正需要、且企业能够核实的信息?规格、使用条件、兼容性或保养说明,都必须来自可靠的产品资料,而不是由模型猜测。还应确认目标读者、适用语言以及谁负责批准公开内容。
随后再明确希望改善的业务指标,并把资料整理、事实核查、当地语言编辑、维护和使用权成本纳入评估。能够更快生成文本,不等于能够更便宜地交付可信文案。是否值得开展限定范围的内容项目,需要结合这些条件判断,而不是要求供应商复制研究中的百分比。
短期单一商家的证据,不是增长承诺
这项研究来自一个商家、一个历史场景和短期试验。它没有证明 SEO 流量、AI 引用、利润率或中小企业投资回报会提高,也不能说明长期效果会保持不变。文章依据 arXiv 第 6 版,该版本于 2026 年 6 月 29 日修订,稿件日期为 6 月 30 日;它是预印本,不应被描述为已经同行评审。
研究披露 Fang 和 Yuan 曾为合作方提供咨询,Zhang 是合作方员工。这些关系值得读者了解,但不能单凭它们接受或否定结果。最稳妥的使用方式,是将研究视为值得进一步评估商品信息质量的证据,同时保留其样本、指标和时间边界。
阅读研究原文与方法需要评估商品信息与内容工作的边界?了解 MindVerve 现有内容服务,讨论可核实的资料、目标读者和交付范围,不预设相同的销售增幅。
了解 AI 内容与营销服务官方来源
研究披露:Fang、Yuan 曾为合作方提供咨询;Zhang 为其员工。本文不代表研究方或零售商。
阅读研究原文与方法Generative AI and Sales Productivity: Field Experiments in Online Retail · Fang, Yuan, Zhang, Donati, Sarvary · arXiv:2510.12049v6CC BY 4.0