선정된 상품 상세 페이지를 방문한 소비자를 대상으로 했다
연구 ‘Generative AI and Sales Productivity: Field Experiments in Online Retail’은 이름이 공개되지 않은 국경 간 판매 소매업체 한 곳에서 진행됐습니다. 상품 설명에 관한 무작위 하위 실험은 다섯 개이며, 2023년 12월에 각각 일주일 동안 실시됐습니다. 영어·스페인어·프랑스어·포르투갈어·한국어가 포함되지만, 이 언어들을 소비자의 거주 국가와 같다고 볼 수는 없습니다.
분석에는 선정된 상품 상세 페이지를 클릭해 들어온 소비자 관측치 4,772,937건이 포함됩니다. 구매자 수나 사이트 전체 방문자 수가 아닙니다. 기존에 사람이 쓴 설명이 있으면 그 설명에 AI 설명을 추가했고, 설명이 없으면 새로 제공했습니다. 대조군은 기존 상태를 유지했습니다. 사람의 설명을 AI로 대체해 전문가 문구와 우열을 겨룬 실험은 아닙니다.
연구 원문과 방법 읽기주문 수가 아니라 소비자 한 명당 주문 지출이다
해당 분석에서 판매 지표는 소비자 한 명이 상품 주문에 지출한 총액이며 단위는 미국 달러입니다. 추정 증가액은 소비자당 0.0104달러, 표준오차는 0.00417달러이고 p<0.05 수준에서 통계적으로 유의했습니다. 부록 표 C5의 상대 증가율 2.05%를 표 4에서는 2.1%로 반올림합니다.
따라서 주문 수가 2.1% 늘었다거나, 구매자들의 평균 주문 금액 또는 이익이 그만큼 증가했다는 뜻이 아닙니다. 전환율이 2.1%포인트 높아졌다는 의미도 아닙니다. 상대 비율과 절대 금액을 함께 봐야 결과의 규모를 오해하지 않습니다. 이 숫자를 연간 매출에 그대로 적용할 근거도 실험에는 없습니다.
연구 원문과 방법 읽기기존 상품 정보가 얼마나 부족했는지도 중요하다
플랫폼이 직접 판매하는 상품 중 거의 절반은 설명이 없거나 매우 짧았습니다. 기존 정보의 상태를 이해하는 배경이지만, 정보 부족을 채운 것이 효과의 유일한 원인이라고 입증된 것은 아닙니다.
영어 실험에서는 기존 설명이 짧은 집단과 긴 집단의 상대 효과 차이도 살폈습니다. 그 차이의 p값은 0.0536으로, 통상적인 5% 유의수준을 충족하지 못했습니다. 짧은 설명에 집중하면 반드시 더 큰 효과가 난다거나 특정 단어 수를 기준으로 삼아야 한다는 결론은 피해야 합니다.
연구 원문과 방법 읽기발주 전에 보완할 정보와 책임 범위를 정하자
실무에서는 상품 페이지에 고객의 판단을 돕는 어떤 정보가 빠져 있는지부터 확인하는 편이 유용합니다. 사양, 사용 조건, 호환 범위 같은 내용은 검증 가능한 제품 자료에서 가져와야 합니다. 자연스러운 문장을 생성하는 능력이 사실의 정확성을 보장하지는 않습니다. 대상 독자와 언어, 공개 문구를 승인할 담당자도 정해야 합니다.
그다음 개선하려는 사업 지표를 명확히 하고 자료 정리, 사실 검토, 현지 언어 편집, 유지 관리, 이용 권리 확인에 드는 비용을 함께 검토합니다. 초안을 빨리 만드는 것과 게시 가능한 콘텐츠를 경제적으로 제공하는 것은 다른 문제입니다. 범위를 정한 콘텐츠 작업의 가치는 이런 조건에서 판단해야지 연구의 증가율을 재현하겠다는 약속으로 판단할 수는 없습니다.
한 업체의 짧은 실험은 성장 보증이 아니다
결과는 한 업체, 2023년의 환경, 짧은 실험 기간에 한정됩니다. 장기 효과나 SEO 유입, AI 인용, 수익성, 중소기업의 투자수익률을 측정하지 않았습니다. 이 글은 2026년 6월 29일 수정된 arXiv 6판을 참고하며 원고 날짜는 6월 30일입니다. 프리프린트이므로 동료심사를 거친 논문이라고 소개하지 않습니다.
연구의 이해관계 공개에 따르면 Fang과 Yuan은 협력업체에 자문했고 Zhang은 해당 업체 직원이었습니다. 이 관계를 알고 방법과 결과를 함께 읽을 필요가 있습니다. 연구는 상품 정보 개선을 검토할 근거가 될 수 있지만, 다른 사업에서도 같은 증가율을 얻는다는 증거는 아닙니다.
연구 원문과 방법 읽기상품 정보와 콘텐츠 작업의 범위를 정하려면 MindVerve의 기존 서비스를 살펴보세요. 검증 가능한 자료와 대상 독자부터 논의하며 동일한 매출 증가를 전제하지 않습니다.
AI 콘텐츠·캠페인 서비스 살펴보기공식 출처
연구 공개 사항: Fang과 Yuan은 협력업체에 자문했으며 Zhang은 해당 업체 직원입니다. 이 글은 연구진이나 소매업체를 대리하지 않습니다.
연구 원문과 방법 읽기Generative AI and Sales Productivity: Field Experiments in Online Retail · Fang, Yuan, Zhang, Donati, Sarvary · arXiv:2510.12049v6CC BY 4.0