Co obejmował eksperyment
W grudniu 2023 r. przeprowadzono pięć eksperymentów cząstkowych z losowym przydziałem, każdy trwający tydzień. Partnerem był jeden nieujawniony sprzedawca prowadzący handel transgraniczny. Opisy przygotowano po angielsku, hiszpańsku, francusku, portugalsku i koreańsku. Języki nie wskazują, z jakich krajów pochodzili uczestnicy.
Analiza obejmuje 4 772 937 obserwacji konsumentów po kliknięciu wybranych stron ze szczegółami produktów. Nie są to wyłącznie kupujący ani wszyscy odwiedzający sklep. Opisy AI dodawano do istniejących tekstów napisanych przez człowieka, a tam, gdzie tekstu brakowało, dostarczały opis. W grupie kontrolnej pozostawiono stan początkowy. Nie zastępowano więc ludzkich opisów tekstem AI.
Przeczytaj badanie i tabeleWydatki, a nie liczba zamówień
Zmienna określona w artykule jako sprzedaż oznacza łączną kwotę wydaną na zamówienia produktów, wyrażoną w dolarach amerykańskich na konsumenta. Oszacowany wzrost bezwzględny wyniósł 0,0104 USD na konsumenta. Tabela C5 podaje względny efekt 2,05%, zaokrąglony w tabeli 4 do 2,1%.
Nie oznacza to potwierdzonego wzrostu liczby zamówień o 2,1% ani poprawy konwersji o 2,1 punktu procentowego. Nie jest też miarą zysku, marży czy rocznego przychodu. Wynik jest istotny statystycznie na poziomie 5%, lecz ta informacja nie gwarantuje podobnego rezultatu w innym sklepie.
Przeczytaj badanie i tabelePunkt wyjścia nie był obojętny
Prawie połowa produktów sprzedawanych bezpośrednio przez platformę nie miała opisów lub zawierała tylko minimalną ilość tekstu. Badania nie należy więc odczytywać jako ogólnego zwycięstwa AI nad kompletnymi, starannie napisanymi opisami autorstwa człowieka. W istotnej części porównania uzupełniano strony ubogie w informacje.
Dla języka angielskiego autorzy przeanalizowali również osobno krótkie i długie wcześniejsze opisy. Różnica względnych efektów między tymi podgrupami nie osiąga standardowego poziomu istotności 5%. Nie uzasadnia uniwersalnego limitu słów ani twierdzenia, że zawsze najlepiej inwestować w najkrótsze opisy.
Przeczytaj badanie i tabeleJaką decyzję podjąć przed zleceniem treści
Najpierw ustal, na jakie pytanie kupującego karta produktu nie odpowiada. Sprawdź dostępność wiarygodnych danych, odbiorców tekstu oraz osobę odpowiedzialną za zatwierdzanie twierdzeń o produkcie. Łatwość generowania treści nie zastępuje tych ustaleń. To luka informacyjna, a nie sama długość opisu, powinna być przedmiotem rozmowy.
Następnie określ istotny wynik biznesowy i pełne koszty przygotowania, sprawdzania oraz utrzymania treści. Wyjaśnij również prawa do materiałów. Tak można wyznaczyć realny zakres prac. Połączenia z katalogiem, eksperymenty i automatyczna publikacja nie są domyślnie częścią usługi tylko dlatego, że wykorzystuje ona AI.
Wynik z kontekstem, nie obietnica
Wersja v6 została zaktualizowana w czerwcu 2026 r. i pozostaje preprintem. Krótkie testy z 2023 r. dotyczą jednego sprzedawcy, a nie porównania obecnych modeli. Nie mierzą pozycji SEO, cytowań w odpowiedziach asystentów AI ani zwrotu z inwestycji małej firmy.
Badanie zachęca do przyjrzenia się rzeczywistym brakom informacji. Nie pozwala obiecać identycznego wzrostu lub przemnożyć tego odsetka przez roczny przychód innego przedsiębiorstwa. Własne założenia trzeba oceniać oddzielnie.
Przeczytaj badanie i tabeleMożemy określić zakres zlecenia, źródła i kryteria oceny w ramach naszych istniejących usług contentowych.
Porozmawiajmy o treściach produktowychOficjalne źródła
Autorzy ujawniają, że Fang i Yuan świadczyli usługi doradcze dla partnera handlowego, a Zhang był jego pracownikiem.
Przeczytaj badanie i tabeleGenerative AI and Sales Productivity: Field Experiments in Online Retail · Fang, Yuan, Zhang, Donati, Sarvary · arXiv:2510.12049v6CC BY 4.0