Czego chcą klienci? Jak czytać analizę opinii przygotowaną przez AI

AI może uporządkować opinie, zgłoszenia do obsługi i wywiady oraz wskazać powtarzające się potrzeby. Sama synteza nie odpowie jednak na pytanie, czego chcą wszyscy klienci. Opisuje przede wszystkim wypowiedzi, które znalazły się w analizie. To nadal cenny materiał dla marketingu, jeśli wnioski można sprawdzić i wiadomo, jaką decyzję mają wspierać.

Proponujemy sposób pracy, który prowadzi od konkretnego pytania przez źródła do dalszego badania. Jest to propozycja MindVerve, a nie wynik przeprowadzonego eksperymentu. Nie oznacza to też, że starannie przygotowane dane zawsze zrekompensują ograniczenia słabszego modelu.

Najpierw ustal, co chcesz zmienić i czyje wypowiedzi analizujesz

Pytanie „Jakich informacji brakuje na stronie produktu?” pozwala szukać konkretnych niejasności. Nawet pojedyncza, dobrze udokumentowana wypowiedź może podsunąć kierunek sprawdzenia. Pytanie „Jaka część klientów ma ten problem?” wymaga natomiast podstaw do oszacowania jego rozpowszechnienia. Nie wystarczy podzielić liczby wzmianek przez liczbę tekstów i zmienić nazwę wyniku na odsetek klientów.

Opisz korpus, czyli zbiór tekstów wybranych do analizy. Wskaż kanały, okres, języki, produkty i wyłączenia. Zaznacz też luki: brak opinii z jednego kanału lub wypowiedzi w danym języku ogranicza zakres odpowiedzi. Korzystaj wyłącznie z danych, których użycie w tym celu jest dozwolone, oraz z zatwierdzonych narzędzi. Usuń zbędne dane osobowe. To praktyczna ostrożność, nie porada prawna.

Statistics Canada wyjaśnia, że dobrowolne uczestnictwo może nadmiernie uwzględniać osoby szczególnie zmotywowane do zabrania głosu. W analizie marketingowej oznacza to, że zgłoszenia opisują najpierw osoby, które napisały. Losowe wybranie części zgłoszeń nie usuwa wcześniejszej selekcji: nie każdy klient kontaktuje się z obsługą. Nie odbiera to wypowiedziom wartości jakościowej, ale ogranicza uogólnienia.

Policz wiadomości, rozmowy albo klientów — świadomie

Wybierz jednostkę liczenia przed rozpoczęciem analizy. Jedna osoba może wysłać kilka wiadomości w tej samej sprawie. Możesz liczyć wiadomości, całe rozmowy albo unikalnych klientów, o ile potrafisz ich wiarygodnie rozpoznać. Nie przedstawiaj liczby wiadomości jako liczby osób. Ustal i zapisz zasady wykrywania oraz usuwania lub oznaczania duplikatów.

Przy każdym wyniku podaj mianownik, czyli liczbę wszystkich jednostek, do których odnosisz wynik. Może to być liczba rozmów z danym tematem wśród wszystkich przeanalizowanych rozmów. Jedna rozmowa może poruszać kilka tematów, więc ich udziały nie muszą sumować się do stu procent. Poprawne liczenie nie naprawia sposobu doboru tekstów.

Spóźniona dostawa i niejasna informacja to dwa różne tropy

Rozważmy całkowicie fikcyjny przykład. W jednej opinii czytamy: „Paczka dotarła w zapowiedzianym dniu, ale nie wiedziałem, o której mam być w domu”. Druga osoba opisuje dostawę po obiecanym terminie. W obu wypowiedziach pojawia się dostawa, lecz samo wspólne słowo nie wyjaśnia problemu.

W pierwszej wypowiedzi obserwacja brzmi: zapowiedziany dzień został dotrzymany, ale przedział godzinowy nie był dla klienta jasny. Tematem jest czytelność informacji o dostawie. Hipoteza: wiadomości dotyczące zamówienia nie wyjaśniają dostatecznie, kiedy pojawi się dokładniejsza informacja o godzinie. Następny krok należy do osoby odpowiedzialnej za doświadczenie klienta: sprawdzić wysłane wiadomości i ustalić, jakie informacje były wtedy dostępne.

Druga wypowiedź pozostaje świadectwem opóźnienia, nawet jeśli jest odosobniona. Rzadkie zgłoszenie poważnego problemu może wymagać osobnego sprawdzenia. Zliczanie słów i ocena pozytywnego lub negatywnego tonu nie zastępują odczytania intencji. Nie dowodzą też, dlaczego klient zrezygnował z usługi; twierdzenie o przyczynie wymaga dodatkowych dowodów.

Oddziel odkrywanie tematów od kontroli i pomiaru częstości

Zacznij od samodzielnej lektury różnych wypowiedzi. AI może zaproponować grupy, ale na tym etapie są one robocze. Zdefiniuj każdą kategorię: co do niej należy, gdzie przebiega granica i kiedy przypisać kilka tematów. Nie wyprowadzaj intencji wyłącznie z emocjonalnego tonu — zdenerwowana osoba może prosić o wyjaśnienie, a nie o zwrot pieniędzy.

Dokumentacja Anthropic dotycząca kierowania zgłoszeń wskazuje między innymi na prośby wyrażone nie wprost i kilka problemów w jednej wiadomości. To wskazówki dostawcy dla obsługi klienta, nie niezależny test marketingowy. W analizie tematów nie trzeba przejmować zasady przypisywania tylko jednej głównej intencji.

Osobno przygotuj zróżnicowany zestaw kontrolny oceniony przez ludzi. Uwzględnij różne kanały, języki i długości tekstów, tematy częste i rzadkie, przypadki mieszane oraz niejednoznaczne. Materiały Google o nadzorowanej klasyfikacji tekstu zalecają odpowiednie pokrycie możliwych danych wejściowych oraz ręczną lekturę przykładów i sprawdzenie etykiet. Wykorzystujemy te zasady w naszej propozycji kontroli, nie jako dowód skuteczności konkretnego modelu generatywnego.

Rozdziel zatem materiał do odkrywania tematów, zestaw kontrolny i zbiór służący do liczenia częstości. Celowe zwiększenie udziału rzadkich przypadków pomaga je sprawdzić. Ich odsetek w teście nie pokazuje jednak, jak często występują w zbiorze służącym do liczenia. Gdy oceniający się różnią, wyjaśnij definicję albo pozostaw wynik jako nierozstrzygnięty. Kontrola próby nie gwarantuje poprawnego odczytania każdego pozostałego tekstu.

Zapisuj wynik tak, aby można było wrócić do źródła

Zachowaj oryginalny identyfikator źródła i dokładny fragment uzasadniający przypisanie tematu. Cytaty sprawdzaj w oryginale; przy analizie wywiadu w razie potrzeby wróć do nagrania. Tłumaczenia i parafrazy AI oznaczaj oddzielnie; nie przedstawiaj ich jako dosłownych słów klienta.

Poradnik GDS dotyczący badań z użytkownikami rozróżnia obserwacje, ustalenia i działania oraz zaleca udział kilku osób w analizie. Stosujemy tę zasadę również w pracy z AI, choć poradnik nie potwierdza poprawności automatycznej analizy. Poniższą kartę wyniku można skopiować i uzupełnić przed spotkaniem zespołu:

1. Temat: zrozumiała nazwa i granice kategorii.
2. Liczenie: jednostka, zaobserwowana liczba przypadków i mianownik.
3. Zakres zbioru: kanały, okres, języki, produkty i wyłączenia.
4. Źródła: oryginalne identyfikatory oraz sprawdzone fragmenty; osobne oznaczenie tłumaczeń.
5. Dowody przeciwne i wątpliwości: wypowiedzi sprzeczne, niejednoznaczne oraz rzadkie przypadki o potencjalnie dużym znaczeniu.
6. Dalsze badanie: pytanie do sprawdzenia, planowany krok i osoba odpowiedzialna.

Nie wygładzaj rozbieżności tylko po to, aby podsumowanie było krótsze. To właśnie odmienna wypowiedź może ujawnić, że pozornie jednolity temat obejmuje dwa problemy wymagające różnych działań.

Mocniejszy model sprawdzaj wtedy, gdy znasz pozostałe błędy

Jeżeli mimo jasnych kategorii i wystarczającego, dozwolonego kontekstu model nadal popełnia konkretne błędy odczytania, warto rozważyć próbę z modelem o większych możliwościach. Najpierw upewnij się jednak, że ludzie tak samo rozumieją kategorie. Rozbieżności definicji nie należy automatycznie uznawać za słabość modelu.

Porównaj modele na tym samym zróżnicowanym zestawie przypadków, niewykorzystanym wcześniej do dopracowania instrukcji. Punktem odniesienia niech będą oceny osób, które sprawdziły te teksty. Sprawdź rodzaje błędów, wierność źródłom, traktowanie niejednoznaczności, łączny czas kontroli i poprawek, czas odpowiedzi oraz koszty. Ogólny ranking tego nie zastąpi. Nawet lepszy odczyt tekstu nie usuwa luk w doborze klientów, których wypowiedzi analizujesz.

AI Workflow Launch obejmuje konfigurację jednego określonego procesu badawczego, raportowego lub tworzenia treści: dobór narzędzi w uzgodnionym zakresie, testy typowych i problematycznych przypadków, briefy i prompty do ponownego użycia, dokumentację, szkolenie i przekazanie procesu zespołowi. Licencje, korzystanie z API i dodatkowe integracje są wyłączone; stałe wsparcie i utrzymanie wymagają osobnych ustaleń. Jeśli zadanie, dane lub kryteria oceny nie są jeszcze gotowe, AI Opportunity Sprint pomaga ustalić priorytety i zakres.