Co vám AI ze zákaznických ohlasů skutečně řekne?

Přehledné shrnutí snadno působí jako hotový podklad pro rozhodnutí: zákazníkům vadí doručení, takže máme zdůraznit rychlost. Jenže co když v textech neřeší pomalou přepravu, ale chybějící informaci o termínu? A co když máte jen zprávy od lidí, kteří už nějaký problém řešili?

MindVerve navrhuje postup, který propojuje závěry s původními výroky a vede k dalšímu ověření. Nejde o výsledek našeho experimentu ani o obecné tvrzení, že data vždy rozhodují více než schopnosti modelu.

Začněte rozhodnutím a hranicemi dostupných dat

Místo zadání „zjisti, co zákazníci chtějí“ položte konkrétní otázku, například zda upravit informace o doručení na produktové stránce. Korpus zde znamená jednoduše soubor shromážděných textů. U něj uveďte kanály, období, jazyky, produkty a pravidla vyřazení. Zaznamenejte třeba, zda zahrnuje dotazy před nákupem a zda jste odstranili interní testovací požadavky.

Používejte data, s nimiž smíte pracovat, ve schválených nástrojích. Odstraňte nepotřebné osobní údaje. Jde o praktickou opatrnost, nikoli právní radu.

Statistics Canada upozorňuje, že dobrovolné odpovědi mohou nadměrně zastupovat lidi se silnou motivací se vyjádřit. Pro analýzu ohlasů z toho plyne: počty v požadavcích na podporu nejprve popisují tyto požadavky. Ani jejich náhodný podvýběr nedoplní zákazníky, kteří podporu nekontaktovali. Výběrové zkreslení nemusí odstranit ani kvóty pro určité skupiny. Ohlasy tím neztrácejí hodnotu pro hledání problémů; pouze je nelze bez dalšího zobecnit na všechny zákazníky.

Než spočítáte témata, rozhodněte, co je jedna položka

Jeden člověk může k témuž problému poslat několik zpráv. Počet zpráv, počet celých konverzací a počet různých zákazníků tedy odpovídají na různé otázky. Zvolte jednotku, odstraňte opakovaně importované záznamy a určete, jak zacházet se stejnými zprávami převzatými z více kanálů. Pokud nelze spolehlivě spojit záznamy jedné osoby, nevydávejte výsledek za počet různých lidí.

Každý podíl potřebuje jasný jmenovatel: například všechny zahrnuté konverzace po odstranění duplicit. Jedna konverzace může obsahovat více témat, takže součet jejich výskytů může přesáhnout počet konverzací. Podíl zpráv není podílem zákazníků.

Nedorozumění kolem doručení nemusí znamenat zpoždění

Následuje smyšlený příklad, nikoli skutečný klientský případ nebo výsledek testu. Představme si zprávu: „Objednávku mám zaplacenou, ale nevím, kdy přijde. Stihne to do víkendu?“ Zařadit ji rovnou mezi stížnosti na pomalé doručení by znamenalo doplnit něco, co v textu není.

Pozorování: autor nezná termín a žádá o upřesnění. Téma: nejasná informace o doručení. Hypotéza: informace po objednání nemusí vytvářet dostatečně konkrétní očekávání. Další ověření: člověk odpovědný za obsah e-shopu zkontroluje tehdejší produktovou stránku a potvrzení objednávky a porovná je s dostupnými záznamy o doručení a doplňujícím rozhovorem.

Zprávu o skutečném překročení slíbeného termínu ponechte jako jiný důkaz. Oba problémy mohou existovat současně. Teprve další ověření pomůže určit, zda řešit texty, doručování, nebo obojí. K tvrzení, že některý z problémů způsobuje odchody zákazníků, potřebujete další důkazy o příčinné souvislosti.

Oddělte hledání témat, kontrolu a počítání četnosti

Při průzkumném čtení nechte AI navrhnout témata a poté nad původními texty vyjasněte jejich význam a hranice. Google doporučuje u textové klasifikace ručně číst příklady, ověřovat štítky a popsat počty, délky textů i zastoupení tříd. Jeho návod se týká učení s učitelem, při němž se model učí z příkladů s předem určenou kategorií. Nejde o srovnání současných generativních modelů.

Pro kontrolu připravte záměrně pestrou sadu: různé kanály, jazyky, období, krátké i dlouhé zprávy, nejasná vyjádření, několik problémů najednou a vzácné závažné případy. Ke každému uložte lidské posouzení s odůvodněním. Tato sada prověřuje různé situace, nemá napodobovat jejich běžné zastoupení.

Četnost počítejte v samostatně vymezených datech se známým způsobem výběru, případně v celém cílovém souboru. Zastoupení témat uměle nevyrovnávejte. Vzácné případy přidané do kontrolní sady by jinak zkreslily výsledný podíl. Doporučení Googlu k pokrytí možných vstupů pomáhá navrhnout kontrolu, nedokládá reprezentativnost vašich ohlasů. Ani úspěšná kontrola vzorku nezaručuje správnost každého záznamu.

Uchovejte původní výrok i prostor pro nesouhlas

Ke každé položce zachovejte identifikátor zdroje a přesný úryvek, který podporuje zařazení. Ověřte okolní kontext; citaci z rozhovoru porovnejte s nahrávkou nebo ověřeným záznamem. Překlad a parafrázi od AI označte, nevydávejte je v uvozovkách za původní slova zákazníka.

Government Digital Service ve svém návodu k analýze uživatelského výzkumu rozlišuje pozorování, zjištění a navazující kroky a doporučuje zapojit více lidí. Tento princip přenášíme do práce s AI; původní návod není ověřením automatické klasifikace.

Při neshodě kontrolujících nejprve vyjasněte kategorie. Odpovědný hodnotitel pak rozhodne podle podkladů, nebo ponechá „nelze určit“. Ojedinělou vážnou stížnost či zkušenost odporující většině nemažte jen kvůli nízkému počtu.

Četnost slov ani pozitivní či negativní tón samy nevyjadřují záměr. Anthropic ve svém návodu pro směrování požadavků na podporu popisuje potíže se skrytými požadavky, emocemi a více problémy v jedné zprávě. Jde o podklad dodavatele pro podporu, nikoli nezávislé marketingové srovnání. Pro tematickou analýzu z něj také neplyne povinnost určit vždy jediný hlavní záměr.

Závěr předávejte spolu s podklady a dalším úkolem

Pro každé téma můžete zkopírovat a vyplnit tento záznam. Pomůže kolegům rozpoznat, co už víte a co teprve potřebujete zjistit.

1. Téma: co zahrnuje a od kterých podobných problémů se liší.
2. Počítaná jednotka a jmenovatel: zda počítáte zprávy, konverzace, nebo zákazníky; počet položek s daným tématem, celkový počet zahrnutých položek a pravidla pro duplicity i více témat.
3. Rozsah souboru: kanály, období, jazyky, produkty, podmínky zahrnutí a vyřazení.
4. Podklady: identifikátory zdrojů a ověřené úryvky s označením překladů a parafrází.
5. Protikladné a nejasné doklady: výjimky, neshody hodnotitelů i vzácné případy s vážným dopadem.
6. Další ověření a odpovědná osoba: otázka, potřebné údaje a konkrétní člověk, který šetření povede.

Místo debaty nad samotným shrnutím tak máte podklad pro rozhodnutí, zda doplnit rozhovory, prověřit provozní záznamy nebo navrhnout změnu sdělení.

Schopnější model zkoušejte na chybách, které skutečně zůstaly

Pokud model i s dostatečným kontextem, který mu smíte poskytnout, a jasnými kategoriemi opakovaně chybně vykládá nepřímé žádosti nebo záporná vyjádření, má smysl vyzkoušet schopnější model. Neshodnou-li se na kategoriích lidé, nejprve zpřesněte jejich definice.

Použijte stejné pestré případy odložené mimo průběžné ladění a porovnejte výsledky s lidským posouzením. Sledujte druhy chyb, věrnost zdrojům, práci s nejasností, celkový čas kontroly a oprav, odezvu a náklady. Obecný žebříček modelů toto ověření nenahradí. Anthropic rovněž popisuje výběr jako hledání přijatelného poměru kvality, nákladů a odezvy; neznamená to však záruku lepších výsledků při analýze vašich dat.

Pilot vymezte jako jeden konkrétní pracovní postup

AI Workflow Launch pomáhá nastavit jeden vymezený postup pro výzkum, tvorbu reportů nebo obsahu. Zahrnuje výběr nástrojů v daném rozsahu, testy typických i problémových případů, opakovaně použitelná zadání a prompty, dokumentaci, školení a předání. Licence, spotřeba API a další integrace nejsou zahrnuty; průběžná podpora a údržba se řeší zvlášť. Pokud zatím není jasný úkol, data nebo hodnoticí kritéria, AI Opportunity Sprint pomůže nejprve určit priority a rozsah.