Fra kundefeedback til marketingbeslutning med AI

Når en AI-model samler mange kundekommentarer i få temaer, bliver materialet lettere at overskue. Det er et godt udgangspunkt for at undersøge indvendinger, uklar information eller behov for nyt indhold. Men en overbevisende opsummering kan få en foreløbig fortolkning til at ligne et sikkert svar.

Begynd derfor med et konkret valg: Skal I forbedre leveringsinformationen på en produktside, eller vil I vide, hvor udbredt utilfredshed med levering er i hele kundebasen? De to spørgsmål kræver ikke samme grundlag. Her er MindVerves forslag til en afgrænset arbejdsgang, ikke en metode med dokumenterede resultater fra et forsøg.

Se først på forskellen mellem udsagnet og forklaringen

Forestil jer denne opdigtede kundekommentar: Pakken kom fredag, men kunden vidste ikke på forhånd, hvilken dag den ville komme. Observationen er, at kunden beskriver en bestemt ankomstdag og manglende information. Temaet kan være uklar leveringsinformation. Vi ved endnu ikke, om leveringen var forsinket.

En mulig hypotese er, at beskederne efter købet ikke giver kunden tilstrækkelig klarhed. Den næste undersøgelse er at lade den ansvarlige for kunderejsen sammenholde leveringsløftet, den faktiske levering og de beskeder, kunden modtog. Hvis andre kommentarer beskriver overskredne leveringsfrister, skal de registreres særskilt. En kommentar kan understøtte begge temaer, men det skal teksten give belæg for.

Denne opdeling i observation, tema, hypotese og næste kontrol holder analysen åben. GDS anbefaler i sin vejledning til brugerundersøgelser udført af mennesker, at observationer bevares og adskilles fra konklusioner og handlinger. Vi anvender princippet i et AI-understøttet forløb, men vejledningen dokumenterer ikke kvaliteten af en AI-analyse.

Beskriv de kunder og kommentarer, I faktisk har adgang til

Saml en kort beskrivelse af jeres korpus, altså den samling tekster, der indgår i analysen. Angiv kanaler, periode, sprog, produkter og fravalg. Brug kun data, I må anvende, i godkendte værktøjer, og fjern personoplysninger, som opgaven ikke kræver. Det er en praktisk forholdsregel, ikke juridisk rådgivning.

En anmeldelse eller en supporthenvendelse kommer fra nogen, der har valgt at ytre sig. Statistics Canadas vejledning om ikke-sandsynlighedsbaserede stikprøver beskriver, hvorfor man skal være varsom med at generalisere fra den slags udvælgelse. Særligt motiverede personer kan fylde mere. I denne sammenhæng betyder det, at en optælling først og fremmest beskriver det indsamlede materiale. I kan trække supportsager tilfældigt blandt de tilgængelige sager, men det bringer ikke erfaringer fra kunder, der aldrig kontakter support, ind i materialet.

Afklar også, hvad én observation i optællingen er. En kunde kan skrive flere beskeder i samme samtale, og samme tekst kan være indlæst flere gange. Håndtér dubletter, og vælg mellem beskeder, samtaler og unikke kunder som tælleenhed. Et temas antal skal ledsages af den relevante nævner, eksempelvis alle inkluderede samtaler. Hvis hver samtale må have flere temaer, behøver temaernes andele ikke at give hundrede procent tilsammen.

Hold opdagelse, kvalitetskontrol og optælling adskilt

I den udforskende fase læser I materiale og lader AI foreslå temaer. Læs selv eksemplerne, og skriv en forståelig definition af hver kategori. Googles vejledninger om superviseret tekstklassifikation peger på betydningen af datakvalitet, dækning af forskellige input og manuel kontrol af kategorier. De handler om superviseret læring, ikke om, hvilken generativ model der er bedst i dag.

Lav derefter et særskilt sæt kontroltekster med menneskelige vurderinger. Vælg bevidst forskellige kanaler og sprog, korte og lange tekster samt hyppige, sjældne og uklare tilfælde. Tag kommentarer med flere emner med. Formålet er at udfordre modellens læsning, så det er fornuftigt at give svære tilfælde ekstra plads.

Den fordeling må ikke forveksles med den faktiske fordeling i materialet. Et afbalanceret kontrolsæt eller træningssæt er ikke grundlag for at anslå temaernes hyppighed. Foretag den optælling på et særskilt defineret datagrundlag, og beskriv fortsat, hvem og hvad det omfatter.

Er to læsere uenige, skal uenigheden undersøges. Måske overlapper kategorierne, eller måske siger teksten for lidt. Lad en ansvarlig faglig bedømmer afgøre sagen eller bevare den som uafklaret. En sjælden klage med mulig stor betydning skal stadig være synlig, selv om den ikke påvirker rækkefølgen af de mest almindelige temaer.

Gør hvert tema efterprøveligt

Gem kildens oprindelige ID og et præcist tekstuddrag som belæg. Kontrollér uddraget mod originalen, og mærk oversættelser og AI-omskrivninger som netop det. De må ikke fremstå som kundens oprindelige ord. Bevar også udsagn, der modsiger den foreslåede fortolkning.

En simpel ordtælling fortæller, hvilke ord der optræder. En vurdering af positiv eller negativ tone fortæller heller ikke nødvendigvis, hvad kunden beder om. Anthropics leverandørvejledning om fordeling af supportsager beskriver blandt andet indirekte ønsker og forskellen mellem følelse og hensigt. Det er nyttige opmærksomhedspunkter, men ikke et uafhængigt benchmark for marketinganalyse. Vil I udpege en årsag til kundefrafald, kræver det yderligere dokumentation.

I kan kopiere denne liste til hver konklusion, der skal med på marketingmødet:

1. Tema: definition og afgrænsning.
2. Tælleenhed og nævner: hvad der tælles, hvor mange fund der er, og hvilket samlet antal de sættes i forhold til.
3. Datagrundlag: kanaler, periode, sprog, produkter og udeladelser.
4. Kilde-ID'er og kontrollerede uddrag: markér oversættelser og omskrivninger.
5. Modstridende eller uklare udsagn: medtag også sjældne, alvorlige problemer.
6. Næste undersøgelse og ansvarlig: spørgsmålet, der skal afklares, før en handling vælges.

Hvornår er en anden model værd at afprøve?

Hvis modellen stadig misforstår bestemte tekster, selv om kategorierne er klare, og den har de nødvendige baggrundsoplysninger, som den må bruge, kan en mere kapabel model være relevant. Hvis mennesker er uenige om, hvad kategorierne betyder, skal den uklarhed løses først.

Prøv modellerne på de samme varierede kontroltilfælde med menneskelige referencevurderinger. Hold disse tilfælde uden for arbejdet med at udvikle instruktionerne. Sammenlign fejltyper, trofasthed mod kilderne, håndtering af tvivl og den samlede tid til gennemgang og rettelser. Se også på svartid og omkostninger. Det er jeres opgave, der skal være målestokken, ikke en generel rangliste. En stikprøvekontrol er ikke en garanti for alle tekster.

Når opgaven er klar, kan AI Workflow Launch sætte ét defineret arbejdsflow op med værktøjsvalg inden for opgaven, test af typiske tilfælde og fejlsituationer, genbrugelige instruktioner, dokumentation, oplæring og overdragelse. Licenser, API-forbrug og yderligere integrationer er ikke inkluderet; løbende support og vedligehold aftales særskilt. Er data, prioritet eller vurderingskriterier endnu uklare, kan AI Opportunity Sprint hjælpe med at afgrænse en relevant pilot.