Hva forteller kundetilbakemeldingene når KI oppsummerer?

Tilbakemeldinger ligger gjerne spredt mellom kundeservice, omtalesider og intervjunotater. KI kan hjelpe markedsavdelingen med å samle trådene: Hvilke spørsmål går igjen? Hva virker uklart? Hvilke innvendinger bør innholdet møte? Nytten avhenger likevel av at dere vet hva teksten faktisk gir grunnlag for å si.

Vi foreslår en arbeidsmåte som gjør det mulig å kontrollere veien fra kommentar til beslutning. Dette er MindVerves metodiske anbefaling, ikke et rapportert forsøk eller en påstand om at datakvalitet alltid er viktigere enn modellens kapasitet.

Avklar hvilken beslutning materialet skal støtte

Skal dere finne ubesvarte spørsmål til en produktside, eller beregne hvor mange kunder som opplever et problem? Det første er en utforskende oppgave. Det andre krever at datagrunnlaget egner seg for å anslå utbredelse. Skriv ned beslutningen, slik at en nyttig samling innspill ikke blir brukt som en undersøkelse av hele kundebasen.

Beskriv deretter korpuset, altså tekstene dere har samlet inn: kanaler, tidsrom, språk, produkter og utelatelser. Bruk bare data dere har tillatelse til å bruke, i godkjente verktøy. Fjern personopplysninger som ikke er nødvendige for oppgaven. Dette er praktisk aktsomhet, ikke juridisk veiledning.

Statistics Canadas veiledning om ikke-sannsynlighetsutvalg forklarer at generalisering fra slike utvalg krever sterke forutsetninger. Personer som frivillig svarer, kan være særlig motiverte. For kundetilbakemeldinger betyr det at en analyse av supportsaker først og fremst forteller om dem som kontaktet support. Et tilfeldig utvalg av sakene opphever ikke denne opprinnelige utvelgelsen. Materialet kan fortsatt avdekke viktige problemer, selv om det ikke beskriver alle kundene.

Bestem hva et tema og en telling skal bety

Les et utvalg kommentarer selv før dere ber modellen foreslå kategorier. Bruk først forslagene til å oppdage mulige temaer. Avklar så grensene: Hva regnes som et spørsmål om leveringstid, og hva gjelder informasjonen om leveringen? Definisjonene trenger eksempler og plass til tilfeller som fortsatt er uklare.

Googles råd om tekstklassifisering med veiledet læring fremhever datakvalitet, dekning av ulike typer tekster og manuell gjennomgang av eksempler og merking. Rådene gjelder veiledet tekstklassifisering, ikke en sammenligning av dagens generative modeller. Vi bruker dem som støtte for å gjøre forarbeidet konkret.

Velg også telleenhet. Meldinger, samtaler og unike kunder er ikke det samme. Fjern eller håndter duplikater, og forklar hvordan flere meldinger fra samme kunde behandles. Oppgi alltid hva et temas antall sammenlignes med, for eksempel alle samtaler som inngår i analysen. En samtale kan inneholde flere temaer; da kan andelene til sammen overstige hundre prosent.

Kontroller lesingen på et variert sett med tilfeller

Utforskende lesing, kvalitetskontroll og beregning av hyppighet har ulike formål. Lag et eget kontrollsett som mennesker har vurdert, med variasjon i språk, kanaler og tekstlengde. Ta med vanlige temaer, sjeldne hendelser, uklare formuleringer og kommentarer med flere problemer. Vanskelige tilfeller skal ha en reell plass i kontrollen.

Et slikt bevisst sammensatt kontrollsett kan vise lesefeil, men fordelingen av temaer der sier ikke hvor vanlige temaene er. Bruk derfor ikke et balansert kontroll- eller treningssett som grunnlag for hyppighetsanslag. Datagrunnlaget for telling må defineres for seg.

La en ansvarlig fagperson behandle uenighet mellom leserne. Utfallet kan være en avklart kategori eller at teksten forblir uavklart. Behold også motstridende erfaringer og sjeldne klager som kan ha store konsekvenser. Lavt antall er ikke alene en grunn til å fjerne et funn fra videre undersøkelser.

Bevar skillet mellom kundens ord og deres forklaring

For hvert funn bør dere lagre opprinnelig kilde-ID og et nøyaktig utdrag, kontrollert mot originalen. Merk oversettelser og KI-omskrivinger tydelig. De skal ikke presenteres som kundens opprinnelige sitat. GDS anbefaler i sin veiledning for brukerundersøkelser utført av mennesker å bevare observasjoner og skille dem fra funn og handlinger. Her tilpasser vi prinsippet til KI-støttet analyse.

Her er et oppdiktet eksempel: En kunde forteller at pakken kom fredag, men at det var uklart når den ville dukke opp. Observasjonen er ankomstdagen og kundens opplevelse av manglende informasjon. Temaet kan være uklar leveringsinformasjon. Kommentaren dokumenterer ikke i seg selv en forsinkelse.

Hypotesen er at beskjedene etter kjøpet bør bli tydeligere. Neste sjekk er at den ansvarlige for kundereisen sammenholder lovet levering, faktiske leveringshendelser og informasjonen kunden mottok. Andre kommentarer kan vise reelle forsinkelser. Hold disse temaene adskilt, og bruk begge når teksten støtter det.

Verken ordtelling eller positiv og negativ tone er det samme som å forstå kundens hensikt. Anthropics leverandørveiledning for fordeling av supportsaker beskriver blant annet indirekte forespørsler, følelser og flere problemer i samme henvendelse. Veiledningen er ikke en uavhengig evaluering av markedsanalyse. Et tema i kommentarene er heller ikke bevis for hvorfor kunder slutter å handle; en årsakspåstand trenger mer dokumentasjon.

Skriv et beslutningsnotat som andre kan etterprøve

Kopier disse punktene for hvert tema dere vil ta videre:

1. Tema: en kort forklaring av hva kategorien omfatter.
2. Telleenhet og nevner: hva som er telt, antall funn og hvilket totalantall de sammenlignes med.
3. Avgrensning av tekstmaterialet: kanaler, tidsrom, språk, produkter og utelatelser.
4. Kilde-ID-er og kontrollerte utdrag: merk oversettelser og omskrivinger.
5. Motstridende eller uklare opplysninger: ta med sjeldne problemer som kan være viktige.
6. Neste undersøkelse og ansvarlig person: hva som må avklares før dere velger tiltak.

Notatet skal gjøre det mulig å utfordre tolkningen, ikke bare videreformidle oppsummeringen. Et manglende svar kan være et godt utgangspunkt for neste undersøkelse.

Gi en sterkere modell et konkret problem å løse

Hvis modellen fortsetter å gjøre bestemte lesefeil selv med klare kategorier og tilstrekkelig bakgrunnsinformasjon som er godkjent for bruk, kan det være verdt å prøve en mer kapabel modell. Er menneskene uenige om kategorienes betydning, må dere rydde opp i det først.

Sammenlign på de samme varierte tilfellene med menneskelige referansevurderinger, holdt utenfor utviklingen av instruksjonene. Vurder feiltypene, om kildene gjengis trofast, hvordan tvil håndteres, og samlet tid til kontroll og retting. Ta også med svartid og kostnad. En generell rangering av modeller erstatter ikke dette, og en stikkprøve garanterer ikke kvaliteten i hver enkelt behandling.

AI Workflow Launch kan hjelpe med å etablere én definert arbeidsflyt: verktøyvalg innenfor oppdraget, tester av typiske tilfeller og feilsituasjoner, gjenbrukbare instrukser, dokumentasjon, opplæring og overlevering. Lisenser, API-bruk og ekstra integrasjoner er ikke inkludert; løpende støtte og vedlikehold håndteres separat. Hvis oppgaven, dataene eller kriteriene ikke er klare, kan AI Opportunity Sprint hjelpe dere å avgrense et pilotarbeid.