Vad kan AI egentligen säga om kundernas feedback?

På marknadsmötet ligger en välskriven sammanfattning av kundernas kommentarer. Leveranser nämns ofta. Ska produktsidan ändras, behöver leveranslöftet ses över eller saknas bara tydlig information i orderbekräftelsen? Sammanfattningen kan peka ut något att undersöka, men den besvarar inte på egen hand vilken åtgärd som är motiverad.

AI är användbart för att ordna texter och föreslå teman. Vår rekommendation är att börja med det beslut ni vill kunna fatta och sedan bygga ett analysflöde där varje viktig tolkning går att granska. Metoden nedan är MindVerves förslag, inte resultatet av ett genomfört experiment.

Börja med frågan som ska avgöras

Att leta efter frågor som en produktsida behöver besvara är en annan uppgift än att uppskatta hur stor andel av kunderna som har ett problem. Det första kan börja med ett fåtal tydliga berättelser. Det andra kräver ett underlag och ett urval som lämpar sig för den slutsatsen.

Skriv därför ner beslutet innan ni ber AI om en sammanfattning. Beskriv sedan ert textunderlag, ibland kallat korpus: de texter ni faktiskt har samlat in. Ange kanaler, tidsperiod, språk och produkter samt vad som har uteslutits. Använd bara data ni har rätt att använda, i godkända verktyg, och ta bort personuppgifter som analysen inte behöver. Det är en praktisk försiktighetsåtgärd, inte juridisk rådgivning.

Vilka röster finns med, och vad är det ni räknar?

Den som kontaktar supporten eller skriver en recension har själv tagit steget att lämna feedback. Statistics Canadas vägledning om icke-sannolikhetsurval förklarar varför sådana urval kräver starka antaganden för att kunna säga något om en större grupp. Personer med starka upplevelser kan vara överrepresenterade. För kundfeedback innebär det att en analys av supportärenden främst beskriver den återkoppling som samlats in, inte automatiskt hela kundbasen. Ett slumpmässigt urval bland ärendena tar inte bort den ursprungliga snedfördelningen.

Bestäm också räkneenheten. Fem meddelanden i samma konversation är inte fem kunder. Hantera dubbletter och ange om ni räknar meddelanden, konversationer eller unika kunder. För varje antal eller andel behövs en tydlig nämnare: exempelvis samtliga inkluderade konversationer. Om samma konversation får flera teman kan andelarna tillsammans överstiga hundra procent. Det behöver framgå, inte döljas genom att tvinga in varje text i en enda kategori.

Skilj mellan att upptäcka, kontrollera och räkna

Börja utforskande: läs texter och låt AI föreslå möjliga teman. Formulera sedan vad varje tema omfattar och vilka gränsfall som hör någon annanstans. Googles vägledning för övervakad textklassificering betonar både att läsa exempel själv och att kontrollera märkningen. Den gäller inte en jämförelse av dagens generativa modeller, men ger användbara utgångspunkter för detta förarbete.

Bygg därefter ett separat kontrollmaterial som människor har granskat. Välj medvetet varierade fall: korta och långa texter, olika språk och kanaler, vanliga frågor och sällsynta eller oklara kommentarer. Ta med texter som rymmer flera problem. Det hjälper er att se vad modellen missar.

Materialet ni använder för att uppskatta temafrekvenser har en annan uppgift. Ett kontrollmaterial där ovanliga fall fått extra utrymme ska inte användas för att räkna hur vanliga dessa teman är. Håll isär utforskning, kvalitetskontroll och frekvensberäkning, även när vissa originaltexter förekommer i flera arbetsmoment.

En kommentar om leverans kan betyda flera saker

Ta ett helt fiktivt exempel: en kund skriver att paketet kom på fredagen men att det fram till dess var oklart när leveransen skulle ske. Observationen är vad kunden faktiskt beskriver: ankomstdagen och bristen på besked. Ett möjligt tema är otydlig leveransinformation. Kommentaren räcker inte för att slå fast att leveransen var försenad.

Hypotesen kan vara att informationen mellan köp och leverans behöver bli tydligare. Nästa kontroll blir då att den ansvariga för kundresan jämför utlovad leveranstid, faktiska leveranshändelser och meddelanden som kunden fått. Andra kommentarer kan i stället belägga verkliga förseningar. Håll de två temana åtskilda, och märk båda när en text faktiskt stöder båda.

Ord som återkommer ofta eller ett negativt tonläge visar inte ensamma kundens avsikt. De förklarar inte heller varför kunder lämnar. Påståenden om orsaker behöver ytterligare belägg. Anthropics leverantörsguide om ärendefördelning beskriver bland annat implicita önskemål, känslor och flera frågor i samma ärende. Det är relevanta lässvårigheter även här, men guiden är ingen oberoende utvärdering av marknadsanalys.

Låt läsaren följa vägen tillbaka till kundens ord

Spara ursprungligt käll-ID och ett exakt utdrag som stöder temat. Kontrollera utdraget mot originalet. Märk översättningar och AI:s omformuleringar tydligt; de är inte kundens ursprungliga citat. GDS:s vägledning för användarundersökningar som genomförs av människor skiljer observationer från slutsatser och åtgärder. Vi anpassar den principen till ett AI-stött arbete.

Låt granskare jämföra sina bedömningar och diskutera oenighet. En ansvarig granskare kan avgöra ett fall eller låta det stå som oklart när underlaget inte räcker. Behåll även motexempel och sällsynta klagomål som kan få stora konsekvenser. De ska inte försvinna bara för att en annan berättelse dominerar sammanfattningen.

Pröva en starkare modell när läsfelen finns kvar

Om människor tolkar kategorierna olika behöver definitionerna först förtydligas. En mer kapabel modell kan vara värd att prova om specifika läsfel finns kvar trots tydliga kategorier och tillräcklig bakgrundsinformation som får användas i uppgiften.

Jämför modellerna på samma varierade fall, med mänskliga bedömningar som referens. Håll dessa fall utanför arbetet med att utveckla instruktionerna. Bedöm vilka typer av fel som uppstår, om tolkningarna håller sig till källorna, hur oklarheter hanteras och den sammanlagda tiden för granskning och rättning. Väg även in svarstid och kostnad. En topplista besvarar inte dessa frågor, och ett stickprov garanterar inte att varje enskild text blir korrekt behandlad.

Ta med en granskningsbar anteckning till beslutet

Kopiera följande punkter för varje tema som ska diskuteras:

1. Tema: vad kommentarerna handlar om och var kategorins gränser går.
2. Räkneenhet och nämnare: vad ni räknat, antalet träffar och vilket totalantal jämförelsen bygger på.
3. Underlagets avgränsning: kanaler, period, språk, produkter och uteslutningar.
4. Käll-ID och verifierade utdrag: med tydlig märkning av översättningar och omformuleringar.
5. Motstridiga och oklara belägg: även sällsynta frågor med möjlig stor betydelse.
6. Nästa undersökning och ansvarig: vad som behöver kontrolleras innan ni väljer åtgärd.

Om uppgiften är avgränsad kan AI Workflow Launch hjälpa er att sätta upp ett sådant arbetsflöde med verktygsval inom uppdraget, tester av typiska fall och felrisker, återanvändbara instruktioner, dokumentation, utbildning och överlämning. Licenser, API-användning och ytterligare integrationer ingår inte; löpande stöd och underhåll hanteras separat. Om beslut, data eller bedömningskriterier ännu är oklara kan AI Opportunity Sprint hjälpa er att avgränsa ett första pilotarbete.