Wat vertelt een AI-analyse van klantfeedback u werkelijk?

Wat willen onze klanten? Een AI-samenvatting van reviews, supportgesprekken en interviews kan daar aanwijzingen voor geven. Ze kan reacties ordenen en terugkerende onderwerpen zichtbaar maken. Ze laat niet vanzelf zien hoe breed die wensen onder alle klanten leven. Daarvoor moet u weten wie in de verzameling voorkomt en wie buiten beeld blijft.

Een bruikbare uitkomst is daarom meer dan een lijst thema’s. U moet kunnen teruggaan naar de reacties, zien waar de uitleg onzeker is en bepalen welke vervolgstap bij de bevinding past. Hieronder staat de aanpak die MindVerve daarvoor voorstelt. Het is een werkwijze, geen verslag van een uitgevoerd experiment.

Bepaal eerst waarover u wilt beslissen

Stel dat het marketingteam de bezorginformatie op een productpagina wil verbeteren. Reacties kunnen laten zien welke uitleg ontbreekt. Dat is een andere vraag dan welk percentage van alle klanten ontevreden is over de bezorging. De eerste vraag vraagt om goed onderbouwde aanknopingspunten; de tweede vereist een geschikte basis om uitspraken over de hele klantgroep te doen.

Beschrijf het corpus: gewoon de verzameling teksten die u gaat analyseren. Noteer de kanalen, periode, talen, producten en uitsluitingen. Leg bijvoorbeeld vast of reacties over uitverkochte producten buiten de analyse vallen. Zo blijft zichtbaar waarop de uitkomst wel en niet betrekking heeft.

Een telling is pas duidelijk als de eenheid vaststaat

Een boze klant kan meerdere berichten in hetzelfde gesprek sturen. Telt u berichten, gesprekken of unieke klanten? Kies vooraf en leg vast hoe u dubbele reacties behandelt. Tel alleen unieke klanten als u ze betrouwbaar kunt onderscheiden. Zonder die koppeling mag een aantal berichten niet ineens een aantal klanten worden.

Vermeld bij elk thema de getelde eenheid én het totaal waartegen u die afzet: bijvoorbeeld gesprekken over onduidelijke bezorginformatie ten opzichte van alle onderzochte gesprekken. Eén gesprek kan over meerdere onderwerpen gaan. De percentages van die onderwerpen hoeven dan niet samen honderd procent te vormen.

Ook een nette telling zegt alleen iets over de gekozen verzameling. Statistics Canada beschrijft hoe vrijwillige deelname mensen met een sterke motivatie kan oververtegenwoordigen. Voor klantfeedback betekent dat: wie iets schrijft, vertegenwoordigt niet automatisch wie zwijgt. Een willekeurige selectie uit supporttickets neemt die oorspronkelijke selectie niet weg. Kwalitatieve reacties blijven nuttig, maar het aantal vermeldingen is niet zonder meer het aandeel klanten met dat probleem.

Laat de indeling aansluiten op wat mensen werkelijk zeggen

Lees eerst zelf verschillende teksten en laat AI mogelijke thema’s voorstellen. Schrijf daarna per thema op welke reacties erbij horen, welke niet en wanneer meerdere labels nodig zijn. Bewaar het oorspronkelijke bron-ID en het exacte fragment waarop de indeling berust. Controleer citaten aan de originele tekst of opname; markeer vertalingen en AI-parafrases duidelijk.

De GDS-handleiding voor gebruikersonderzoek onderscheidt waarnemingen, inzichten en acties en moedigt gezamenlijke analyse aan. Onze toepassing op AI bouwt daarop voort; de handleiding zelf valideert geen automatische analyse. Laat collega’s twijfelgevallen bespreken en houd afwijkende lezingen zichtbaar.

Een negatieve toon is niet hetzelfde als een verzoek om geld terug. Anthropic noemt in zijn documentatie over ticketroutering onder meer impliciete verzoeken en meerdere problemen in één ticket. Dat is leveranciersadvies voor support, geen onafhankelijke marketingbenchmark. Voor thematische analyse hoeft u niet één hoofdintentie af te dwingen.

Gebruik alleen gegevens die u voor dit doel mag verwerken, in goedgekeurde hulpmiddelen. Verwijder persoonsgegevens die niet nodig zijn. Dit is praktische voorzichtigheid, geen juridisch advies. Zorg ook dat reviewers genoeg toegestane context behouden om een korte of verwijzende reactie te begrijpen.

Houd ontdekken, controleren en frequenties bepalen uit elkaar

De eerste verkenning helpt u onderwerpen te ontdekken. Maak daarnaast een bewust gevarieerde controleset die mensen beoordelen: korte en lange teksten, verschillende talen en kanalen, gangbare en zeldzame situaties, gemengde reacties en onduidelijke gevallen. Daarmee onderzoekt u ook waar de indeling tekortschiet bij reacties die minder eenvoudig te beoordelen zijn.

Google adviseert bij gesuperviseerde tekstclassificatie om mogelijke invoer goed af te dekken, voorbeelden handmatig te lezen en labels te controleren. Die uitgangspunten zijn bruikbaar voor onze kwaliteitscontrole. Ze vormen geen vergelijking van huidige generatieve modellen en leveren geen gemeten resultaat voor uw organisatie op.

De controleset dient een ander doel dan de verzameling waarin u frequenties telt. Als u zeldzame problemen bewust vaker in de test opneemt, kunt u hun aandeel daarin niet als hun werkelijke frequentie presenteren. Bewaar die scheiding ook in de rapportage. Bij onenigheid bepaalt een reviewer de best onderbouwde indeling of blijft de uitkomst ‘onbekend’. Een steekproefsgewijze controle garandeert niet dat alle overige reacties correct zijn verwerkt.

Een bezorgvoorbeeld: van waarneming naar vervolgvraag

Het volgende voorbeeld is verzonnen. Een reactie luidt: ‘Het pakket kwam op de beloofde dag, maar ik wist niet hoe laat ik thuis moest zijn.’ Een andere reactie meldt dat het pakket een dag te laat kwam. Beide reacties onder ‘bezorgproblemen’ scharen helpt het team nog niet te kiezen wat het moet verbeteren.

Bij de eerste reactie is de waarneming dat de dag klopte, terwijl het tijdvenster voor de klant onduidelijk was. Het thema is onduidelijke bezorginformatie. Een mogelijke verklaring is dat de bestelberichten onvoldoende uitleggen wanneer een tijdvenster bekend wordt. De volgende controle is concreet: de verantwoordelijke voor klantervaring zoekt de verzonden berichten op en bekijkt welke informatie de klant op dat moment kon zien.

De melding van echte vertraging blijft apart zichtbaar, ook als ze maar één keer voorkomt. Een zeldzaam probleem met grote gevolgen kan een eigen onderzoek verdienen. Woordfrequenties en een positieve of negatieve toon vertellen niet vanzelf wat iemand bedoelt. Ze bewijzen evenmin waarom iemand opzegt; voor zo’n oorzakelijk verband is aanvullend bewijs nodig.

Neem een controleerbare resultaatnotitie mee naar het overleg

Onderstaande notitie kunt u kopiëren voor ieder thema. Ze houdt de telling, de interpretatie en het vervolg bij elkaar zonder twijfel weg te werken.

1. Thema: duidelijke naam en afbakening ten opzichte van verwante onderwerpen.
2. Telling: de eenheid, het aantal gevonden gevallen en het totaal waarop de telling betrekking heeft.
3. Afbakening van de teksten: kanalen, periode, talen, producten en uitsluitingen.
4. Onderbouwing: oorspronkelijke bron-ID’s en gecontroleerde tekstfragmenten, met vertalingen apart gemarkeerd.
5. Tegenbewijs en twijfel: afwijkende, onduidelijke en zeldzame reacties die de uitleg kunnen veranderen.
6. Volgend onderzoek: de open vraag, de voorgenomen controle en de verantwoordelijke persoon.

Zo kan het team een informatieprobleem onderzoeken zonder al te beweren dat het de voornaamste klacht van alle klanten heeft gevonden.

Probeer een sterker model voor een herkenbaar resterend probleem

Blijven dezelfde taakgebonden leesfouten optreden terwijl de toegestane context voldoende is en de categorieën helder zijn? Dan kan een krachtiger model een gerichte proef waard zijn. Als mensen al van mening verschillen over de categorieën, moet u die eerst verduidelijken.

Gebruik voor de vergelijking dezelfde gevarieerde, apart gehouden gevallen met menselijke referentiebeoordelingen. Vergelijk de soorten fouten, trouw aan de bron, omgang met onduidelijke reacties, totale controle- en correctietijd, responstijd en kosten. Een algemene ranglijst beantwoordt die vraag niet. Beter tekstbegrip lost bovendien niet op dat sommige klanten ontbreken in de oorspronkelijke verzameling.

AI Workflow Launch richt één afgebakende onderzoeks-, rapportage- of contentworkflow in. Daarbij horen de keuze van hulpmiddelen binnen de afgesproken omvang, tests met gangbare gevallen en gevallen waarin het mis kan gaan, herbruikbare briefings en prompts, documentatie, training en overdracht. Licenties, API-gebruik en extra integraties zijn uitgesloten; doorlopende ondersteuning en onderhoud staan daar los van. Als taak, gegevens of beoordelingscriteria nog onvoldoende duidelijk zijn, helpt AI Opportunity Sprint om prioriteiten en omvang te bepalen.