Was verrät eine KI-Auswertung über die Wünsche Ihrer Kunden?

Eine KI-Zusammenfassung kann zeigen, welche Wünsche und Schwierigkeiten in Bewertungen, Supportanfragen und Interviews vorkommen. Ob diese Themen die gesamte Kundschaft beschäftigen, lässt sich daraus allein nicht ableiten. Für Marketingteams ist die Auswertung trotzdem wertvoll: Sie liefert begründete Ansatzpunkte für bessere Informationen, neue Inhalte und weiterführende Untersuchungen.

MindVerve schlägt dafür ein Vorgehen vor, bei dem Entscheidung, Textgrundlage und Belege zusammenpassen. Es handelt sich um eine Arbeitsempfehlung, nicht um ein experimentell bestätigtes Verfahren oder das Versprechen, mit einem bestimmten Modell verlässlich alle Kundenwünsche zu erkennen.

Welche Entscheidung soll die Auswertung vorbereiten?

Beginnen Sie mit einer konkreten Frage: Welche Lieferinformationen fehlen auf unserer Produktseite? Dafür können einzelne nachvollziehbare Rückmeldungen aufschlussreich sein. Die Frage, welcher Anteil aller Kunden unzufrieden ist, stellt andere Anforderungen an die Datengrundlage. Eine gut formulierte Zusammenfassung ersetzt diese Voraussetzungen nicht.

Halten Sie anschließend fest, welche Texte einfließen. Dieser abgegrenzte Bestand heißt Korpus: etwa Supportgespräche zu ausgewählten Produkten, aus bestimmten Kanälen, Sprachen und Zeiträumen. Dokumentieren Sie auch Ausschlüsse, beispielsweise interne Testanfragen. Fehlende Kanäle oder nicht berücksichtigte Sprachen gehören zu den Grenzen der Auswertung.

Was ein gezähltes Thema tatsächlich aussagt

Wer freiwillig eine Bewertung schreibt oder den Support kontaktiert, bildet keine zufällige Auswahl der Kundschaft. Statistics Canada erläutert die Schwierigkeiten solcher nicht zufälligen Auswahlverfahren. Für die Marketingauswertung folgt daraus: Die Häufigkeit eines Themas beschreibt zunächst die ausgewählten Rückmeldungen. Auch zufällig gezogene Supporttickets bleiben Rückmeldungen von Personen, die sich überhaupt an den Support gewandt haben.

Entscheiden Sie vor dem Zählen, ob eine Nachricht, ein Gespräch oder ein eindeutig zugeordneter Kunde die Einheit bildet. Mehrere Nachfragen zu derselben Bestellung können sonst wie mehrere unabhängige Probleme aussehen. Entfernen oder kennzeichnen Sie Dubletten nach einer dokumentierten Regel. Lassen sich Personen nicht zuverlässig zusammenführen, dürfen aus Nachrichten keine vermeintlich eindeutigen Kunden werden.

Nennen Sie bei jeder Häufigkeit den Nenner: zum Beispiel Gespräche mit einem bestimmten Thema im Verhältnis zu allen ausgewerteten Gesprächen. Ein Gespräch kann mehrere Themen enthalten; deren Anteile müssen sich deshalb nicht zu hundert Prozent addieren. Solche Angaben werden nicht dadurch repräsentativ, dass die Darstellung präzise aussieht.

Die Texte haben drei unterschiedliche Aufgaben

Lesen Sie zunächst selbst verschiedene Rückmeldungen und lassen Sie die KI mögliche Themen vorschlagen. Diese Erkundung hilft, Sprache und Problemstellungen kennenzulernen. Beschreiben Sie danach jede Kategorie so, dass andere Personen ihre Zuordnung nachvollziehen können. Ein verärgerter Ton verrät noch nicht, ob jemand eine Erklärung, eine Rückerstattung oder eine Terminänderung verlangt.

Anthropics Anleitung zur Ticketzuordnung nennt implizite Anliegen, Emotionen und mehrere Probleme innerhalb eines Tickets als Schwierigkeiten. Sie ist eine Anbieteranleitung für den Support, kein unabhängiger Marketingvergleich. Für unsere thematische Analyse empfiehlt sich daraus keine erzwungene Einzelkategorie: Mehrere Themen pro Rückmeldung und die Kennzeichnung „ungeklärt“ müssen möglich bleiben.

Stellen Sie für die Qualitätsprüfung einen bewusst vielfältigen, menschlich geprüften Testsatz zusammen: kurze und lange Texte, verschiedene Sprachen und Kanäle, häufige, seltene, unklare und gemischte Fälle. Googles Leitfäden zur überwachten Textklassifikation empfehlen ausreichende Abdeckung sowie die manuelle Prüfung von Beispielen und Kategorien. Wir übertragen diese Gedanken auf die Prüfung des Arbeitsablaufs; daraus folgt keine belegte Überlegenheit eines generativen Modells.

Trennen Sie diesen Testsatz vom Material zur ersten Erkundung und von dem Bestand, in dem Sie Häufigkeiten bestimmen. Wenn seltene Fälle im Test absichtlich stärker vertreten sind, können Sie daraus nicht ihre Häufigkeit im Alltag berechnen. Bei Uneinigkeit klären Prüfende die Kategorie oder lassen den Fall als ungeklärt stehen. Eine Stichprobenprüfung garantiert nicht, dass jeder übrige Eintrag richtig gelesen wurde.

Ein Lieferproblem kann auch ein Informationsproblem sein

Das folgende Beispiel ist frei erfunden. In einem Gespräch steht: „Die Lieferung kam am angekündigten Tag, aber bis morgens wusste ich nicht, wann ich zu Hause sein sollte.“ Ein anderes schildert eine tatsächlich verspätete Lieferung. Beide enthalten das Wort Lieferung; ihre Anliegen sind nicht gleich.

Die Beobachtung im ersten Fall lautet: Der angekündigte Tag wurde eingehalten, das Zeitfenster blieb für die Person unklar. Das Thema ist fehlende Klarheit zur Lieferzeit. Eine mögliche Hypothese lautet, dass die Bestellkommunikation nicht ausreichend erklärt, wann ein genaueres Zeitfenster verfügbar wird. Als Nächstes sollte die zuständige Person im Customer-Experience-Team die damaligen Nachrichten und den tatsächlichen Informationsablauf prüfen.

Der zweite Fall bleibt als Hinweis auf Verspätung erhalten. Er darf nicht verschwinden, nur weil die Informationshypothese plausibel klingt. Wortzählung oder negative Stimmung unterscheiden diese Ursachen nicht zuverlässig. Ebenso lässt sich aus verärgerten Kommentaren allein kein Kündigungsgrund nachweisen; eine solche Ursache braucht zusätzliche Belege.

Eine Ergebnisnotiz, deren Belege überprüfbar bleiben

Bewahren Sie die ursprüngliche Quellenkennung und den exakten Belegausschnitt auf. Prüfen Sie Zitate am Original, bei Interviews nötigenfalls an der Aufzeichnung. Übersetzungen und KI-Paraphrasen müssen als solche erkennbar sein. Der GDS-Leitfaden zur Nutzerforschung trennt Beobachtungen, Erkenntnisse und Handlungen; unsere Übertragung auf KI ergänzt diesen Gedanken um eine überprüfbare Zuordnung.

Verarbeiten Sie nur Daten, die Sie für diesen Zweck verwenden dürfen, und nutzen Sie freigegebene Werkzeuge. Entfernen Sie unnötige personenbezogene Angaben. Das ist praktische Vorsicht, keine Rechtsberatung. Für Besprechungen können Sie folgende Ergebnisnotiz kopieren:

1. Thema: verständliche Bezeichnung und Abgrenzung zu ähnlichen Anliegen.
2. Zählung: verwendete Einheit, beobachtete Anzahl und ausdrücklich genannter Nenner.
3. Textgrundlage: Kanäle, Zeitraum, Sprachen, Produkte und Ausschlüsse.
4. Belege: ursprüngliche Quellenkennungen und am Original geprüfte Ausschnitte; Übersetzungen gesondert markieren.
5. Gegenbefunde: widersprechende, mehrdeutige und seltene, aber möglicherweise folgenreiche Rückmeldungen.
6. Nächste Untersuchung: offene Frage, geplanter Prüfschritt und verantwortliche Person.

Seltene Beschwerden dürfen bei der Zusammenfassung nicht untergehen. Ein einzelner Hinweis auf ein gravierendes Problem kann eine eigene Untersuchung verdienen, auch wenn er in der Rangliste kaum auffällt.

Wann ein leistungsfähigeres Modell einen Versuch verdient

Bleiben konkrete Lesefehler bestehen, obwohl die freigegebenen Informationen ausreichen und die Kategorien klar sind, lohnt sich ein gezielter Modellvergleich. Sind bereits die menschlichen Prüfenden uneinig, sollten zunächst die Regeln präzisiert werden. Ein anderes Modell kann nicht entscheiden, welche Bedeutung Ihr Team einer uneinheitlich verwendeten Kategorie geben will.

Vergleichen Sie die Modelle anhand derselben vielfältigen, zuvor zurückgehaltenen Fälle mit menschlichen Referenzbewertungen. Betrachten Sie Fehlerarten, Quellentreue, den Umgang mit Mehrdeutigkeit, den gesamten Prüf- und Korrekturaufwand sowie Antwortzeit und Kosten. Ranglisten ersetzen diese aufgabenbezogene Prüfung nicht. Ein leistungsfähigeres Modell kann beim Verstehen der Texte helfen. Ob die ursprünglichen Rückmeldungen die Kundschaft abbilden, ist eine andere Frage.

AI Workflow Launch richtet einen klar definierten Recherche-, Berichts- oder Inhaltsablauf ein: mit Werkzeugauswahl im vereinbarten Umfang, typischen Testfällen und Fehlerfällen, wiederverwendbaren Briefings und Prompts, Dokumentation, Schulung und Übergabe. Lizenzen, API-Nutzung und zusätzliche Integrationen sind nicht enthalten; laufende Betreuung und Wartung werden getrennt vereinbart. Sind Aufgabe, Daten oder Prüfkriterien noch offen, hilft AI Opportunity Sprint, Prioritäten und Umfang zu klären.