Que peut-on décider à partir d’une synthèse de retours clients par l’IA ?

En réunion marketing, une conclusion comme « les clients veulent une livraison plus rapide » appelle presque immédiatement une réponse. Faut-il modifier la promesse commerciale, revoir une page ou solliciter la logistique ? Avant d’arbitrer, il faut revenir à la question étudiée. Chercher les informations qui manquent sur une page produit et mesurer les raisons de départ des clients ne demandent pas les mêmes preuves.

Les retours analysés ne parlent pas au nom de tous les clients

Le corpus est simplement l’ensemble des textes réunis pour l’analyse. Décrivez-en les canaux, la période, les langues, les produits concernés et les exclusions. Des avis publics, des échanges avec le support et des entretiens ne couvrent ni les mêmes personnes ni les mêmes situations.

Statistique Canada rappelle les limites d’une sélection non aléatoire, notamment lorsque les personnes décident elles-mêmes de répondre. Pour notre usage, cela signifie qu’un thème fréquent dans les demandes au support n’est pas nécessairement fréquent dans toute la clientèle. Tirer au hasard une partie de ces demandes ne corrige pas la sélection initiale des personnes ayant contacté le support. Ces retours restent utiles pour comprendre des difficultés et formuler des questions.

Précisez aussi ce que vous comptez : messages, conversations ou clients distincts. Une conversation longue ne doit pas devenir, par inadvertance, plusieurs clients mécontents. Traitez les doublons et indiquez le dénominateur, c’est-à-dire le nombre total d’unités retenues. Une même conversation peut relever de plusieurs thèmes ; la somme des occurrences peut donc dépasser le nombre de conversations.

Un problème de livraison peut cacher une question d’information

Prenons un exemple entièrement fictif : « Le colis est arrivé dans le délai annoncé, mais j’ai dû vous écrire pour connaître le jour de livraison. » Le constat est limité : la personne rapporte une livraison dans les temps et une difficulté à obtenir une date. Le thème retenu peut être « information de livraison difficile à trouver ». L’extrait ne justifie pas de classer ce retour parmi les retards.

Une hypothèse se dessine : les informations disponibles au cours du parcours ne répondent peut-être pas assez clairement à la question « quand ? ». Pour la vérifier, la personne responsable des contenus pourrait examiner le message de confirmation et la page de suivi, puis demander à des clients où ils cherchent cette information.

D’autres retours évoqueront peut-être de vrais retards ou, au contraire, des indications très claires. Il faut les conserver. Un mot souvent répété, un ton négatif ou une accumulation de remarques ne suffisent pas à établir une intention ni une cause de résiliation. Une explication causale exige d’autres éléments.

Organiser la lecture avant de lancer le décompte

Commencez par lire des exemples, puis demandez à l’IA de proposer des regroupements exploratoires. L’équipe peut alors définir les thèmes, leurs frontières et les situations où plusieurs étiquettes sont nécessaires. Les guides de Google sur la classification de textes recommandent d’examiner les exemples, la cohérence des étiquettes et la diversité des données. Leur sujet est l’apprentissage supervisé ; nous en adaptons ici certains principes, sans en déduire une comparaison entre modèles génératifs.

Constituez ensuite un lot de contrôle relu par des personnes : textes courts et longs, langues et canaux différents, formulations ambiguës, demandes portant sur plusieurs sujets, cas fréquents et problèmes rares. Ce lot sert à éprouver la lecture du système. Il peut contenir volontairement davantage de cas difficiles que les retours habituels.

Ne l’utilisez donc pas pour estimer la fréquence des thèmes. L’exploration, le contrôle diversifié et le décompte ont des fonctions distinctes. Les fréquences doivent renvoyer à une base définie, avec ses règles de sélection, et ne décrire que ce que cette base permet d’observer.

Une restitution utile permet de remonter aux propos d’origine

N’utilisez que des données autorisées, dans des outils approuvés, en retirant les informations personnelles inutiles. Pour chaque interprétation, conservez l’identifiant de la source et un extrait exact, vérifié dans le texte ou l’enregistrement d’origine. Signalez les traductions et les reformulations de l’IA : elles ne sont pas des citations originales.

Le guide du Government Digital Service distingue observations, enseignements et actions dans l’analyse collective d’une recherche utilisateur. Nous proposons de reprendre cette distinction pour les retours traités avec l’IA. Plusieurs relecteurs peuvent confronter les catégories et les extraits. Si leur désaccord ne peut être résolu, mieux vaut garder une mention « indéterminé » qu’imposer une certitude.

Cette fiche peut être copiée pour chaque thème :

1. Thème : définition compréhensible et limites de la catégorie.
2. Unité comptée et dénominateur : nombre observé et total des unités admissibles.
3. Périmètre du corpus : canaux, période, langues, produits, exclusions et traitement des doublons.
4. Preuves : identifiants des sources et extraits vérifiés, avec traduction ou reformulation signalée.
5. Éléments contraires ou ambigus : contre-exemples, désaccords et problèmes rares à fort impact potentiel.
6. Investigation suivante et responsable : question à vérifier, éléments à recueillir et personne chargée du suivi.

La fiche ne doit pas effacer les cas minoritaires. Une difficulté rarement exprimée peut mériter un examen à part, même si elle ne modifie pas le classement des thèmes les plus fréquents.

Changer de modèle devient pertinent face à des erreurs bien identifiées

La documentation d’Anthropic sur l’orientation des demandes au support relève plusieurs difficultés : intentions implicites, confusion entre émotion et demande, plusieurs problèmes dans un même message. Ce guide de fournisseur n’est pas une étude indépendante de l’analyse marketing. Il aide toutefois à nommer des erreurs à rechercher, sans obliger chaque retour à n’avoir qu’un seul thème.

Si ces erreurs persistent alors que le modèle dispose des informations autorisées nécessaires et de catégories claires, essayez un modèle plus capable. Comparez-le sur les mêmes cas diversifiés, réservés à l’évaluation et non à l’amélioration des consignes, avec des jugements humains de référence. Si les personnes ne s’accordent pas sur une catégorie, clarifiez-la d’abord.

Examinez les types d’erreurs, la fidélité aux sources, le traitement des ambiguïtés, le temps total de relecture et de correction, le délai de réponse et le coût. Ce protocole est une recommandation, pas le récit d’un test réalisé par MindVerve. Un contrôle sur une sélection de cas ne garantit pas la qualité de chaque résultat.

Cadrer un premier usage avec une décision précise

Lorsque le besoin est défini, AI Workflow Launch permet de configurer un seul processus de recherche, de reporting ou de contenu : choix d’outils dans le périmètre convenu, tests sur des cas représentatifs de l’usage prévu et sur des situations susceptibles de mettre le système en défaut, briefs et consignes réutilisables, documentation, formation et prise en main par l’équipe. Les licences, la consommation d’API et les intégrations supplémentaires sont exclues ; le support et la maintenance continus sont distincts. Si la tâche, les données ou les critères restent à préciser, AI Opportunity Sprint aide à fixer les priorités et le périmètre.