AIによる顧客の声の分析は、どこまで意思決定に使えるのか

要約が読みやすいほど、その内容をそのまま施策の根拠にしたくなるものです。しかし「配送に関する不満が目立つ」というまとめだけでは、配送速度を改善すべきなのか、案内を見直すべきなのかは決まりません。

MindVerveが提案するのは、どの文章を根拠に、どのような判断をしたのかをたどれる形で残す方法です。AIの導入効果を実証した手順ではなく、また、どんな場合もデータがモデルの能力より重要だとする主張でもありません。

配送についての一文から、何が言えるでしょうか

まず、架空の例で考えてみます。実在する顧客の発言や検証結果ではありません。「注文したのですが、いつ届くのか分かりません。週末には間に合いますか」という声があったとします。これを「配送が遅い」に分類すると、実際に遅れたとは書かれていないのに、遅延の証拠として扱ってしまいます。

観察できるのは、到着予定が分からず確認を求めていることです。テーマは「到着予定の案内が分かりにくい」と仮置きできます。そこから「注文後の案内で見通しを伝えきれていないのではないか」という仮説を立てます。次に、ECサイトのコンテンツ担当者が当時の商品ページや注文確認メールを調べます。閲覧を許可された配送記録や追加の聞き取りとも照らし合わせ、案内の不足なのか、実際に遅れていたのかを確かめます。

予定日を過ぎて届いたという別の声があれば、そちらも残します。案内の不足と実際の遅延は両方起こり得るためです。どちらを優先するか、そもそも顧客離れにつながっているのかは、この二つの文章だけでは決められません。特に原因を述べるには、追加の根拠が必要です。

最初に決めるのは、要約の形式ではなく判断の範囲です

「顧客を理解する」から一歩進めて、「商品ページの配送案内を変更する必要があるか」のように、今回の判断を具体化します。その判断に使う収集済みの文章が、分析対象の資料です。レビュー、サポートへの問い合わせ、インタビューでは、声を寄せた人も、そのときの状況も異なります。

対象とする窓口、期間、言語、商品を記録し、除外した資料とその理由も明記します。購入前の相談を含むのか、社内のテスト用問い合わせを除いたのか、といった条件です。利用する権限のあるデータを承認されたツールで扱い、不要な個人情報は取り除きます。これは実務上の注意であり、法律上の助言ではありません。

カナダ統計局の非確率抽出に関する解説では、自ら回答する人に偏りが生じ得ることが説明されています。これを顧客の声に当てはめると、問い合わせの集計がまず示すのは、問い合わせをした人の記録だと考えられます。その中から無作為に一部を選んでも、最初から問い合わせなかった人は加わりません。属性別の人数をそろえるだけでも、この偏りが必ず解消するわけではありません。改善の手がかりとしての価値と、顧客全体を代表するかどうかは、分けて考えましょう。

メッセージと人を、同じ数として扱わない

一人が同じ件について何度も連絡すれば、メッセージ数は増えます。やり取り全体を一つの会話と数える場合や、重複を除いた顧客数を数える場合とは結果が変わります。分析前に単位を決め、重複取り込みや別の窓口への転載をどう扱うかも定めてください。同一人物か確認できない資料から、顧客の実人数を確定したように書くのは避けます。

割合には分母も必要です。「分析対象とした重複除去後の会話のうち、配送案内に言及した会話の割合」なら、何を数えたかが伝わります。一つの会話に複数のテーマを付けることは可能ですが、その場合はテーマ別件数の合計が会話数を上回ることがあります。

単語の出現数は、その単語への言及を数えたものです。感情の分類も、発言の調子を整理するもので、要望や解約理由そのものではありません。Anthropicの問い合わせ振り分けガイドは、暗黙の依頼、感情と意図の違い、一件に含まれる複数の問題を分類上の難しさとして挙げています。これはベンダーによるサポート業務の資料で、独立したマーケティング評価ではありません。テーマ分析に応用する際は、振り分け先を一つに決める発想をそのまま持ち込まないことも大切です。

分類を確かめるために、原文への道筋を残す

各記録に元資料のIDと判断の根拠になる抜粋を付け、前後の文脈も確認します。インタビューの引用は録音などと照合します。翻訳やAIの言い換えは、それと分かる表示にして、顧客が実際に使った言葉のように引用しないでください。

英国政府のデジタルサービス部門（Government Digital Service）のユーザー調査ガイドは、実際の観察を残し、引用を確かめ、分析から得た知見と次の行動を分けることを勧めています。MindVerveの方法は、こうした人による調査分析の考え方をAIの利用に応用したものです。AIによる自動判定の妥当性を、このガイドが保証しているわけではありません。

複数の確認者で分類を見ると、テーマの境界が曖昧な箇所も見つかります。意見が分かれたら、担当者が根拠を確認して判断するか、「不明」として残します。少数の深刻な訴えや多数意見と合わない記録を、件数が少ないという理由だけで落としてはいけません。

テーマ探し、品質確認、頻度の集計を分ける

最初はAIにテーマの候補を出させ、人が文章を読みながら分類の意味と境界を整えます。Googleのテキスト分類ガイドには、実例を読んでラベルを点検し、文章の数や長さ、分類ごとの件数を把握するという助言があります。この資料は、正解の分類を付けた例でモデルを学習させる「教師あり学習」を扱っており、現在の生成AIモデルを比較した結果ではありません。

次に、品質確認用の事例を用意します。窓口や言語、時期、文章の長さが偏らないようにし、曖昧な表現、複数の問題、珍しいが影響の大きい相談も意図的に含めます。人による判断と理由を残し、合意できない事例は無理に正解を一つにしません。

こうした確認用の事例は、難しい場面も試せるように選んだものです。そこで得たテーマの割合を、実際の出現頻度として報告してはいけません。頻度を集計する資料は範囲と選び方を別途定め、確認用の事例に合わせてテーマの比率を人為的にそろえないようにします。Googleが説明するデータの品質と入力の網羅性は確認項目の参考になりますが、顧客全体の代表性を与えるものではありません。抜き取りで問題が見つからなくても、全件が正しいとは限りません。

会議に渡す記録には、未解決の点も書く

テーマごとに、次の項目をコピーして使えます。結論だけでなく、その結論を確かめる材料と次の担当を一緒に残すための書式です。

1. テーマ：何を含み、似た問題のうち何を含めないか。
2. 数えた単位と分母：メッセージ、会話、顧客のどれを数えたか。テーマの件数と対象全体の数、重複や複数テーマの扱いも記す。
3. 資料の範囲：窓口、期間、言語、商品、採用条件と除外条件。
4. 根拠：元資料のIDと確認済みの抜粋。翻訳やAIによる要約は区別する。
5. 反対例と判断が難しい記録：確認者の不一致や、少数でも重大な問題を含める。
6. 次に調べることと担当者：何が分かれば判断を進められるか、誰が確認するか。

この記録があれば、「配送が問題らしい」で議論を終えずに、案内と実際の配送のどちらを、どの資料で確認するかまで話を進められます。

より高性能なモデルを試す条件を決めておく

分類が明確で、利用を認められた十分な文脈を渡しても、暗黙の要望を繰り返し見落とすなどの誤りが残るなら、より高性能なモデルを試す理由になります。人同士で分類が割れる場合は、まず定義を見直します。

比較には、調整に使わずに取り分けておいた同じ多様な事例と、人が確認した判断を使います。誤りの種類、原文への忠実さ、曖昧な場合の扱いを見たうえで、確認と修正にかかった合計時間、応答時間、費用も比べます。一般的な順位表ではなく、この作業で残った問題を解決できるかが論点です。Anthropicの資料が述べる品質・費用・応答時間の兼ね合いも、その観点で検討できます。

実際の導入では、取り組む業務を一つに絞ると範囲を整理しやすくなります。AI Workflow Launchは、そのように定義した一つの調査・レポート作成・コンテンツ制作の業務手順を整える支援です。範囲内のツール選定、典型例と失敗しやすい事例のテスト、再利用できる依頼書とプロンプト、文書化、研修、引き継ぎが対象です。ライセンス、API利用料、追加連携は含まず、継続支援と保守は別途となります。作業、資料、評価基準がまだ定まらない場合は、AI Opportunity Sprintで優先順位と範囲を整理するところから始められます。