Apa yang bisa kita simpulkan dari komentar pelanggan dengan bantuan AI?

Tim pemasaran sering memiliki banyak bahan tetapi belum memiliki pertanyaan yang tajam. Ada ulasan produk, pesan ke layanan pelanggan, dan catatan wawancara. Meminta AI merangkum semuanya terasa masuk akal, tetapi hasilnya baru berguna jika kita tahu keputusan apa yang akan dibantu.

Misalnya, apakah penjelasan pengiriman di halaman produk perlu diperjelas? Pertanyaan itu berbeda dari menanyakan penyebab utama pelanggan berhenti membeli. Komentar dapat memberi petunjuk untuk pertanyaan pertama. Pertanyaan kedua membutuhkan bukti tambahan tentang hubungan sebab-akibat. Alur berikut merupakan usulan kerja MindVerve, bukan hasil eksperimen atau jaminan ketepatan.

Tentukan batas klaim sejak memilih bahan

Kumpulan teks, kadang disebut korpus, berarti bahan yang dihimpun untuk dianalisis. Catat kanal, rentang waktu, bahasa, produk, serta bahan yang dikecualikan dan alasannya. Jika ada wawancara, jelaskan siapa yang diajak dan bagaimana mereka dipilih. Bahan dari pelanggan yang sedang menghadapi masalah tidak otomatis menggambarkan pengalaman mereka yang tidak pernah menghubungi layanan pelanggan.

Panduan Statistics Canada menjelaskan bahwa generalisasi dari pemilihan nonacak memerlukan asumsi yang kuat. Orang yang bersedia memberi tanggapan juga bisa memiliki dorongan lebih besar daripada mereka yang diam. Implikasinya bagi pemasaran: hitungan kemunculan tema dalam permintaan bantuan menggambarkan terlebih dahulu bahan yang dipilih, bukan seluruh pelanggan. Mengambil sebagian permintaan bantuan secara acak tidak menghilangkan proses seleksi awal ketika pelanggan memutuskan untuk menghubungi layanan.

Masukan seperti ini tetap berguna untuk menemukan hambatan atau bahasa yang membingungkan. Batasi kesimpulannya: suatu masalah muncul dalam bahan yang diperiksa; belum tentu masalah itu dialami oleh mayoritas pelanggan.

Jangan menukar jumlah pesan dengan jumlah pelanggan

Sebelum menghitung, pilih satuan yang sesuai: pesan, percakapan utuh, atau pelanggan unik. Satu orang bisa mengirim beberapa pesan tentang masalah yang sama. Tetapkan cara menangani duplikat, dan jangan menggabungkan identitas lintas kanal tanpa dasar yang dapat dipercaya serta izin yang sesuai.

Setiap hitungan perlu penyebut, yaitu jumlah seluruh satuan yang menjadi dasar perbandingan. Nyatakan berapa percakapan memuat suatu tema dari seluruh percakapan yang diperiksa. Bila satu percakapan membahas harga sekaligus pengiriman, keduanya boleh dicatat. Jumlah kemunculan semua tema bisa melebihi jumlah percakapan karena pengelompokannya tidak saling terpisah.

Pisahkan penemuan tema, pemeriksaan, dan penghitungan

Untuk menemukan tema, baca sendiri contoh dari berbagai sumber, lalu minta AI mengusulkan pengelompokan beserta potongan teks pendukung. Rumuskan batas setiap kategori. Apa yang termasuk informasi pengiriman tidak jelas? Kapan sebuah komentar masuk kategori keterlambatan? Panduan Google untuk klasifikasi teks menganjurkan pembacaan contoh, pemeriksaan label, dan cakupan masukan yang memadai. Konteksnya adalah pembelajaran dengan contoh berlabel, bukan perbandingan model generatif; penerapannya di sini merupakan adaptasi.

Selanjutnya, siapkan kumpulan pemeriksaan yang sengaja beragam: teks pendek dan panjang, beberapa bahasa dan kanal, permintaan tersirat, kasus campuran, komentar ambigu, serta masalah langka. Penelaah manusia menentukan klasifikasi rujukan dan mencatat perbedaan pendapat. Penanggung jawab dapat menyelesaikan perbedaan dengan melihat sumber dan konteks, atau mempertahankan status belum jelas. Tidak semua komentar harus dipaksa memiliki jawaban pasti.

Kumpulan ini digunakan untuk menguji pembacaan, bukan mengukur frekuensi. Jika kasus langka sengaja diperbanyak, proporsinya tidak lagi sama dengan bahan asal. Data untuk penghitungan perlu dibedakan secara jelas, lengkap dengan batas dan satuan hitungnya. Pemeriksaan mutu terhadap sebagian contoh juga bukan jaminan bahwa seluruh contoh lainnya sudah benar.

Contoh rekaan: pengiriman tepat waktu, informasinya terlambat

Bayangkan komentar rekaan berikut: “Pesanan tiba Kamis sesuai janji, tetapi saya baru tahu jadwalnya setelah membayar.” Pengamatannya adalah penulis mengetahui jadwal setelah pembayaran, sementara kedatangan disebut sesuai janji. Tema yang masuk akal ialah kejelasan informasi sebelum pembelian, bukan keterlambatan pengiriman.

Dugaannya: informasi jadwal mungkin sulit ditemukan di halaman produk atau saat menyelesaikan pesanan. Pemeriksaan berikutnya dapat ditugaskan kepada penanggung jawab pengalaman belanja: meninjau letak informasi, lalu meminta peserta riset pengguna mencari jadwal sebelum membayar. Ini contoh alur penalaran, bukan kisah klien atau hasil pengujian nyata.

Komentar lain yang menyebut paket benar-benar terlambat harus tetap terlihat sebagai masalah berbeda. Jika keduanya muncul bersama, gunakan lebih dari satu tema. Menghitung kata “pengiriman” tidak membedakan keduanya. Penilaian bahwa nada komentar negatif pun tidak sama dengan mengetahui maksud pelanggan atau penyebab mereka berhenti membeli.

Dokumentasi Anthropic tentang penerusan permintaan bantuan membahas permintaan tersirat, perbedaan emosi dan maksud, serta beberapa persoalan dalam satu permintaan. Sumber ini adalah panduan penyedia untuk pekerjaan layanan pelanggan, bukan tolok ukur independen bagi analisis pemasaran. Kebutuhan penyaluran ke satu tujuan tidak perlu diterapkan sebagai kewajiban memilih satu tema.

Bawa catatan yang bisa diperiksa ke rapat

Simpan pengenal sumber dan kutipan persis yang mendukung tema, lalu cocokkan dengan teks atau rekaman asli. Tandai terjemahan sebagai terjemahan dan parafrasa AI sebagai penulisan ulang, bukan ucapan asli pelanggan. Panduan riset pengguna pemerintah Inggris membedakan pengamatan, temuan, dan tindakan serta menganjurkan pemeriksaan kutipan. Panduan itu membahas analisis oleh manusia; kami mengadaptasikannya untuk pekerjaan berbantuan AI.

Gunakan hanya data yang berhak diolah, dalam alat yang disetujui organisasi, dan hapus informasi pribadi yang tidak diperlukan. Membahas kejelasan jadwal pengiriman, misalnya, tidak membutuhkan alamat rumah pembeli. Ini kehati-hatian praktis, bukan nasihat hukum.

Salin daftar berikut untuk mencatat setiap temuan:

1. Tema: masalah atau kebutuhan yang dijelaskan secara spesifik.
2. Satuan hitung dan penyebut: apa yang dihitung, berapa satuan memuat tema, dan berapa jumlah satuan yang diperiksa.
3. Batas kumpulan teks: kanal, periode, bahasa, produk, dan pengecualian.
4. Bukti: pengenal sumber dan kutipan yang telah diperiksa, dengan penanda terjemahan atau parafrasa.
5. Bukti yang bertentangan atau ambigu: contoh yang tidak cocok dengan penafsiran dan perbedaan pendapat yang belum selesai.
6. Penyelidikan berikutnya beserta penanggung jawab: pertanyaan yang perlu dijawab dan orang atau tim yang akan menindaklanjuti.

Jangan hilangkan keluhan langka yang berdampak besar hanya karena tidak masuk tema teratas. Keluhan itu mungkin perlu ditelusuri tersendiri. Catatan yang berguna memperlihatkan alasan mendukung suatu penafsiran sekaligus alasan untuk meragukannya.

Uji model lain untuk kesalahan yang sudah dikenali

Bila penelaah manusia belum sepakat tentang kategori, perjelas definisinya terlebih dahulu. Jika konteks kurang, lengkapi dengan informasi yang diizinkan. Model yang lebih mampu layak dicoba ketika kesalahan khusus tugas tetap berulang setelah dua hal itu memadai, misalnya terus mencampur informasi jadwal yang tidak jelas dengan janji pengiriman yang tidak dipenuhi.

Bandingkan model pada kasus beragam yang sama, telah ditelaah manusia, dan disisihkan dari proses penyempurnaan instruksi. Periksa jenis kesalahan, kesetiaan pada sumber, penanganan ambiguitas, total waktu penelaahan dan koreksi, waktu tunggu jawaban, serta biaya. Peringkat model secara umum tidak menggantikan pemeriksaan terhadap pekerjaan ini.

Jika tugas dan kriteria penerimaan sudah jelas, AI Workflow Launch dari MindVerve membantu menyiapkan satu alur kerja yang terdefinisi: pemilihan alat dalam lingkup kerja, pengujian kasus umum dan kasus kegagalan, arahan kerja serta instruksi yang dapat digunakan kembali, dokumentasi, pelatihan, dan serah terima. Lisensi, biaya pemakaian API atau jalur akses antaraplikasi, dan integrasi tambahan tidak termasuk; dukungan serta pemeliharaan berkelanjutan terpisah. Bila tugas, data, atau kriterianya belum siap, AI Opportunity Sprint membantu menetapkan prioritas dan ruang lingkup terlebih dahulu.