Mitä tekoäly voi päätellä asiakaspalautteesta?

Tekoälyn laatima yhteenveto saattaa nostaa toimitukset palautteen suurimmaksi teemaksi. Markkinointitiimille se on kiinnostava havainto, mutta ei vielä vastaus siihen, mitä pitäisi muuttaa. Puhuvatko asiakkaat hitaasta toimituksesta, epäselvästä lupauksesta vai puuttuvista tilannetiedoista? Ja keiden asiakkaiden palautetta ylipäätään luettiin?

Tekoäly auttaa kokoamaan hajallaan olevia kommentteja käsiteltäviksi kokonaisuuksiksi. MindVerven ehdottamassa työtavassa yhteenveto sidotaan alkuperäisiin teksteihin ja tiettyyn päätökseen. Kyse on menetelmäsuosituksesta, ei toteutetun kokeen tuloksesta tai väitteestä, että aineisto olisi kaikissa tehtävissä mallin kyvykkyyttä tärkeämpi.

Määritelkää ensin, mihin kysymykseen vastausta tarvitaan

Tuotesivulta puuttuvien vastausten etsiminen on eri tehtävä kuin ongelman yleisyyden arvioiminen koko asiakaskunnassa. Yksittäinenkin selkeä kokemus voi synnyttää hyvän jatkokysymyksen. Väite ongelman yleisyydestä tarvitsee puolestaan siihen soveltuvan aineiston ja otantatavan. Kirjatkaa tavoiteltu päätös ennen analyysin aloittamista.

Kuvatkaa sitten analysoitava tekstiaineisto: mistä kanavista tekstit tulevat, miltä ajalta ne ovat, millä kielillä ne on kirjoitettu ja mitä tuotteita ne koskevat. Merkitkää myös rajauksen ulkopuolelle jätetyt tekstit. Käyttäkää vain aineistoa, jonka käyttöön teillä on lupa, ja käsitelkää sitä hyväksytyissä työkaluissa. Poistakaa tehtävän kannalta tarpeettomat henkilötiedot. Tämä on käytännön varotoimi, ei oikeudellinen arvio.

Sopikaa laskentayksikkö. Lasketteko viestejä, keskusteluja vai eri asiakkaita? Yhden asiakkaan pitkä viestiketju ei vastaa usean asiakkaan kokemuksia. Käsitelkää kaksoiskappaleet ja kirjatkaa jokaisen teemakohtaisen lukumäärän rinnalle vertailun kokonaismäärä, esimerkiksi kaikki mukaan otetut keskustelut. Samaan keskusteluun voi liittyä useita teemoja, jolloin niiden prosenttiosuuksien ei tarvitse summautua sataan.

Palautteen antaneet eivät automaattisesti edusta kaikkia asiakkaita

Arvostelun kirjoittanut tai tukeen yhteyttä ottanut asiakas on valikoitunut aineistoon omalla toiminnallaan. Statistics Canadan ohjeessa käsitellään sitä, miksi ei-satunnaisesti valikoituneista vastaajista tehtävät yleistykset vaativat vahvoja oletuksia. Vapaaehtoisesti vastaavissa voi korostua poikkeuksellisen motivoituneiden ihmisten osuus.

Asiakaspalautteeseen sovellettuna tämä tarkoittaa, että teemojen määrät kuvaavat ensi sijassa kerättyjä tekstejä. Ne eivät suoraan kerro ongelmien yleisyydestä kaikkien asiakkaiden keskuudessa. Tukipyyntöjen satunnainen poiminta ei korjaa sitä, että aineistoon päätyivät alun perin vain tukeen yhteyttä ottaneet. Palautteen arvo ei silti katoa: se voi paljastaa olennaisen epäselvyyden tai antaa perustellun aiheen jatkoselvitykseen.

Erottakaa teemojen etsiminen, laadun tarkistus ja määrien laskeminen

Tutustukaa aluksi teksteihin itse ja antakaa tekoälyn ehdottaa mahdollisia teemoja. Määritelkää sen jälkeen, mitä kuhunkin teemaan kuuluu ja mihin sen raja vedetään. Googlen ohjatun tekstiluokittelun oppaat painottavat aineiston laatua, erilaisten tekstien kattavuutta sekä esimerkkien ja luokitusten tarkistamista itse. Oppaat eivät vertaile nykyisiä generatiivisia malleja; sovellamme tässä niiden ajatuksia valmistelutyöhön.

Rakentakaa tulkinnan tarkistamiseen oma, ihmisten arvioima testiaineisto. Valitkaa siihen eri kieliä ja kanavia, lyhyitä ja pitkiä tekstejä sekä tavallisia, harvinaisia ja epäselviä tapauksia. Mukana pitää olla myös kommentteja, joissa käsitellään useita ongelmia. Tarkoituksella monipuolinen joukko auttaa havaitsemaan, millaisissa kohdissa malli erehtyy.

Teemojen yleisyyttä ei pidä laskea tästä joukosta, jos vaikeita tai harvinaisia tapauksia on otettu siihen tavallista enemmän. Tasapainotettu opetus- tai testiaineisto palvelee eri tarkoitusta kuin esiintymismäärien arviointi. Määritelkää laskennassa käytettävä aineisto erikseen ja säilyttäkää tieto sen rajauksesta.

Toimitusta koskeva kommentti ei vielä todista viivästystä

Kuvitteellisessa esimerkissä asiakas kertoo paketin saapuneen perjantaina, mutta toimituspäivä oli siihen asti epäselvä. Havainto on asiakkaan kuvaus saapumispäivästä ja puuttuneesta tiedosta. Mahdollinen teema on epäselvä toimitusviestintä. Pelkän kommentin perusteella ei tiedetä, myöhästyikö paketti.

Hypoteesi eli selvitettävä oletus voisi olla, että oston jälkeiset viestit eivät kerro toimituksen etenemisestä riittävän selkeästi. Seuraavaksi asiakaspolusta vastaava henkilö vertaa luvattua toimitusaikaa, toteutuneita toimitustapahtumia ja asiakkaalle lähetettyjä viestejä. Muissa kommenteissa voi olla näyttöä todellisista viivästyksistä. Teemat pidetään erillään, mutta sama kommentti voi kuulua molempiin, jos sisältö tukee sitä.

Pelkkä sanojen laskeminen tai myönteisen ja kielteisen sävyn tunnistaminen ei kerro asiakkaan tarkoitusta. Mallivalmistaja Anthropicin tukipyyntöjen ohjaamista käsittelevä ohje nostaa esiin epäsuorat pyynnöt, tunteiden ja tarkoituksen eron sekä monen asian esiintymisen samassa viestissä. Se ei ole riippumaton markkinointianalyysin vertailututkimus. Kommenttien perusteella ei myöskään voi suoraan nimetä asiakaspoistuman syytä: syyväite tarvitsee lisänäyttöä.

Säilyttäkää alkuperäiset sanat ja eriävät tulkinnat

Tallentakaa jokaisen tulkinnan yhteyteen alkuperäinen lähdetunniste ja täsmällinen, lähteestä tarkistettu tekstikatkelma. Merkitkää käännökset ja tekoälyn muotoilemat tiivistelmät selvästi. Niitä ei saa esittää asiakkaan alkuperäisinä sitaatteina.

GDS:n ihmisten tekemää käyttäjätutkimusta koskeva ohje erottaa havainnot, niistä muodostetut päätelmät ja toimenpiteet sekä suosittelee usean arvioijan osallistumista. Sovellamme tätä ajattelutapaa tekoälyä hyödyntävään analyysiin. Jos arvioijat ovat eri mieltä, nimetyn tarkistajan tehtävä on selvittää tulkinta tai jättää tapaus avoimeksi. Epävarmuutta ei tarvitse peittää väkinäisellä luokituksella.

Säilyttäkää myös pääasiallista tulkintaa vastaan puhuvat kommentit. Harvinainen palaute voi koskea vakavaa ongelmaa, joka ansaitsee oman selvityksensä, vaikka se ei nousisi yleisimpien teemojen joukkoon.

Kootkaa päätöstä varten tarkistettava tulosmuistio

Voitte kopioida seuraavan listan jokaisen käsiteltävän teeman pohjaksi:

1. Teema: mitä se tarkoittaa ja miten se on rajattu.
2. Laskentayksikkö ja kokonaismäärä: mitä laskettiin, montako osumaa löytyi ja mihin kokonaismäärään tulosta verrataan.
3. Aineiston rajaus: kanavat, ajanjakso, kielet, tuotteet ja pois jätetyt tekstit.
4. Lähdetunnisteet ja tarkistetut tekstikatkelmat: käännökset ja uudelleenmuotoilut merkittyinä.
5. Ristiriitainen ja epäselvä näyttö: myös harvinaiset, mahdollisesti merkittävät ongelmat.
6. Seuraava selvitys ja vastuuhenkilö: mitä on tarkistettava ennen toimenpiteen valintaa.

Kokeilkaa kyvykkäämpää mallia tunnistettuun ongelmaan

Mallin vaihtamista kannattaa harkita, jos juuri tässä tehtävässä esiintyvät tulkintavirheet jatkuvat selkeistä luokista ja riittävistä, käyttöön hyväksytyistä taustatiedoista huolimatta. Jos ihmisetkään eivät ole yhtä mieltä luokkien sisällöstä, määritelmiä on ensin täsmennettävä.

Verratkaa malleja samoilla monipuolisilla tapauksilla, joista on ihmisten tekemät vertailuarviot. Pitäkää nämä tapaukset erillään ohjeiden kehittämiseen käytetystä aineistosta. Tarkastelkaa virhetyyppejä, lähteiden tarkkaa käyttöä, epäselvien tapausten käsittelyä sekä tarkistamiseen ja korjaamiseen kuluvaa kokonaisaikaa. Huomioikaa myös vastausaika ja kustannukset. Yleinen mallien paremmuuslista ei korvaa tätä vertailua, eikä otokseen perustuva laaduntarkistus takaa jokaisen tekstin oikeaa käsittelyä.

Rajattu tehtävä antaa pilotille lähtökohdan

AI Workflow Launch sopii yhden määritellyn työnkulun toteutukseen: siihen kuuluvat tehtävän rajauksen mukainen työkaluvalinta, tyypillisten ja virhealttiiden tapausten testaus, uudelleenkäytettävät ohjeet, dokumentointi, koulutus ja luovutus. Lisenssit, API-käyttö ja lisäintegraatiot eivät sisälly kokonaisuuteen; jatkuva tuki ja ylläpito sovitaan erikseen. Jos tehtävä, aineisto tai arviointikriteerit ovat vielä avoimia, AI Opportunity Sprint voi auttaa rajaamaan mielekkään pilotin.