Oikea ROAS-luku ei vielä perustele suurempaa mainosbudjettia

Kun tekoälyraportti siirtyy myynnin kuvaamisesta budjettisuositukseen, myös päättelyketju pitää voida tarkistaa. Laskutoimitus voi olla täysin oikein, vaikka sen perään kirjoitettu johtopäätös ylittäisi käytettävissä olevan näytön. Tarkastuksen kohteena on juuri tämä siirtymä luvusta päätökseen.

Markkinointipäättäjän ja toimiston raportointivastaavan kannattaa tarkistaa erityisesti se kohta, jossa raportti siirtyy tulosten kuvaamisesta syiden selittämiseen. Tekoäly voi koota väitteiden tueksi lähteet ja huomata puuttuvia tietoja. Se ei voi päätellä pelkistä raporttiluvuista, mitä asiakkaat olisivat ostaneet ilman arvioitavaa mainontaa.

Mikä osa myynnistä luetaan mainonnan ansioksi?

ROAS saadaan jakamalla konversioiden arvo mainontaan käytetyllä rahalla. Attribuoidussa ROASissa arvo kohdennetaan mainonnalle seurantajärjestelmän ja attribuutiomallin sääntöjen mukaan. Attribuutio tarkoittaa siis ansion jakamista sovituilla säännöillä. Se auttaa tulosten seurannassa, mutta ei yksin osoita, mikä osuus myynnistä syntyi juuri mainonnan ansiosta.

Googlen käyttäjäpohjaisessa Conversion Lift -tutkimuksessa inkrementaalinen ROAS saadaan jakamalla arvioitu lisäkonversioiden arvo mainoskuluilla. Lisävaikutus tarkoittaa sitä, mitä ilman kyseistä mainontaa ei olisi tapahtunut. Sen arvioimiseen tarvitaan uskottava vertailu tilanteeseen, jossa mainontaa ei olisi ollut. Tätä vaihtoehtoista tapahtumankulkua kutsutaan kontrafaktuaaliksi. Sama mainoskulu jakajana ei tee attribuoidusta ja inkrementaalisesta ROASista samaa mittaria.

Myös arvon määritelmä on tarkistettava. Raportoitu ostosten arvo ei välttämättä vastaa yritykselle maksettua liikevaihtoa. ROAS ei myöskään ole voittoprosentti, sillä katteet ja muut kustannukset vaikuttavat siihen, mitä myynti merkitsee liiketoiminnalle.

Kuvitteellinen kauppa paljastaa päätelmän aukon

Seuraava esimerkki on hypoteettinen, ei asiakkaan tulos. Kuvitteellisen vähittäiskaupan kampanjaraportissa on yhden kuukauden mainoskuluina THB 100 000 ja mainonnalle attribuoituna ostosten arvona THB 400 000. Kaupassa oli samaan aikaan tarjouskampanja. Aineistoon ei sisälly tutkimusta tai kausaalimallia, joka arvioisi mainonnan synnyttämää lisävaikutusta.

Lasku 400 000 / 100 000 antaa attribuoiduksi ROASiksi 4,0. Jos tekoäly jatkaa tästä sanoihin ”Mainonta tuotti THB 400 000 lisää liikevaihtoa, joten budjettia kannattaa kasvattaa”, se esittää perusteettoman syy-seurausväitteen. Nelinkertainen attribuoitu ostosarvo ei myöskään tarkoita 400 prosentin voittoa.

Perusteltu muotoilu olisi: ”Kampanjaraportin mukaan mainonnalle attribuoitiin kuukauden aikana THB 400 000 ostosten arvoa. Mainoskulut olivat THB 100 000, joten attribuoitu ROAS oli 4,0. Toimitettu aineisto ei arvioi, kuinka paljon lisämyyntiä mainonta aiheutti.” Tarjouskampanjan merkitys jää selvitettäväksi. Sen samanaikaisuus ei todista, että juuri tarjoukset selittivät myynnin.

Korjattu teksti säilyttää hyödyllisen havainnon ja näyttää samalla, mihin tieto päättyy. Budjetista vastaava näkee, mitä lisäselvitystä vahvempi johtopäätös edellyttäisi. Pelkkä varovaisempi sanavalinta ei silti korvaa puuttuvaa mittausta.

Millainen näyttö tukee lisävaikutusta?

Aloita erottamalla neljä aineistotyyppiä. Ennen–jälkeen-vertailu kuvaa muutosta. Attribuutio jakaa myynnin arvoa järjestelmän sääntöjen mukaan. Kumpikaan ei yksin tarjoa pätevää vertailukohtaa tilanteeseen ilman mainontaa. Kokeellinen arvio puolestaan perustuu suunniteltuun koe- ja vertailuryhmien vertailuun, jonka toteutustapa ratkaisee paljon.

Googlen Conversion Lift tarjoaa käyttäjiin ja maantieteellisiin alueisiin perustuvia tutkimustapoja, mutta ominaisuus ei ole kaikkien Google Ads -tilien käytettävissä. Ryhmien vertailukelpoisuus ja tutkimusasetelma vaativat mittausosaamista. Tuloksen yhteydessä on säilytettävä epävarmuusvälit sekä tieto tutkituista kampanjoista, kohderyhmistä, tulosmittareista ja ajanjaksosta. Yksittäistä arviota ei pidä muuttaa varmaksi lupaukseksi.

Neljäs aineistotyyppi on havaintoaineistoon perustuva kausaalimalli. Asianmukaisesti määritelty markkinointimix-malli eli MMM voi arvioida syy-seurausvaikutuksia oletustensa varassa. Mallissa on huomioitava sekoittavat tekijät: asiat, jotka vaikuttavat sekä mediapanostusten valintaan että myyntiin. Esimerkiksi sesonki tai tarjoukset voivat vaatia tarkastelua, mutta niiden vaikutusta ei saa olettaa todistetuksi.

Meridianin dokumentaatio korostaa, että useat mallit voivat ennustaa hyvin ja silti antaa erilaisia arvioita mainonnan aiheuttamasta tuotosta. Hyvä ennustetarkkuus ei siis yksin osoita syy-seurauspäätelmien pätevyyttä. Raporttia kirjoittava kielimalli ei ole sama asia kuin tällainen huolellisesti määritelty mittausmalli. Sen tehtävä on säilyttää lähteen menetelmä, rajaukset ja oletukset.

Lisäbudjetin tuotto on erillinen kysymys

Vaikka historiallinen lisämyynti olisi arvioitu uskottavasti, se ei vielä kerro suuremman budjetin tuotosta. Aiempi keskimääräinen tuotto koskee toteutunutta rahankäyttöä. Budjetin kasvattaminen koskee seuraavaksi käytettävää lisärahaa. Käytännön päätöksenteossa raportin on siksi perusteltava, miksi vanhan keskiarvon voisi odottaa kuvaavan myös suurempaa panostusta.

Meridian erottaa historiallisen ROI:n ja marginaalituoton, joka kuvaa pienen lisäpanostuksen tuottoa. Suurempaa budjettimuutosta varten on verrattava eri panostustasoja; mallin vastekäyrät voivat arvioida niiden tuloksia. Kun arvio ulottuu aiemmin havaittujen panostusten ulkopuolelle, ekstrapoloinnin eli havaintoalueen ulkopuolelle päättelyn riski kasvaa. Näitä kausaalimallin tuottomittareita ei pidä rinnastaa mainosalustan attribuoituun ROASiin.

Yleispätevää turvallista budjetinkorotusta ei ole. Puuttuva vaikutusmittaus ei kuitenkaan edellytä kaiken päätöksenteon pysäyttämistä. Vastuuhenkilö voi tehdä rajatun liiketoimintapäätöksen epävarmuuden vallitessa ja sopia seurannasta. Raportin tulee kuvata päätöksen perusteet ja avoimet kysymykset eikä esittää kasvattamisen kannattavuutta attribuutiolukujen todistamana.

Kopioi tarkistusrunko raportin tilaukseen

MindVerven ehdottama tarkastus alkaa vaikutusta väittävistä ilmauksista, kuten ”aiheutti”, ”tuotti lisää” ja ”kasvattaa”. Merkitse päätökseen vaikuttavat väitteet ja varaa jokaiselle oma rivi tarkistuslistaan. Selvitä ensin lähteen mittari ja kirjoita johtopäätös vasta sen jälkeen näytön sallimalla vahvuudella.

Seuraavat kentät voi liittää raportoinnin toimeksiantoon:

1. Väite ja päätös: alkuperäinen virke sekä päätös, jota sen on tarkoitus tukea.
2. Mittari ja lähde: alkuperäinen tunnusluku, määritelmä, lähderaportti ja päivämäärä.
3. Rajaus: kampanja, kohderyhmä, tulosmittari ja mittausjakso.
4. Menetelmä ja vertailu: kuvaileva havainto, attribuutio, koe tai havaintoaineiston kausaalimalli sekä käytetty vertailukohta.
5. Epävarmuus: saatavilla olevat epävarmuusvälit, oletukset ja puuttuva näyttö.
6. Vastuu ja jatko: tarkastaja, päätöksentekijä ja sovittu seuraava toimi.

Tekoäly voi valmistella väitteiden ja lähteiden yhteydet ja merkitä puutteet. Tarkastajan on avattava lähde ja hyväksyttävä päätöksen kannalta olennainen johtopäätös. Jos näyttöä puuttuu, pyydä täydennys tai selvitä asiantuntijan kanssa sopiva mittausasetelma. Sen ei tarvitse olla Googlen oma tutkimus. Myös rajattu päätös epävarmuuden vallitessa voidaan dokumentoida. Tarkistuslista tai kehote ei takaa oikeaa vastausta.

Kolme ehdotettua hyväksymiskoetta pilotille

Raportointipilotissa kannattaa kokeilla seuraavia tapauksia. Kyse on ehdotetuista kokeista, ei jo suoritetuista testeistä tai niiden tuloksista:

1. Kun lähtötieto sisältää vain attribuoituja tuloksia, raportti ei saa nimetä arvoa mainonnan synnyttämäksi lisämyynniksi.
2. Kun tutkimus jää tulokseltaan epävarmaksi, raportin tulee säilyttää epävarmuus eikä julistaa vaikutusta olemattomaksi.
3. Kun tulos tulee havaintoaineiston kausaalimallista, raportin tulee säilyttää rajaukset ja oletukset eikä kuvata tulosta kokeelliseksi näytöksi.

Seuraa korjausta vaativien perusteettomien väitteiden määrää, lähteisiin jäljitettävien väitteiden osuutta ja tarkastustyön kokonaismäärää. Laske mukaan lähteiden avaaminen ja korjauskierrokset. Pelkkä ensimmäisen luonnoksen valmistumisnopeus ei kerro koko työmäärää.

MindVerven automaatio- ja raportointipalvelu kartoittaa lähtötiedot, tuotokset, vastuuhenkilöt, laskennat, tarkistukset, ihmisen tarkistusta edellyttävät vaiheet ja virhetilanteiden toimintatavat. AI Workflow Launch toteuttaa yhden sovitun työnkulun, johon kuuluvat edustavat testit ja poikkeustapaukset, dokumentaatio, koulutus ja luovutus. Määritysten, käyttöoikeuksien, lisenssien, API-käytön, lisäintegraatioiden ja ylläpidon laajuus sovitaan erikseen. MMM:n käyttöönottoa tai kokeen toteutusta ei luvata osaksi pakettia automaattisesti.