Begrunner AI-rapportens ROAS et større annonsebudsjett?

Når AI-rapporten går fra å oppsummere salg til å anbefale mer pengebruk, må begrunnelsen kunne etterprøves. Før teksten får konkludere med ekstra omsetning, må den vise hvordan effekten er anslått. Deretter må den begrunne forventningen til de ekstra pengene.

Dette skillet er særlig viktig når en markedsansvarlig eller et byrå kjøper et system som skriver rapportkommentarer automatisk. En flytende forklaring gjør ikke dokumentasjonen sterkere. AI kan hjelpe med å gjøre påstander sporbare, mens et menneske må eie budsjettbeslutningen.

Når regnestykket stemmer, men konklusjonen går for langt

Se for deg en oppdiktet butikk. Dette er et hypotetisk eksempel, ikke et kunderesultat. Kampanjeoversikten viser THB 100 000 i annonsekostnader og THB 400 000 i attribuert kjøpsverdi for én måned. Butikken hadde også en tilbudskampanje. Det følger ingen studie eller kausal modell med som anslår den ekstra effekten av annonseringen.

400 000 / 100 000 = 4,0 i attribuert ROAS. ROAS måler konverteringsverdi i forhold til annonsekostnad; her er verdien fordelt til annonser etter systemets regler for sporing og attribusjon. Det betyr at annonseringen får tildelt verdi etter disse reglene, ikke at hele verdien skyldes annonseringen.

En rapporttekst som sier ”Annonsene skapte THB 400 000 i ekstra omsetning, så øk budsjettet”, legger til noe som ikke er målt. En forsvarlig omskriving er: ”Ifølge kampanjeoversikten ble THB 400 000 i kjøpsverdi attribuert til annonseringen i måneden. Annonsekostnaden var THB 100 000, som gir et attribuert ROAS på 4,0. Underlaget anslår ikke hvor mye ekstra salg annonseringen skapte.”

Tilbudskampanjen er et mulig forhold å undersøke, ikke en påvist forklaring. Dessuten er registrert kjøpsverdi ikke nødvendigvis innbetalt omsetning. Et ROAS på 4,0 betyr heller ikke 400 prosent fortjeneste. Marginer og andre kostnader må med når virksomheten vurderer verdien av salget.

Hva ville skjedd uten annonseringen?

Det er spørsmålet bak inkrementell effekt: salget som ikke ville funnet sted uten den bestemte annonseringen. Sammenligningen med hva som ellers ville skjedd, kalles et kontrafaktisk utfall. I Googles brukerbaserte Conversion Lift beregnes inkrementelt ROAS ved å dele anslått ekstra konverteringsverdi på annonsekostnaden. Attribuert ROAS bruker attribuert verdi i stedet. Tallene kan derfor ikke byttes om.

Når du leser rapporten, sorter dokumentasjonen etter hvilken sammenligning den faktisk gir. En før–etter-observasjon viser en endring. Attribusjon fordeler verdi etter regler. Ingen av disse gir alene et gyldig bilde av salget uten annonsering. En kontrollert studie kan derimot anslå effekt gjennom et planlagt opplegg med tiltaks- og kontrollgrupper.

Google Conversion Lift har brukerbaserte og geografiske studier, men er ikke tilgjengelig for alle Google Ads-kontoer. Valg av metode og sammenlignbare grupper krever målefaglig kompetanse. Et resultat gjelder de undersøkte kampanjene, målgruppene, utfallene og periodene. Usikkerhetsintervaller må følge estimatet, også når hovedtallet er fristende å fremheve alene.

Forsøk er heller ikke den eneste veien til et årsaksestimat. En egnet kausal modell kan bruke observasjonsdata under uttrykte forutsetninger. Markedsmiksmodellering, MMM, er ett eksempel. Her må man vurdere faktorer som påvirker både annonseinvesteringene og salget. Sesong og tilbud kan være slike forhold, men skal ikke utpekes som årsaker uten videre.

Meridians dokumentasjon viser hvorfor god prediksjon ikke er nok: Modeller kan treffe godt på salg og likevel gi ulike anslag for årsakseffekt og avkastning. En språkmodell som skriver om tall, er ikke i seg selv en riktig spesifisert kausal modell.

Avkastningen på neste krone må vurderes for seg

Selv om rapporten hadde et troverdig historisk anslag for mersalg, ville det ikke automatisk begrunne forventet avkastning ved et større budsjett. Tidligere gjennomsnittlig avkastning og avkastningen på merforbruket besvarer forskjellige spørsmål. Som praktisk beslutningsregel bør anbefalingen derfor gjøre antakelsen om den ekstra pengebruken synlig.

Meridian skiller mellom historisk ROI og marginal avkastning, som handler om en liten økning i forbruket. En større budsjettendring krever en sammenligning mellom forbruksnivåer; modellens responskurver kan anslå slike utfall. Går man utenfor nivåene som er observert, bygger vurderingen mer på ekstrapolering, og risikoen øker med avstanden. Dette er kausale modellmål og skal ikke likestilles med plattformens attribuerte ROAS.

Det finnes ingen universelt trygg budsjettøkning. Manglende årsaksmåling betyr likevel ikke at alle beslutninger må stanses. En budsjetteier kan velge en avgrenset handling under usikkerhet og avtale oppfølging. Rapporten skal da beskrive begrunnelsen og kunnskapshullene, uten å hevde at dashboardet har bevist lønnsomheten av økningen.

Knytt hver viktig påstand til dokumentasjonen

MindVerve foreslår en kontroll som starter i teksten. Marker ord som ”forårsaket”, ”skapte ekstra” og ”vil øke”. Finn deretter dokumentasjonen for hver påstand som kan påvirke beslutningen. Ikke la én kildehenvisning nederst i rapporten dekke over at ulike setninger bygger på ulike metoder.

Disse feltene kan kopieres til rapportbestillingen eller brukes som kolonner i et kontrollark:

1. Påstand og beslutning: Den opprinnelige setningen og hva den skal begrunne.
2. Mål og kilde: Opprinnelig måltall, definisjon, kilderapport og dato.
3. Omfang: Kampanje, målgruppe, utfall og måleperiode.
4. Metode og sammenligning: Beskrivende observasjon, attribusjon, forsøk eller kausal observasjonsmodell, med relevant sammenligningsgrunnlag.
5. Usikkerhet og forutsetninger: Tilgjengelige intervaller, antakelser og manglende dokumentasjon.
6. Ansvar og videre arbeid: Kontrollør, budsjetteier og neste handling.

AI kan lage førsteutkastet til koblingen mellom påstand og kilde og påpeke mangler. Kontrolløren må lese kilden og godkjenne konklusjonen som får betydning for beslutningen. Skriv om teksten slik at styrken følger underlaget. Be om dokumentasjon eller vurder en egnet måling når støtten mangler; det trenger ikke være en studie i Googles egen løsning. En sjekkliste kan hjelpe, men garanterer ikke et korrekt svar.

Tre krav før rapporteringspiloten godkjennes

Tre foreslåtte godkjenningskontroller gjør det lettere å vurdere leveransen. Dette er prøver som skal utføres, ikke resultater fra en gjennomført pilot:

1. Med bare attribuerte resultater som input skal teksten beholde denne betegnelsen og ikke påstå at verdien er mersalg.
2. Med en studie som ikke gir et entydig svar skal teksten bevare usikkerheten og unngå å slå fast at effekten er null.
3. Med et estimat fra en kausal observasjonsmodell skal teksten beholde omfang og forutsetninger og ikke fremstille resultatet som et eksperiment.

Følg antall udokumenterte påstander som må rettes, hvor mange påstander som kan spores til kilder, og den samlede innsatsen til gjennomgang. Ta med kildekontroll og retting, slik at en rask første tekst ikke skjuler arbeidet etterpå.

MindVerves tjeneste for automatisering og rapportering kartlegger inndata, leveranser, ansvar, beregninger, kontroller, gjennomgangspunkter og regler ved feil. AI Workflow Launch innfører én avtalt arbeidsflyt med representative tester og unntakstilfeller, dokumentasjon, opplæring og overlevering. Konfigurasjon, tilgang, lisenser, API-bruk, ekstra integrasjoner og vedlikehold må avklares i omfanget. Oppsett av MMM eller eksperimenter inngår ikke automatisk.