Rätt ROAS, fel budgetslutsats? Granska AI-rapportens belägg

En AI-rapport kan återge siffrorna korrekt och ändå dra en slutsats som underlaget inte stödjer. För den som godkänner rapporten är därför formuleringen efter uträkningen minst lika viktig som själva talet. Det gäller särskilt när texten går från att beskriva försäljning till att rekommendera en större annonsbudget.

Attribution fördelar försäljningens värde mellan annonser enligt bestämda regler. Den är användbar för uppföljning, men besvarar inte ensam frågan om vad kunderna skulle ha köpt utan den annonsering som bedöms. Innan en rapport får rekommendera mer pengar behöver den skillnaden bli synlig.

Ett korrekt ROAS på 4,0 kan följas av en felaktig slutsats

Ta ett uttryckligen hypotetiskt exempel, inte ett kundresultat. En fiktiv butik har under en månad lagt THB 100 000 på annonser. Kampanjens rapportpanel visar THB 400 000 i attribuerat köpvärde. Butiken har också haft en kampanj med erbjudanden. Någon studie eller modell som uppskattar annonsernas orsakseffekt finns inte med i underlaget.

Uträkningen är enkel: 400 000 / 100 000 = 4,0 i attribuerat ROAS, alltså attribuerat köpvärde per baht som lagts på annonser. Men meningen ”Annonserna skapade THB 400 000 i extra intäkter, därför bör budgeten ökas” går längre än siffrorna medger. Ordet ”extra” förutsätter kunskap om försäljningen utan annonserna.

En hållbar omskrivning är: ”Enligt kampanjens rapportpanel attribuerades under månaden THB 400 000 i köpvärde till annonseringen, med en annonskostnad på THB 100 000. Det ger ett attribuerat ROAS på 4,0. Underlaget uppskattar inte den inkrementella effekten, det vill säga vilken försäljning annonseringen tillförde.” Erbjudandena är en möjlig förklaring att undersöka, inte en fastställd orsak.

Köpvärdet behöver inte motsvara inbetalda intäkter. ROAS är inte heller vinst: marginaler och andra kostnader påverkar vad försäljningen är värd för verksamheten. Ett ROAS på 4,0 betyder alltså inte 400 procents vinst.

Fråga vilken jämförelse som bär påståendet

Inkrementell försäljning är den försäljning som inte skulle ha uppstått utan den specifika annonseringen. För att uppskatta den behövs en trovärdig jämförelse med vad som annars skulle ha hänt, ofta kallad ett kontrafaktiskt utfall. Att försäljningen ökade efter en kampanj räcker inte. Även andra förhållanden kan ha ändrats under perioden.

Sortera därför underlaget innan AI:n skriver sin förklaring. En före- och efterjämförelse beskriver en förändring. Ett attribuerat resultat fördelar värde enligt spårnings- och attributionsregler. En kontrollerad studie uppskattar effekt genom en utformad jämförelse mellan grupper. Googles Conversion Lift erbjuder användar- och geografibaserade upplägg, men är inte tillgängligt för alla Google Ads-konton. Det krävs mätkompetens för att utforma studien och säkerställa jämförbara grupper.

En väl utformad kausal modell kan också uppskatta effekter med observationsdata. Marknadsmixmodellering, MMM, är ett sådant angreppssätt när antaganden och hantering av störfaktorer är lämpliga. En störfaktor påverkar både mediebeslut och försäljning; exempelvis kan säsong eller erbjudanden behöva granskas. Att en modell förutsäger försäljning väl bevisar inte att den fördelar orsakseffekter rätt.

En språkmodell som kommenterar en rapport är inte i sig en sådan kausal modell. Den kan sammanfatta en befintlig uppskattning, men måste behålla metod, avgränsning och osäkerhet. Finns ett osäkerhetsintervall ska även det följa med. I Googles användarbaserade Conversion Lift beräknas inkrementellt ROAS genom att dividera uppskattat extra konverteringsvärde med annonskostnaden. Attribuerat ROAS använder i stället det attribuerade värdet. Samma nämnare gör inte måtten utbytbara.

Nästa budgetkrona har en egen fråga att besvara

Även ett trovärdigt historiskt effektmått löser inte hela budgetfrågan. Genomsnittlig avkastning beskriver tidigare utgifter. Beslutet att öka budgeten gäller vad de tillkommande pengarna kan ge. Som praktiskt beslutsresonemang bör rapporten därför redovisa varför ett historiskt genomsnitt skulle vara relevant vid en annan utgiftsnivå.

Meridians dokumentation skiljer historisk ROI från marginalavkastning, som gäller en liten ökning av utgifterna. För en större föreslagen ökning behövs en jämförelse mellan budgetnivåer; modellens responskurvor kan uppskatta sådana utfall. Ju längre bedömningen går utanför tidigare observerade utgifter, desto större blir risken med extrapoleringen. Dessa kausala modellmått ska inte likställas med plattformens attribuerade ROAS.

En budgetrekommendation behöver alltså både underlag för den extra försäljningen och ett resonemang om den föreslagna ökningen. Det finns ingen allmängiltig säker procentsats. Om mätningen saknas kan en ansvarig fortfarande fatta ett avgränsat affärsbeslut under osäkerhet, med motivering och uppföljning. Rapporten får bara inte framställa beslutet som bevisat av attributionen.

Granska varje mening som kan påverka beslutet

MindVerves föreslagna granskning börjar med verb som ”orsakade”, ”skapade extra” och ”kommer att öka”. Markera dem och koppla varje betydelsefullt påstående till en egen rad i granskningsunderlaget. Kontrollera först vad källan faktiskt mäter; skriv därefter slutsatsen så starkt som stödet medger.

Följande fält kan kopieras till beställningen av rapporten:

1. Påstående och beslut: originalmeningen och vilket beslut den ska stödja.
2. Mått och källa: ursprungligt mått, definition, rapportkälla och datum.
3. Avgränsning: kampanj, målgrupp, utfall och mätperiod.
4. Metod och jämförelse: attribution, beskrivande förändring, experiment eller kausal observationsmodell; vilket alternativt utfall används?
5. Osäkerhet och antaganden: intervall där sådana finns, modellantaganden och saknade uppgifter.
6. Ansvar och nästa steg: granskare, beslutsägare och vad som behöver hämtas in eller följas upp.

AI:n kan förbereda kopplingen mellan påståenden och källor samt markera luckor. En granskare behöver öppna källan och godkänna den beslutspåverkande slutsatsen. Saknas stödet kan ni begära komplettering, beställa en lämpligt utformad mätning eller dokumentera ett begränsat beslut under osäkerhet. En sådan mätning behöver inte vara en inbyggd Google-studie.

Pröva rapporteringsflödet innan det får större ansvar

Använd tre föreslagna godkännandekontroller i en pilot. De är testfall att genomföra, inte redovisade testresultat:

1. Ge endast attribuerade resultat. Rapporten ska behålla den etiketten och inte kalla värdet extra försäljning.
2. Ge en studie som inte ger ett entydigt svar. Rapporten ska behålla osäkerheten och inte skriva att annonseringen säkert saknade effekt.
3. Ge resultat från en kausal observationsmodell. Rapporten ska bevara avgränsning och antaganden och inte beskriva modellen som ett experiment.

Följ hur många obelagda påståenden som behöver rättas, hur stor del av påståendena som kan spåras och den totala granskningsinsatsen. Räkna även in källkontroll och omarbete. En välformulerad instruktion eller checklista garanterar inte en korrekt slutsats.

MindVerves tjänst för automation och rapportering kartlägger indata, utdata, ansvar, beräkningar, kontroller, granskningspunkter och regler när något går fel. AI Workflow Launch genomför ett överenskommet arbetsflöde med representativa testfall och undantagsfall, dokumentation, utbildning och överlämning. Åtkomst, konfiguration, licenser, API-användning, extra integrationer och underhåll behöver avtalas; införande av MMM eller experiment ingår inte automatiskt.