ROAS in een AI-rapport: wanneer is meer budget onderbouwd?

Een AI-rapport kan alle cijfers goed overnemen en toch een ongefundeerd budgetadvies geven. Bijvoorbeeld door zonder onderbouwing een toegeschreven resultaat te beschrijven als extra omzet dankzij de advertenties. Een toegeschreven ROAS is op zichzelf geen bewijs voor extra omzet en evenmin voldoende onderbouwing voor een hoger budget.

Wie marketingrapporten inkoopt of namens een bureau oplevert, moet daarom vooral de stap van meetwaarde naar conclusie controleren. Welke vergelijking zit achter de uitspraak dat reclame iets heeft veroorzaakt? AI kan helpen die vraag zorgvuldig te documenteren. De benodigde vergelijking ontstaat echter niet doordat het model een overtuigende toelichting schrijft.

Begin bij de zin waarop het budgetadvies rust

Neem een uitdrukkelijk hypothetisch voorbeeld, geen klantresultaat. In het maanddashboard van een fictieve winkel staan THB 100.000 aan advertentiekosten en THB 400.000 aan toegeschreven aankoopwaarde. In die maand liep ook een promotie. Er is geen causaal onderzoek of causaal model aangeleverd.

De berekening 400.000 / 100.000 levert een toegeschreven ROAS van 4,0 op. ROAS is de verhouding tussen conversiewaarde en advertentie-uitgaven. Bij attributie wijst een meetsysteem waarde toe aan advertenties volgens ingestelde meet- en toewijzingsregels. Dat kan nuttige informatie zijn, maar het vertelt niet hoeveel klanten zonder die advertenties ook hadden gekocht.

Staat in de AI-samenvatting: ‘De advertenties hebben THB 400.000 extra omzet opgeleverd, dus verhoog het budget’, dan is de conclusie te sterk. Een passende herschrijving is: ‘Volgens het campagnedashboard heeft het platform in de betreffende maand THB 400.000 aan aankoopwaarde toegeschreven aan advertenties, bij THB 100.000 aan uitgaven. De toegeschreven ROAS is 4,0. Hoeveel aankoopwaarde extra door de advertenties is ontstaan, is met dit rapport niet vastgesteld.’

De promotie is een mogelijke verklaring om te onderzoeken, geen bewezen oorzaak. Ook mag aankoopwaarde niet zonder controle worden gelijkgesteld aan daadwerkelijk ontvangen omzet. En een ROAS van 4,0 is geen winst van 400 procent: marges en andere kosten zijn niet in die verhouding verwerkt.

Wat telt als bewijs voor extra verkopen?

Een incrementeel resultaat is een resultaat dat zonder de onderzochte advertenties niet zou zijn ontstaan. Daarvoor moet een analyse schatten wat er zonder die advertenties zou zijn gebeurd. Dit vergelijkingsscenario heet het contrafeitelijke scenario. Alleen een hogere omzet na de start van een campagne levert nog geen geldige vergelijking zonder die campagne op.

Houd in een rapport vier soorten bewijs uit elkaar. Een beschrijving laat zien wat veranderde, bijvoorbeeld tussen twee maanden. Attributie verdeelt de gemeten waarde volgens regels. Een goed opgezet experiment schat het effect met behandelings- en controlegroepen. Een passend causaal model kan effecten schatten uit observationele gegevens, onder expliciete aannames. Een taalmodel dat deze uitkomsten samenvat, voegt geen nieuwe meetmethode toe.

Google Ads Conversion Lift gebruikt gecontroleerde vergelijkingen en kent onderzoeken op gebruikersniveau en geografisch niveau. De functie is niet voor ieder account beschikbaar. Een geschikte onderzoeksopzet vraagt expertise in effectmeting en onderzoeksopzet; simpelweg twee groepstotalen aftrekken is onvoldoende. Bij Google Conversion Lift op gebruikersniveau wordt de incrementele ROAS berekend door de geschatte extra conversiewaarde te delen door de advertentie-uitgaven. Gerapporteerde onzekerheidsintervallen en de onderzoeksafbakening horen bij de uitkomst.

Experimenten zijn niet de enige mogelijkheid. Marketingmixmodellen kunnen causale effecten schatten als hun opzet en aannames dat ondersteunen. Daarbij moet rekening worden gehouden met factoren die zowel de mediakeuzes als de verkoop beïnvloeden. Seizoenen of promoties kunnen relevant zijn, maar hun rol moet worden onderzocht. De Meridian-documentatie laat zien waarom modellen goed kunnen voorspellen en toch verschillende causale rendementen kunnen schatten. Een goede voorspelling alleen maakt de causale conclusie dus niet betrouwbaar.

Meer uitgeven vraagt om een nieuwe onderbouwing

Ook met een bruikbare historische schatting blijft een tweede vraag open: wat levert de extra uitgave op? Het gemiddelde rendement van het bestaande budget is niet hetzelfde als het rendement van het volgende deel van het budget. Praktisch gezien kunnen met meer uitgaven andere bereikmogelijkheden en omstandigheden ontstaan. Het oude gemiddelde doorrekenen is daarom een aanname, geen bewijs voor de toekomstige opbrengst.

Meridian maakt onderscheid tussen historische ROI en marginale ROI: het geschatte rendement van een kleine extra uitgave. Responscurves beschrijven modeluitkomsten bij verschillende uitgavenniveaus. Buiten het waargenomen bereik wordt de schatting riskanter. Deze causale modelgrootheden mogen bovendien niet worden behandeld als de toegeschreven ROAS van een advertentieplatform.

Ontbreekt passend bewijs, dan hoeven niet alle zakelijke beslissingen stil te vallen. De budgetverantwoordelijke kan een begrensde keuze onder onzekerheid maken en vastleggen welke aannames gelden en wanneer die opnieuw worden beoordeeld. Een meetplan kan daarbij helpen. Het hoeft geen onderzoek via Google Lift te zijn; de opzet moet passen bij de vraag, de beschikbare gegevens en de toegang.

Een controlekaart voor iedere belangrijke claim

MindVerve stelt voor om eerst woorden te markeren die gevolgen aan advertenties toeschrijven, zoals ‘veroorzaakte’, ‘leverde extra op’ en ‘zal verhogen’. Bepaal vervolgens op welk soort bewijs elke belangrijke uitspraak rust. Neem onderstaande velden over in de briefing en maak voor iedere relevante claim een afzonderlijke regel:

1. Uitspraak en beoogde beslissing: de oorspronkelijke zin en het budgetadvies dat ermee wordt onderbouwd.
2. Meetwaarde en definitie: oorspronkelijke naam, teller, noemer en gebruikte toewijzingsregels.
3. Bron en datum: rapport, gegevensstand, periode, campagne, doelgroep en gemeten resultaat.
4. Methode en vergelijking: beschrijving, attributie, experiment of causaal model; bij causaliteit het scenario zonder de advertenties.
5. Grenzen: onzekerheid, aannames en ontbrekend bewijs.
6. Eigenaar en vervolgstap: wie de bron controleert, welke formulering is toegestaan en wat nog moet worden uitgezocht.

AI kan de eerste koppeling tussen uitspraken en bronnen voorbereiden en hiaten aanwijzen. De beoordelaar controleert de bron en keurt de conclusie met zakelijke gevolgen goed. Ontbreekt bewijs, vraag het op of beperk de formulering. Een checklist of prompt garandeert niet dat de budgetaanbeveling klopt.

Drie proeven voordat het rapportageproces wordt overgedragen

Voor een pilot stellen we drie acceptatieproeven voor. Dit zijn voorgenomen controles, geen uitgevoerde tests of behaalde resultaten:

1. Geef alleen attributiegegevens: de tekst moet de toewijzing behouden en mag er geen incrementele omzet van maken.
2. Geef een onderzoek zonder duidelijke conclusie: de onzekerheid moet blijven staan, zonder stellige uitspraak dat er geen effect is.
3. Geef een schatting uit een causaal model: de tekst moet de afbakening en de aannames behouden en mag de analyse niet als experiment presenteren.

Houd bij hoeveel ongefundeerde claims moeten worden gecorrigeerd, welke conclusies naar hun bron te herleiden zijn en hoeveel werk de volledige beoordeling kost. Neem daarin ook het controleren van de bronnen mee.

MindVerves dienst voor automatisering en rapportage brengt invoer, uitvoer, eigenaren, berekeningen, controles, beoordelingsmomenten en foutafhandeling in kaart. AI Workflow Launch realiseert één afgesproken werkproces, met tests voor representatieve gevallen en uitzonderingen, documentatie, training en overdracht. Configuratie, toegang, licenties of API-gebruik, extra koppelingen en onderhoud vragen duidelijke afspraken over de omvang van de opdracht. De invoering van een marketingmixmodel of de opzet van een onderzoek is niet automatisch inbegrepen.

Neem een echt geanonimiseerd rapport mee, samen met de definities uit de bronnen en de beslissing die het moet ondersteunen. Daarmee kunnen we een afgebakende rapportagepilot bespreken waarin duidelijk blijft wie het budgetadvies beoordeelt.