Wat is attribution theatre in SaaS-marketing?

Correlatie versus causaliteit beschrijft het verschil tussen twee variabelen die samen bewegen (correlatie) en één variabele die daadwerkelijk een verandering in een andere veroorzaakt (causaliteit). "Attribution Theatre" is de praktijk waarbij gecorreleerde marketingdata, zoals dashboards die stijgende conversies naast een campagne tonen, worden gepresenteerd alsof ze bewijzen dat die campagne de groei veroorzaakte, terwijl geen enkele gecontroleerde test het verband heeft bevestigd. Voor SaaS-teams betekent het ene voor het andere aanzien dat budget terechtkomt in kanalen die alleen maar effectief lijken.

Wat is het echte verschil tussen correlatie en causaliteit?

Correlatie betekent dat twee metrics samen stijgen of dalen. Causaliteit betekent dat een van die metrics direct verantwoordelijk is voor de verandering in de andere. Een SaaS-team kan zien dat het aantal trial-aanmeldingen steeg in dezelfde week waarin een LinkedIn-advertentiecampagne startte. Dat is een correlatie. Of de advertenties die aanmeldingen ook echt veroorzaakten, en niet een productlancering, een vermelding in de pers of seizoensgebonden vraag, is een aparte vraag die een correlatie alleen niet kan beantwoorden.

Causaliteit aantonen vereist dat je één variabele isoleert en al het andere constant houdt, meestal via een gecontroleerd experiment. Correlatie aantonen vraagt niet meer dan twee lijnen in een grafiek die in dezelfde richting bewegen. Die kloof tussen "bewogen samen" en "veroorzaakte de beweging" is precies waar de meeste attributierapportages falen, en waar Attribution Theatre zich afspeelt.

Wat is Attribution Theatre?

Attribution Theatre is de praktijk van het opstellen van gepolijste, zelfverzekerd ogende attributierapporten die marketingkanalen eer toekennen op basis van correlatie, en die eer vervolgens presenteren alsof causaliteit is bewezen. Het ziet eruit als degelijkheid. Het werkt als gokken.

Het mechanisme is bij de meeste B2B SaaS-teams die erin trappen hetzelfde. Een dashboard schrijft omzet toe aan een kanaal, op basis van last-touch- of multi-touchregels. Niemand heeft een holdouttest gedaan om te controleren of die omzet toch wel was binnengekomen. Het team presenteert het rapport in een boardmeeting als feit. Het management verschuift budget op basis van dat feit. Niemand komt erop terug om te checken of de herverdeling het resultaat echt heeft beïnvloed, want het dashboard van het volgende kwartaal is al aan de orde.

De naam is belangrijk omdat hij iets benoemt wat rapportagejargon meestal verbergt: de schijn van zekerheid in plaats van de inhoud ervan. Een grootschalig veldexperiment bij eBay is het duidelijkste gedocumenteerde voorbeeld van deze kloof. Omdat zoekklikken en aankoopgedrag gecorreleerd zijn, zijn de opbrengsten van betaald zoeken slechts een fractie van de conventionele niet-experimentele schattingen, en hebben advertenties op merkzoektermen geen meetbaar effect op de korte termijn (NBER). Uit het onderzoek bleek dat als eBay zijn advertenties op merkzoektermen zou stopzetten, het verkeer naar de eBay-website vrijwel ongewijzigd zou blijven en gewoon via organische zoekresultaten zou binnenkomen, die eBay niets kosten (CEPR). De attributiedashboards speelden jarenlang toneel en schreven verkopen toe aan advertentie-uitgaven die ook zonder die uitgaven waren gebeurd.

Waarom is dit belangrijk voor SaaS-growthteams?

SaaS-growthteams zijn structureel kwetsbaar voor Attribution Theatre, omdat leveranciers attributietools zo ontwerpen dat ze correlatie tonen en ze vervolgens presenteren alsof ze causaliteit laten zien. Google Analytics, de meeste CRM-rapportages en standaard multi-touchmodellen werken allemaal volgens hetzelfde principe: volg wat er voor een conversie gebeurde en ken op basis daarvan eer toe. Geen van allen kan door hun opzet vertellen wat er zonder het contactmoment zou zijn gebeurd.

Onderzoek dat dit patroon buiten eBay repliceerde, vond hetzelfde substitutie-effect op kleinere maar nog steeds aanzienlijke schaal. Een replicatie bij Edmunds.com vond hetzelfde substitutie-effect, maar in veel kleinere mate: minder dan de helft van het verkeer uit betaald zoeken werd teruggewonnen via organisch zoeken. De richting van de bias is consistent, ook als de omvang varieert. Dat is het patroon dat elk growthteam kan verwachten van op correlatie gebaseerde rapportage: die overschat de impact eerder dan dat ze die onderschat.

Het financiële gevolg stapelt zich snel op voor een SaaS-bedrijf met een krap budget. Uit één analyse van incrementaliteitswerk op productieschaal bleek dat last-touch-attributie het dominante beslissingssignaal in digitale advertenties blijft, ondanks uitgebreid bewijs dat toegeschreven resultaten de causale impact met een factor 2 tot 10 kunnen overschatten. Een oprichter die uitgaven verschuift op basis van dat overschatte getal optimaliseert niet. Die financiert de illusie.

Voor early-stage en growth-stage SaaS-teams is dit belangrijker dan voor grote enterprises met een eigen datasciencefunctie. Een startup van tien mensen heeft meestal één dashboard, één growthlead en geen capaciteit om voor elke budgetbeslissing een parallelle causale analyse uit te voeren. Attribution Theatre gedijt precies in die omgeving: grote druk om een getal te tonen, weinig ruimte om het in twijfel te trekken.

Hoe herken je Attribution Theatre in je eigen rapportages?

Een paar vaste signalen onderscheiden een echte causale claim van een theatrale:

• Er is geen controlegroep of holdout. Als niemand kan zeggen hoe de metric eruit had gezien zonder het kanaal of de campagne, is het getal in het dashboard een correlatie in de vermomming van een resultaat.
• De "oorzaak" was zelf een reactie. Als een sales rep alleen korting aanbiedt aan klanten die al signalen van churn vertonen, correleert de korting met churn, terwijl die een symptoom is en geen drijfveer.
• De tijdlijn klopt niet. Als de vermeende oorzaak na het effect plaatsvond, of zo dicht erbij dat er tien andere dingen tegelijk gebeurden, is correlatie niet van ruis te onderscheiden.
• De metric bewoog voor iedereen, niet alleen voor de behandelde groep. Als sessies, omzet of aanmeldingen in alle kanalen tegelijk stegen, is een enkele campagne waarschijnlijk niet de enige drijfveer.
• Niemand kan uitleggen hoe "succes" eruit had gezien als de campagne was mislukt. Een causale claim heeft een falsifieerbaar tegenfeitelijk scenario nodig. Een claim op basis van correlatie heeft dat zelden.

Elk team dat minstens drie van deze vragen over een gerapporteerd resultaat niet kan beantwoorden, speelt Attribution Theatre, of het zo noemt of niet.

Hoe gaan SaaS-teams van correlatie naar causaliteit?

De oplossing is niet meer dashboards, maar gecontroleerd testen. Gerandomiseerde holdouts, geo-splitexperimenten en gefaseerde uitrol zijn de standaardmiddelen om één variabele te isoleren en het echte effect ervan te observeren, en op kleine schaal heb je er geen datascienceteam voor nodig. Een SaaS-bedrijf dat een nieuwe onboardingmail test, kan 10% van de nieuwe aanmeldingen die mail onthouden en de activatiepercentages vergelijken. Die ene test levert meer causale zekerheid op dan een jaar aan dashboards op basis van correlatie.

Hier verschilt de aanpak van Seedling voor groeirapportage van de meeste standaard analytics-opstellingen: die stuurt teams richting toetsbare hypotheses en holdoutvergelijkingen in plaats van statische attributiemomentopnamen, zodat een geclaimde winst een controle moet doorstaan voordat het een budgetbeslissing wordt. Het doel is niet om elk dashboard te wantrouwen. Het gaat erom de gewoonte aan te leren te vragen hoe een metric eruit zou zien zonder de interventie, voordat je de interventie de eer geeft.

Attribution Theatre is geen teken van slechte marketing. Het is een teken van een rapportagecultuur die zelfverzekerde antwoorden beloont boven juiste. De SaaS-teams die efficiënt groeien, zijn niet die met de meest geavanceerde attributiemodellen. Het zijn de teams die bereid zijn een claim te testen voordat ze erop handelen, en toe te geven wanneer het dashboard een toeval toonde in plaats van een oorzaak.