Was ist Attribution Theatre im SaaS-Marketing?

Korrelation versus Kausalität beschreibt den Unterschied zwischen zwei Variablen, die sich gemeinsam bewegen (Korrelation), und einer Variable, die tatsächlich eine Veränderung in einer anderen auslöst (Kausalität). „Attribution Theatre“ bezeichnet die Praxis, korrelierende Marketingdaten, etwa Dashboards, die zu einer Kampagne steigende Conversions zeigen, so darzustellen, als belegten sie, dass die Kampagne das Wachstum verursacht hat, obwohl kein kontrollierter Test den Zusammenhang bestätigt hat. Für SaaS-Teams bedeutet es, beides zu verwechseln: Das Budget fließt in Kanäle, die nur wirksam aussehen.

Was ist der eigentliche Unterschied zwischen Korrelation und Kausalität?

Korrelation bedeutet, dass zwei Kennzahlen gemeinsam steigen oder fallen. Kausalität bedeutet, dass eine dieser Kennzahlen direkt für die Veränderung der anderen verantwortlich ist. Ein SaaS-Team stellt vielleicht fest, dass die Trial-Anmeldungen in derselben Woche gestiegen sind, in der es eine LinkedIn-Werbekampagne gestartet hat. Das ist eine Korrelation. Ob tatsächlich die Anzeigen diese Anmeldungen verursacht haben oder ein Produktlaunch, eine Presseerwähnung oder saisonale Nachfrage, ist eine andere Frage, die eine Korrelation allein nicht beantworten kann.

Kausalität nachzuweisen setzt voraus, dass eine Variable isoliert wird und alles andere konstant bleibt, meist durch ein kontrolliertes Experiment. Für eine Korrelation genügen dagegen zwei Linien in einem Diagramm, die in dieselbe Richtung laufen. Genau in dieser Lücke zwischen „hat sich gemeinsam bewegt“ und „hat die Bewegung verursacht“ scheitert das meiste Attributions-Reporting, und dort entsteht Attribution Theatre.

Was ist Attribution Theatre?

Attribution Theatre bedeutet, aufwendig gestaltete, souverän wirkende Attributionsreports zu erstellen, die Marketingkanälen auf Basis von Korrelation Erfolge zuschreiben und diese Zuschreibung dann so darzustellen, als sei sie kausal belegt. Es sieht nach Sorgfalt aus. Es funktioniert wie Raten.

Der Ablauf ist bei den meisten B2B-SaaS-Teams, die in diese Falle geraten, ähnlich. Ein Dashboard schreibt einem Kanal Umsatz zu, nach Last-Touch- oder Multi-Touch-Regeln. Niemand hat einen Holdout-Test durchgeführt, um zu prüfen, ob dieser Umsatz auch ohne den Kanal entstanden wäre. Das Team präsentiert den Report im Board-Meeting als Fakt. Die Führung verteilt das Budget auf Grundlage dieses Fakts um. Niemand prüft später, ob die Umverteilung das Ergebnis tatsächlich verändert hat, denn das Dashboard für das nächste Quartal steht schon an.

Der Name trifft einen Punkt, den Fachjargon im Reporting meist verschleiert: Es geht um die Inszenierung von Gewissheit, nicht um ihre Substanz. Ein groß angelegtes Feldexperiment bei eBay ist das deutlichste dokumentierte Beispiel für diese Lücke. Weil Suchklicks und Kaufverhalten korrelieren, fallen die Erträge aus bezahlter Suche nur noch halb so hoch aus wie konventionelle, nicht experimentelle Schätzungen, und Anzeigen auf Markenbegriffe haben keinen messbaren kurzfristigen Nutzen (NBER). Die Studie ergab, dass der Traffic auf der eBay-Website praktisch unverändert bliebe, wenn eBay seine Anzeigen auf die eigene Marke abschaltete, da er dann über organische Suchergebnisse käme, die eBay nichts kosten (CEPR). Die Attributions-Dashboards hatten jahrelang Theater gespielt und dem Werbebudget Verkäufe zugeschrieben, die ohnehin zustande gekommen wären.

Warum ist das für SaaS-Growth-Teams wichtig?

SaaS-Growth-Teams sind strukturell anfällig für Attribution Theatre, denn Anbieter konzipieren Attributions-Tools so, dass sie Korrelation zeigen, und bezeichnen sie dann so, als zeigten sie Kausalität. Google Analytics, das meiste CRM-Reporting und Standard-Multi-Touch-Modelle folgen alle demselben Prinzip: Sie erfassen, was vor einer Conversion passiert ist, und verteilen danach die Anerkennung. Keines von ihnen kann von seiner Konstruktion her sagen, was ohne den jeweiligen Touchpoint passiert wäre.

Untersuchungen, die dieses Muster über eBay hinaus nachgestellt haben, fanden denselben Substitutionseffekt in kleinerem, aber immer noch erheblichem Ausmaß. Eine Replikation bei Edmunds.com ergab denselben Substitutionseffekt, aber in deutlich geringerer Größenordnung: Weniger als die Hälfte des Traffics aus bezahlter Suche wurde über die organische Suche aufgefangen. Die Richtung der Verzerrung bleibt gleich, auch wenn das Ausmaß schwankt. Genau dieses Muster sollte jedes Growth-Team bei korrelationsbasiertem Reporting erwarten: Es überschätzt die Wirkung eher, als dass es sie unterschätzt.

Für ein SaaS-Unternehmen mit knappem Budget summieren sich die finanziellen Folgen schnell. Eine Analyse von Incrementality-Arbeit im Produktivmaßstab ergab, dass Last-Touch-Attribution trotz umfangreicher Belege, dass zugeschriebene Ergebnisse die kausale Wirkung um das 2- bis 10-Fache überschätzen können, das vorherrschende Entscheidungssignal in der digitalen Werbung bleibt. Wer als Gründer Ausgaben anhand dieser überhöhten Zahl umverteilt, optimiert nicht. Er finanziert die Illusion.

Für Early-Stage- und Growth-Stage-SaaS-Teams ist das wichtiger als für große Unternehmen mit eigenen Data-Science-Abteilungen. Ein Start-up mit zehn Personen hat meist ein Dashboard, eine Growth-Verantwortliche oder einen Growth-Verantwortlichen und keine Kapazität, vor jeder Budgetentscheidung parallel eine kausale Analyse durchzuführen. Attribution Theatre gedeiht genau in diesem Umfeld: großer Druck, eine Zahl zu liefern, und wenig Kapazität, sie zu hinterfragen.

Wie erkennen Sie Attribution Theatre im eigenen Reporting?

Einige typische Signale unterscheiden eine echte Kausalaussage von einer inszenierten:

• Es gibt keine Kontrollgruppe und keinen Holdout. Wenn niemand sagen kann, wie die Kennzahl ohne den Kanal oder die Kampagne ausgesehen hätte, ist die Zahl im Dashboard eine Korrelation im Gewand eines Ergebnisses.
• Die „Ursache“ war selbst eine Reaktion. Wenn ein Vertriebsmitarbeiter nur Kunden einen Rabatt anbietet, die bereits Abwanderungssignale zeigen, korreliert der Rabatt mit der Abwanderung, obwohl er ein Symptom und kein Auslöser ist.
• Der zeitliche Ablauf passt nicht. Wenn die vermeintliche Ursache nach der Wirkung eintrat oder so kurz davor, dass zehn andere Dinge gleichzeitig geschahen, lässt sich Korrelation nicht vom Rauschen trennen.
• Die Kennzahl hat sich für alle bewegt, nicht nur für die behandelte Gruppe. Wenn Sessions, Umsatz oder Anmeldungen über alle Kanäle gleichzeitig gestiegen sind, ist eine einzelne Kampagne wahrscheinlich nicht der alleinige Treiber.
• Niemand kann erklären, wie „Erfolg“ ausgesehen hätte, wenn die Kampagne gescheitert wäre. Eine Kausalaussage braucht ein widerlegbares Kontrafaktum. Eine korrelationsbasierte Aussage hat selten eines.

Jedes Team, das zu einem berichteten Ergebnis nicht mindestens drei dieser Fragen beantworten kann, betreibt Attribution Theatre, ob es das so nennt oder nicht.

Wie kommen SaaS-Teams von der Korrelation zur Kausalität?

Die Lösung sind nicht mehr Dashboards, sondern kontrollierte Tests. Randomisierte Holdouts, Geo-Split-Experimente und gestaffelte Rollouts sind die gängigen Werkzeuge, um eine Variable zu isolieren und ihre tatsächliche Wirkung zu beobachten, und im kleinen Maßstab braucht man dafür kein Data-Science-Team. Ein SaaS-Unternehmen, das eine neue Onboarding-E-Mail testet, kann 10 % der neuen Anmeldungen von deren Empfang ausnehmen und die Aktivierungsraten vergleichen. Dieser eine Test liefert mehr kausale Gewissheit als ein Jahr korrelationsbasierter Dashboards.

Hier unterscheidet sich Seedlings Ansatz beim Growth-Reporting von den meisten Standard-Analytics-Setups: Er führt Teams zu testbaren Hypothesen und Holdout-Vergleichen statt zu statischen Attributions-Momentaufnahmen, sodass ein behaupteter Erfolg eine Prüfung bestehen muss, bevor er zur Budgetentscheidung wird. Das Ziel ist nicht, jedem Dashboard zu misstrauen. Es geht darum, sich anzugewöhnen zu fragen, wie eine Kennzahl ohne die Maßnahme aussähe, bevor man der Maßnahme den Erfolg zuschreibt.

Attribution Theatre ist kein Zeichen für schlechtes Marketing. Es ist ein Zeichen für eine Reporting-Kultur, die selbstsichere Antworten höher belohnt als richtige. Die SaaS-Teams, die effizient wachsen, sind nicht die mit den ausgefeiltesten Attributionsmodellen. Es sind die, die bereit sind, eine Behauptung zu testen, bevor sie danach handeln, und zuzugeben, wenn das Dashboard einen Zufall statt einer Ursache gezeigt hat.