Qu'est-ce que l'Attribution Theatre dans le marketing SaaS ?

La différence entre corrélation et causalité tient à ceci : la corrélation désigne deux variables qui évoluent ensemble, la causalité une variable qui provoque réellement un changement dans une autre. L'« Attribution Theatre » consiste à présenter des données marketing corrélées, comme des tableaux de bord montrant des conversions en hausse pendant une campagne, comme si elles prouvaient que cette campagne a provoqué la croissance, alors qu'aucun test contrôlé n'a confirmé ce lien. Pour les équipes SaaS, confondre les deux revient à injecter du budget dans des canaux qui ne font que sembler efficaces.

Quelle est la vraie différence entre corrélation et causalité ?

La corrélation signifie que deux indicateurs montent ou baissent ensemble. La causalité signifie que l'un de ces indicateurs est directement responsable de l'évolution de l'autre. Une équipe SaaS peut constater que les inscriptions à l'essai ont augmenté la semaine même où elle a lancé une campagne publicitaire LinkedIn. C'est une corrélation. Savoir si les publicités ont réellement provoqué ces inscriptions, plutôt qu'un lancement de produit, une mention dans la presse ou la demande saisonnière, est une tout autre question à laquelle une corrélation seule ne peut pas répondre.

Prouver une causalité exige d'isoler une variable en maintenant tout le reste constant, généralement au moyen d'une expérience contrôlée. Prouver une corrélation ne demande rien de plus que deux courbes qui vont dans la même direction sur un graphique. Cet écart entre « ont évolué ensemble » et « a provoqué l'évolution » est précisément le point où la plupart des rapports d'attribution cessent d'être fiables, et c'est là que vit l'Attribution Theatre.

Qu'est-ce que l'Attribution Theatre ?

L'Attribution Theatre consiste à produire des rapports d'attribution soignés et à l'air assuré, qui attribuent le mérite aux canaux marketing sur la base d'une corrélation, puis à présenter ce mérite comme s'il était prouvé de façon causale. Cela a l'apparence de la rigueur, mais cela relève de la conjecture.

Le mécanisme est le même dans la plupart des équipes B2B SaaS qui y tombent. Un tableau de bord attribue du chiffre d'affaires à un canal, selon des règles de last-touch ou de multi-touch. Personne n'a mené de test de holdout pour vérifier si ce chiffre d'affaires serait arrivé de toute façon. L'équipe présente le rapport en comité de direction comme un fait. La direction réalloue le budget sur la base de ce fait. Personne ne revient vérifier si cette réallocation a réellement changé le résultat, car le tableau de bord du trimestre suivant est déjà attendu.

Ce nom est important, car il met le doigt sur ce que le jargon des rapports masque habituellement : la mise en scène de la certitude, et non sa substance. Une expérience de terrain à grande échelle menée chez eBay est le cas documenté le plus parlant de cet écart. Les clics de recherche et les comportements d'achat étant corrélés, les retours du paid search ne représentent qu'une fraction des estimations conventionnelles non expérimentales, et les annonces sur les mots-clés de marque n'ont aucun bénéfice mesurable à court terme (NBER). L'étude a constaté que si eBay arrêtait ses annonces de recherche sur sa marque, le trafic vers le site d'eBay resterait pratiquement inchangé, en passant par des résultats de recherche organique qui ne coûtent rien à eBay (CEPR). Les tableaux de bord d'attribution jouaient la comédie depuis des années, en attribuant aux dépenses publicitaires des ventes qui auraient eu lieu de toute façon.

Pourquoi est-ce important pour les équipes growth SaaS ?

Les équipes growth SaaS sont structurellement exposées à l'Attribution Theatre, car les éditeurs conçoivent des outils d'attribution qui montrent de la corrélation, puis les présentent comme s'ils montraient de la causalité. Google Analytics, la plupart des rapports CRM et les modèles multi-touch par défaut reposent tous sur le même principe : suivre ce qui s'est passé avant une conversion et répartir le mérite en conséquence. Aucun d'eux, par conception, ne peut vous dire ce qui se serait passé sans le point de contact.

Des recherches reproduisant ce schéma au-delà d'eBay ont observé le même effet de substitution, à une échelle plus modeste mais encore significative. Une réplication chez Edmunds.com a constaté le même effet de substitution, mais avec une ampleur bien moindre : moins de la moitié du trafic du paid search a été récupérée par la recherche organique. Le sens du biais reste constant même lorsque son ampleur varie, ce à quoi toute équipe growth doit s'attendre avec un reporting fondé sur la corrélation : il tend à surestimer l'impact, pas à le sous-estimer.

Pour une entreprise SaaS au budget serré, la conséquence financière s'aggrave vite. Une analyse de travaux d'incrémentalité menés à l'échelle de la production a constaté que l'attribution last-touch reste le principal signal de décision en publicité digitale, malgré de nombreuses preuves que les résultats attribués peuvent surestimer l'impact causal d'un facteur 2 à 10. Un fondateur qui réalloue ses dépenses sur la base de ce chiffre gonflé n'optimise pas. Il finance une illusion.

Pour les équipes SaaS en phase de démarrage et de croissance, l'enjeu est plus important que pour les grandes entreprises dotées de fonctions data science dédiées. Une start-up de dix personnes dispose généralement d'un seul tableau de bord, d'un responsable growth et d'aucune capacité pour mener une analyse causale parallèle avant chaque décision budgétaire. L'Attribution Theatre prospère précisément dans ce contexte : forte pression pour présenter un chiffre, faible capacité pour le remettre en question.

Comment repérer l'Attribution Theatre dans vos propres rapports ?

Quelques signaux constants distinguent une véritable affirmation causale d'une affirmation de façade :

• Il n'existe ni groupe témoin ni holdout. Si personne ne peut dire à quoi l'indicateur aurait ressemblé sans le canal ou la campagne, le chiffre du tableau de bord est une corrélation déguisée en résultat.
• La « cause » était elle-même une réaction. Si un commercial ne propose une remise qu'aux clients qui montrent déjà des signes de churn, la remise sera corrélée au churn alors qu'elle en est un symptôme, pas un moteur.
• La chronologie ne tient pas. Si la cause supposée est survenue après l'effet, ou si près de lui que dix autres événements se sont produits en même temps, la corrélation ne peut pas être distinguée du bruit.
• L'indicateur a bougé pour tout le monde, pas seulement pour le groupe exposé. Si les sessions, le chiffre d'affaires ou les inscriptions ont augmenté sur tous les canaux à la fois, une seule campagne a peu de chances d'en être l'unique moteur.
• Personne ne sait expliquer à quoi aurait ressemblé le « succès » si la campagne avait échoué. Une affirmation causale suppose un contrefactuel réfutable. Une affirmation fondée sur la corrélation en a rarement un.

Toute équipe incapable de répondre à au moins trois de ces questions sur un résultat présenté pratique l'Attribution Theatre, qu'elle le sache ou non.

Comment les équipes SaaS passent-elles de la corrélation à la causalité ?

La solution n'est pas de multiplier les tableaux de bord, mais de tester de façon contrôlée. Les holdouts aléatoires, les expériences par zones géographiques et les déploiements progressifs sont les outils habituels pour isoler une variable et observer son effet réel, et ils ne nécessitent pas d'équipe data science à petite échelle. Une entreprise SaaS qui teste un nouvel e-mail d'onboarding peut en priver 10 % des nouveaux inscrits et comparer les taux d'activation. Ce seul test apporte plus de certitude causale qu'une année de tableaux de bord fondés sur la corrélation.

C'est là que l'approche de Seedling en matière de reporting growth se distingue de la plupart des configurations analytiques par défaut : elle pousse les équipes vers des hypothèses testables et des comparaisons avec holdout, plutôt que vers des instantanés d'attribution figés, de sorte qu'un succès revendiqué doit résister à une vérification avant de devenir une décision budgétaire. Le but n'est pas de se méfier de tous les tableaux de bord, mais de prendre l'habitude de se demander à quoi ressemblerait un indicateur sans l'intervention avant de lui en attribuer le mérite.

L'Attribution Theatre n'est pas le signe d'un mauvais marketing. C'est le signe d'une culture du reporting qui récompense les réponses assurées plutôt que les réponses justes. Les équipes SaaS qui croissent efficacement ne sont pas celles qui ont les modèles d'attribution les plus sophistiqués. Ce sont celles qui acceptent de tester une affirmation avant d'agir en conséquence, et de reconnaître quand le tableau de bord montrait une coïncidence plutôt qu'une cause.