SaaSマーケティングにおけるアトリビューション・シアターとは?

相関関係と因果関係の違いとは、2つの変数が一緒に動くこと(相関関係)と、一方の変数が実際にもう一方の変化を引き起こすこと(因果関係)の違いを指します。「アトリビューション・シアター」とは、キャンペーンと並行してコンバージョンが増えていることを示すダッシュボードのような相関するマーケティングデータを、そのキャンペーンが成長の原因だったことの証明であるかのように提示する行為です。実際には、統制されたテストで両者の関連が確認されたわけではありません。SaaSチームがこの2つを取り違えると、効果的に見えるだけのチャネルに予算をつぎ込むことになります。

相関関係と因果関係の本当の違いとは?

相関関係とは、2つの指標が一緒に上昇または下降することを意味します。因果関係とは、一方の指標がもう一方の変化に直接の責任を負っていることを意味します。たとえば、SaaSチームがLinkedIn広告キャンペーンを開始した週にトライアル登録が増えたことに気づいたとします。これは相関関係です。登録の原因が本当に広告だったのか、それとも製品ローンチやプレスでの紹介、季節的な需要によるものだったのかは別の問題であり、相関関係だけでは答えられません。

因果関係を証明するには、他の条件をすべて一定に保ったまま1つの変数を切り分ける必要があり、通常は統制実験で行います。一方、相関関係の証明に必要なのは、チャート上の2本の線が同じ方向に動いていることだけです。「一緒に動いた」と「その動きを引き起こした」との間にあるこのギャップこそ、多くのアトリビューションレポートが破綻する部分であり、アトリビューション・シアターが生まれる場所です。

アトリビューション・シアターとは?

アトリビューション・シアターとは、相関関係に基づいてマーケティングチャネルに成果を割り当てた、見栄えがよく自信ありげなアトリビューションレポートを作成し、その成果をあたかも因果関係が証明されたかのように提示する行為です。厳密に見えますが、実態は当てずっぽうと変わりません。

この状態に陥るB2B SaaSチームの多くでは、仕組みが共通しています。ダッシュボードが、ラストタッチまたはマルチタッチのルールに基づいて、あるチャネルに売上を帰属させます。その売上がどのみち発生していたかどうかを確かめるホールドアウトテストは、誰も実施していません。チームは取締役会でそのレポートを事実として報告します。経営陣はその事実に基づいて予算を再配分します。次の四半期のダッシュボードの提出がもう迫っているため、再配分が実際に成果を動かしたのかを確認しに戻る人はいません。

この名称が重要なのは、レポートの専門用語が通常覆い隠してしまうもの、つまり確実性の中身ではなく、確実性を演じている状態を言い表しているからです。このギャップを最も明確に示した記録が、eBayで行われた大規模なフィールド実験です。検索クリックと購買行動は相関しているため、有料検索のリターンは、実験を伴わない従来の推定値のごく一部にすぎず、ブランドキーワード広告には短期的に測定可能な効果がありませんでした(NBER)。この研究では、eBayがブランド検索広告を停止しても、eBayのウェブサイトへのトラフィックはほとんど変わらず、eBayにとって費用のかからないオーガニック検索結果を通じて流入し続けることが分かりました(CEPR)。アトリビューションのダッシュボードは何年もの間、シアターを演じていたのです。広告費のおかげだとされた売上は、広告がなくても発生していたものでした。

なぜSaaSのグロースチームにとって重要なのか?

SaaSのグロースチームは、構造的にアトリビューション・シアターに陥りやすい状況にあります。ベンダーは相関関係を示すようにアトリビューションツールを設計しながら、あたかも因果関係を示すかのようなラベルを付けているためです。Google Analytics、ほとんどのCRMレポート、デフォルトのマルチタッチモデルはいずれも同じ原理で動いています。コンバージョンの前に起きたことを追跡し、それに応じて成果を割り当てるというものです。いずれも設計上、そのタッチポイントがなかった場合に何が起きていたかを教えることはできません。

eBay以外でもこのパターンを再現した研究では、規模は小さいものの無視できない水準で、同じ代替効果が確認されました。Edmunds.comでの再現研究でも同じ代替効果が見られましたが、規模ははるかに小さく、有料検索のトラフィックのうちオーガニック検索で取り戻されたのは半分未満でした。規模にばらつきがあっても、バイアスの向きは一貫しています。これは、相関関係に基づくレポートから、どのグロースチームも予想すべきパターンです。つまり、効果を過小評価するのではなく、過大評価する傾向があるということです。

予算が限られたSaaS企業では、金銭的な影響が急速に積み重なります。本番規模のインクリメンタリティ分析を対象とした調査の一つでは、帰属された成果が因果的な影響を2倍から10倍も過大評価しうるという有力な証拠があるにもかかわらず、ラストタッチアトリビューションがデジタル広告における主要な意思決定の指標であり続けていることが分かりました。この過大評価された数字に基づいて支出を再配分する創業者は、最適化をしているのではありません。幻想に資金を投じているのです。

アーリーステージやグロースステージのSaaSチームにとって、この問題は、専任のデータサイエンス部門を持つ大企業よりも重要です。10人規模のスタートアップには、通常、ダッシュボードが1つ、グロース担当が1人いるだけで、予算の意思決定のたびに並行して因果分析を行う余力はありません。アトリビューション・シアターは、まさにこうした環境で蔓延します。数字を示すプレッシャーは高く、それを疑う余力は乏しいのです。

自社のレポートでアトリビューション・シアターを見抜くには?

本物の因果関係の主張と、見せかけの主張とを分けるシグナルがいくつかあります。

• 対照群やホールドアウトが存在しない。そのチャネルやキャンペーンがなかった場合に指標がどうなっていたかを誰も説明できないなら、ダッシュボード上の数字は、成果の姿をした相関関係にすぎません。
• 「原因」とされるものが、それ自体が結果への反応だった。営業担当者が、すでに解約の兆候を示している顧客にだけ割引を提示している場合、割引は解約と相関しますが、それは原因ではなく症状です。
• 時系列が合わない。原因とされるものが結果の後に起きていたり、結果にあまりに近く他の10の出来事が同時に起きていたりする場合、相関関係とノイズを切り分けることはできません。
• 指標が、施策の対象グループだけでなく全体で動いた。セッション、売上、登録数がすべてのチャネルで同時に増えているなら、単一のキャンペーンだけが原動力である可能性は低いでしょう。
• キャンペーンが失敗していたら「成功」がどうなっていたのか、誰も説明できない。因果関係の主張には、反証可能な反事実が必要です。相関関係に基づく主張には、それがほとんどありません。

報告された成果について、ここに挙げた質問のうち少なくとも3つに答えられないチームは、そう呼んでいるかどうかにかかわらず、アトリビューション・シアターを演じているにすぎません。

SaaSチームはどのように相関関係から因果関係へ進めばよいのか?

解決策はダッシュボードを増やすことではなく、統制されたテストです。ランダム化ホールドアウト、地域分割実験、段階的ロールアウトは、1つの変数を切り分けてその実際の効果を観察するための標準的な手法であり、小規模であればデータサイエンスチームがなくても実施できます。たとえば、新しいオンボーディングメールをテストするSaaS企業は、新規登録者の10%にはメールを送らずにおき、アクティベーション率を比較できます。このテスト1つで、1年分の相関関係に基づくダッシュボードよりも多くの因果的な確証が得られます。

ここが、Seedlingのグロースレポートの手法が、ほとんどのデフォルトの分析環境と異なる点です。静的なアトリビューションのスナップショットではなく、検証可能な仮説とホールドアウト比較へとチームを導くため、成果の主張は、予算の意思決定になる前に検証を通過しなければなりません。目的は、あらゆるダッシュボードを疑うことではありません。施策に成果を帰属させる前に、その施策がなかった場合に指標がどうなるかを問う習慣をつくることです。

アトリビューション・シアターは、マーケティングが悪いことの表れではありません。正しい答えよりも自信に満ちた答えが評価される、レポート文化の表れです。効率よく成長するSaaSチームは、最も高度なアトリビューションモデルを持つチームではありません。主張に基づいて動く前にそれをテストし、ダッシュボードが示していたのが原因ではなく偶然の一致だったと認められるチームです。