広告費が増えた月に問い合わせが増えた。ウェビナーを開催した直後に大型商談が成立した。こうした出来事はマーケティング施策の手応えになりますが、同じ時期に起きたことと、その施策が結果を引き起こしたことは同じではありません。
だからといって、データが示す関係をすべて疑って何も決められなくなる必要はありません。観測された数字、そこから考えた原因の仮説、因果効果を確かめるための比較を分ければ、分析結果をより安全に使えます。
1. 相関・因果・交絡を短い例で区別する
相関とは、二つの量が一緒に変動する傾向があることです。因果とは、一方に介入したことで、もう一方の結果が変わるという関係です。
例えば広告費を増やした時期に売上が増えたとしても、新製品の発売、販売員の増員、業界全体の需要増加など、ほかの要因が同時に変化しているかもしれません。このように説明を難しくする要因を交絡因子と呼ぶことがあります。
広告に効果がなかったと決まったわけでも、広告がすべての売上増加を生んだわけでもありません。まず『広告を増やした時期に売上が増えた』という観測と、『広告が増分を生んだ』という仮説を区別します。
2. アトリビューションは、観測された接点への貢献配分
Google Analyticsはアトリビューションを、重要な行動に至る経路で観測された広告やクリックなどの接点へ貢献を割り当てる仕組みと説明しています。ラストクリックやデータドリブンなどのモデルで、貢献の配分が変わります。
しかし、例えば商談前に広告をクリックした記録があったとしても、広告を見なければ商談が発生しなかったことが自動的に分かるわけではありません。GA4のデータドリブン・アトリビューションも高度なモデルに基づきますが、企業内の非公開会話や未計測の営業活動など、すべての影響を直接観測しているわけではありません。
計測モデルと増分効果の違いはBtoBアトリビューションの限界と使い方でも説明しています。
3. 因果を確かめる基本は『比較可能な反事実』
マーケティングでは、施策を実施した場合と、同じ条件で実施しなかった場合に成果がどれだけ違うかを知りたい場面があります。ただし同じ顧客の同じ時点について、両方の結果を実際に観測することはできません。そこで比較群を作り、反事実を推定します。
Google AdsのConversion Liftは、条件を満たす広告主に対し、広告を見せる群と見せない群などを比較して増分効果を検証するための機能です。ただし、全アカウントでいつでも利用できるわけではありません。適格性、観測可能な件数、設計条件を確認する必要があります。
比較群が十分に類似していなければ、差が施策によるものか別の違いによるものか判定が難しくなります。また、結果の不確実性を含むため、差を観測したとしても『あらゆる顧客に必ず同じ効果がある』とは言えません。
4. 地域別テストは、県を二つ選べば完成するわけではない
地域を単位に広告の配信条件を変えるGeo Experimentは、Googleの研究でも説明されている因果効果の測定方法です。Googleの2011年の研究では、重複しない地域を処置群・対照群へ割り当てる実験設計と、広告の影響を測定する方法を扱っています。
一方、関東で広告を出し、関西では出さなかったというだけでは、地域差や季節要因を自動的に相殺できません。地域ごとの需要、競合、人口、営業体制、価格条件、キャンペーン時期などが違う可能性があります。
Googleによる2022年の研究も、地域数が少なく差が大きい場合、予算制約や地域間の影響によって推定が難しくなると説明しています。中小規模のBtoBでは、対象地域や商談数が少なく、有効なテストが組めない場合もあります。
- 地域同士を比べる前に、過去の売上・問い合わせ・広告費・業界構成を確認する。
- 実験群をどう選んだか、営業や価格など何が変化したか記録する。
- 地域をまたぐ営業活動や顧客の移動、全国キャンペーンの影響も検討する。
- 件数不足などで結論が不安定なら、差のある数字だけで投資を増減しない。
5. BtoBの実験では、評価単位と時間差を最初に決める
同じ企業の複数担当者が別々のコンテンツを見る場合、個人単位で広告やメールを比較すると、社内共有によって群の条件が交差する可能性があります。企業単位での割り当てが適切な場合もありますが、企業数が少なくなると比較の精度が下がる場合があります。
さらに、問い合わせから商談・受注まで数か月かかるなら、短期間で得られるフォーム送信数だけでは受注に対する効果を判断できません。先行指標と最終成果を分け、必要な観測期間を検討する必要があります。
そのための実験設計やサンプル数の注意はBtoBマーケティングの実験設計にもまとめています。
6. 無理に実験できない場合は、証拠の強さを明示する
BtoB企業のすべての施策でランダム化比較試験を行えるわけではありません。実験が難しいときにも、顧客の自己申告、営業の記録、継続的な指標の推移などから改善の仮説を作ることはできます。ただし、証拠の性質を混ぜないようにします。
- 観測事実:施策開始後、対象の問い合わせが12件あった。
- 顧客の発言:面談した企業の担当者が『記事を参考にした』と述べた。
- 分析上の関係:記事閲覧と資料請求に関連が見られた。
- 原因の仮説:記事が問い合わせの後押しになったかもしれない。
- 未確認:記事を公開していなかった場合、何件の問い合わせが発生したか。
このように文章を分けるだけでも、経営層や営業へ『何が証明され、何が仮説か』を説明しやすくなります。数字は架空の説明例であり、当サイトの実績ではありません。
7. 『一度広告を止めてみる』という判断にも費用とリスクがある
広告を一定期間停止し、売上や問い合わせの変化を調べる方法も考えられます。ただし、計画のない一時停止だけでは因果効果を判定できず、機会損失が生じるおそれもあります。評価する指標と期間、比較対象、受注までの時間差、顧客への影響を整理し、実験の実施可否を判断します。
たとえば既存顧客向けの重要な案内や、顧客が確実に必要としている情報への導線は、実験のために不必要に止めるべきではありません。広告停止による顧客への影響、契約・予算上の制約、十分なサンプルが得られる見通しを確認します。
また前後比較だけで『広告を止めても売上が変わらなかった=広告には効果がない』とは断定できません。受注の遅れや需要の変化が結果を隠す可能性があります。
8. 因果推論のための報告テンプレート
小規模なBtoBマーケティングでも、以下の項目を共有資料へ載せると、数字の意味を保ちながら議論しやすくなります。
- 問い:何の施策が、どの成果を変えたか知りたいのか。
- 対象:対象企業、チャネル、期間、計測定義。
- 観測:問い合わせ数・商談数・受注など確認できた結果。
- 比較:対照群の有無、比較条件、同時に変わった要因。
- 限界:サンプル数、計測の欠落、時間差、選択の偏り。
- 次の判断:継続、縮小、追加の比較、保留。判断を変える条件も記録する。
ここまで整理すれば、『広告のおかげだった』という断定と、『よく分からないから何もできない』という極端な姿勢を避けられます。
まとめ:データの意味を過大にも過小にも扱わない
同時に動いた数字は、顧客や市場の変化を知る手掛かりです。一方、それを施策の因果効果として扱うには、より慎重な比較と検証が必要です。
観測、相関、因果の仮説、比較可能な反事実、実験の限界を分ける。十分に確かめられないときは不確実性を示す。それが、マーケティングの数字を意思決定に使うための基本です。
確認した資料
- Google Analytics「アトリビューションの概要」:計測上の接点への貢献配分。
- Google Ads「Conversion Lift について」:処置群・対照群による増分効果の計測と利用条件。
- Google Research(2011)「Measuring Ad Effectiveness Using Geo Experiments」:ランダム化した地域別広告実験の基本設計。
- Google Research(2022)「Robust Causal Inference for Incremental Return on Ad Spend with Randomized Paired Geo Experiments」:少数・異質な地域、予算制約などに伴う推定上の難しさ。