「指名検索のCVRも広告流入のCVRも改善した。なのにサイト全体のCVRは下がった」。この結果を見て、ダッシュボードの集計ミスを疑うかもしれません。しかし、計算が正しいまま、集計する単位によって傾向が逆転することがあります。それがシンプソンのパラドックスの代表的な現れ方です。
BtoBマーケティングでは、流入元、顧客企業の規模、検討段階、既存／新規といった構成比が月ごとに変化します。総合CVRだけを見て「LPが悪化した」と決めつけると、原因に合わない改修を行うおそれがあります。ただし、細かく分ければ必ず真相が分かるわけでもありません。何を分けるべきかは、問いとデータが生まれた仕組みによって異なります。
シンプソンのパラドックスとは何か
集団全体で見えた統計的な関係が、集団を分けて分析すると消えたり、反対になったりする現象です。Stanford Encyclopedia of Philosophy「Simpson’s Paradox」は、この現象の数学的な構造と、どの集計結果を意思決定に用いるべきかという因果推論上の問題を解説しています。
名称に関係する原論文は、E. H. Simpsonが1951年に発表した「The Interpretation of Interaction in Contingency Tables」です。ただし、関連する逆転現象はその以前からも論じられてきました。また、Simpsonの1951年論文の例と、今日よく使われる「全体と各群で傾向が反転する」説明は、歴史的に全く同じ範囲の現象を指しているとは限りません。
具体例：すべてのチャネルでCVRが改善したのに、全体CVRが下がる
以下は計算構造を説明するための架空のBtoBサイトの例であり、実在サイトのアクセスデータではありません。 CVは資料請求1件として考えます。
| 流入セグメント | 前月：訪問／CV数／CVR | 当月：訪問／CV数／CVR |
|---|---|---|
| 指名検索など高意図 | 900／90／10% | 100／12／12% |
| 認知広告など低意図 | 100／2／2% | 900／27／3% |
| 全体 | 1,000／92／9.2% | 1,000／39／3.9% |
前月の全体CVRは 92÷1,000＝9.2%、当月は 39÷1,000＝3.9%。全体では5.3ポイント悪化しました。
ところが指名検索などの高意図層では、10%から12%へ改善しています。認知広告などの低意図層も2%から3%へ改善しています。両方の層が良くなったのに、全体だけが悪くなっています。
原因は流入構成比の変化です。前月は高意図層が全訪問の90%を占めていましたが、当月は10%に減りました。もともとのCVRが低い層の訪問数が大きく増えたため、各層のCVRが改善していても、全体の加重平均は下がりました。
なぜ逆転する？ CVRは重み付き平均だから
全体CVRは、各セグメントのCVRを単純に足して2で割った数字ではありません。
全体CVR ＝（セグメントAのCVR×Aの訪問割合）＋（セグメントBのCVR×Bの訪問割合） です。
前月は 10%×90%＋2%×10%＝9.2%。当月は 12%×10%＋3%×90%＝3.9%。式に直すと、変わったのは各層のCVRだけではなく、集計の重みであることが分かります。
「全体の数字が嘘だった」のではありません。全体CVRも各層のCVRも正しく、それぞれが違う問いに答えているのです。全体CVRは現在流入している訪問者の混合結果を示します。層別CVRは特定の流入タイプについての結果を示します。
実務では、なぜ全体のCVRが下がったのかをどう調べる？
- ① 指標定義を固定する：CVの種類、重複計測、訪問／ユーザーの分母、計測対象期間と対象ページを確認。
- ② 流入構成比を見る：チャネル、指名／非指名、キャンペーン、既存／新規、検討段階など、実際に異なる購買意図を持ち得る区分を検討。
- ③ 各層の分母とCVRを比較する：率だけでなく件数と訪問数も並べる。少数セルの偶然変動を見落とさない。
- ④ 重みの変化と率の変化を分ける：構成比を前月に固定した仮のCVRを計算するなど、比較の観点を明確にする。
- ⑤ 施策への帰属は保留する：各層の改善が広告やLPの施策によるものかは、この表だけでは分からない。別の検証が必要。
「構成比を固定して比べる」はどう使う？
上の架空例で、当月の各層のCVRを、前月と同じ90%／10%の構成比で加重すると、12%×90%＋3%×10%＝11.1%になります。これは実測の当月全体CVR3.9%とは異なります。
11.1%は、前月の流入構成比を仮定した場合の参考値です。高意図層と低意図層の中身まで同一だったと証明するものではありません。比較条件を揃える考え方として有用ですが、施策の因果効果を自動的に示す数字ではない点に注意します。
層別すれば必ず正しくなる、という誤解
シンプソンのパラドックスから「全体を見るな、細かく分けろ」と学ぶのも危険です。どの要因で層別するかを間違えれば、かえって意思決定を歪めることがあります。
スタンフォード哲学百科事典の解説も、どの条件を考慮すべきかは、因果関係についての問いに依存すると強調しています。たとえば施策実施後に変化した変数で層別すると、見たい因果効果の一部を取り除いてしまうことがあります。
さらに、企業属性・役職・流入媒体などを細かく組み合わせるほど各セルの人数は少なくなり、不安定なCVRが生まれます。層別の切り方は分析の前にできる限り仮説を立て、結果を見てから都合のよい区分を探し続けないことが重要です。
「なぜ？」を掘る際に、因果を決めつけない
同じサイトで広告費を増やした直後に全体CVRが下がったとしても、原因は広告の質とは限りません。商談に近い指名検索が減ったのか、低意図の新規流入が増えたのか、計測定義を変えたのかを確認する必要があります。
有名な関連研究として、Bickel・Hammel・O’Connellによる1975年の論文「Sex bias in graduate admissions: data from berkeley」があります。大学院の入学者データを学科単位で分けると、大学全体の集計とは異なる構図が見えることを示した論文です。これはBtoBの施策効果を実証した研究ではありませんが、「誰が、どこへ応募したか」という構成の違いが集計結果を左右する例として参考になります。
ひとりマーケター向け：月次報告に入れる一枚
レポートには全体CVRだけを載せるのではなく、少なくとも次を並べます。
- 全体：訪問数、CV数、CVRの前月差。
- 重要な層ごと：訪問数、CV数、CVR、構成比。
- 変化の説明：率が変わったのか、構成比が変わったのか、どちらも変わったのか。
- 判断と保留：追加調査が必要な点、実施する施策、今回は結論を出さない点。
数字の読み間違いを避ける一般的な考え方は「BtoBレポートで数字を誤解させない方法」、因果推論との関係は「BtoBマーケティングで相関と因果を見分ける」でも扱っています。URLの公開状態を確認したうえで、より深く学ぶ際の手がかりにしてください。
まとめ：平均を捨てるのではなく、平均の作られ方を知る
シンプソンのパラドックスは「統計が信用できない」という話ではありません。集計単位によって答えが変わること、そしてどの答えを使うべきかには背景の知識が必要だという話です。
BtoBマーケティングでも、全体CVRが悪化したからといって、すぐLPを改修するとは限りません。分子・分母・各層の率・構成比・因果関係の仮説を順に確認すると、取り組むべき問題が見えやすくなります。
原典と参照資料
- E. H. Simpson (1951), “The Interpretation of Interaction in Contingency Tables”：1951年原論文の書誌・要旨。
- Stanford Encyclopedia of Philosophy, “Simpson’s Paradox”：数学的構造・因果推論・層別に関する学術解説。
- Bickel, Hammel & O’Connell (1975), “Sex bias in graduate admissions: data from berkeley”：学科別構成比を考慮する実例。
- Hernán, Clayton & Keiding (2011), “The Simpson’s paradox unraveled”：統計と因果の解釈を区別する解説。
この記事のWeb集客データと数値はすべて解説用の架空例です。実際のサイトで検証されたCVR改善効果を示すものではありません。