展示会、ホワイトペーパー、メール施策。BtoBでは「実施後に商談が増えた」だけでは、その施策が増加を生んだと断定できません。景況感、営業体制、既存顧客の更新時期などが同時に動くからです。一方、全顧客を無作為に二群へ割り付けるA/Bテストも、現実には難しいことがあります。
そこで検討候補になるのが、差の差法（Difference-in-Differences、DiD）です。施策を行った群と行わなかった群について、施策前から施策後への変化量をそれぞれ求め、その変化量同士を比べる方法です。ただし比較群を置くだけで因果が証明されるわけではありません。本記事では計算の仕組みと、使ってはいけない条件まで具体化します。
まず結論――「施策後の差」ではなく「変化した分の差」を見る
DiDは、施策を受けた群と比較群の前後差を比べる準実験的な手法です。世界銀行の『Impact Evaluation in Practice』第7章や、世界銀行DIMEの解説では、この考え方と平行トレンドという重要な仮定が整理されています。
施策群だけの前後比較だと、市場全体が伸びた分まで成果に含めます。一方、施策後の二群の単純比較では、もともとの規模差や顧客層の違いを無視しがちです。DiDは、施策がなかった場合の施策群の変化を、比較群の変化で近似できるかを問います。
架空例――重点営業施策後の有効商談を比べる
以下は説明用に作成した架空データです。実在企業の実績ではありません。製品・顧客の条件が似た二つの対象群を用意し、A群のみで重点的なコンテンツ提供と営業フォローを実施したとします。指標は、各群の対象企業100社当たりの有効商談件数です。
| 群 | 施策前 | 施策後 | 前後の変化 |
|---|---|---|---|
| A群：施策あり | 40件 | 65件 | +25件 |
| B群：比較群 | 30件 | 45件 | +15件 |
A群だけを見ると25件増です。しかし同じ時期、施策のないB群でも15件増えています。変化量の差を取ると、（65−40）−（45−30）＝10件です。つまりこの架空例のDiD推定値は、対象企業100社当たりの有効商談で＋10件となります。
ただし、この数字をそのまま「施策が確実に10件を創出した」と公表してはいけません。両群に同じような外部要因が働き、施策がなければA群もB群と同じ変化をした、とみなせることが必要です。観測件数、ばらつき、比較群の性質も確認しなければ統計的な不確実性は評価できません。
最重要の前提――「平行トレンド」は保証できない
DiDの核となる仮定は、施策が行われなければ、両群の指標は同じように変化したはずだというものです。これを平行トレンド（parallel trends）と呼びます。二群の数値水準が最初から完全に同じである必要はありません。重要なのは、施策がない場合の変化の軌跡です。
実務では、施策前の複数期間（例えば数か月間）の推移を確認します。施策前からA群だけ急上昇していたなら、施策後の増加を介入によるものと考える根拠は弱くなります。ただし施策前の線が似ていたことは、反事実の平行性を証明しません。世界銀行の解説も、事前トレンドの一致を参考材料としつつ、仮定そのものは直接検証できない点を指摘しています。
BtoBではどんな「比較できない理由」が起きるか
- 対象企業の選別：営業が成約しやすい企業だけをA群へ入れた場合、施策前後の伸びも異なる可能性があります。業種・企業規模・購買段階を比較します。
- 同時施策の影響：A群だけ価格改定、専任営業の増員、製品機能の先行提供が行われたら、単独の施策効果を分離できません。
- 波及・汚染：B群にも記事が共有される、同じ担当営業が施策内容を使う、といった場合は非施策群ではなくなるおそれがあります。
- 対象の入れ替わり：前後で顧客数や購買段階の構成が変わると、100社当たりに正規化しても同じ母集団を比較できない場合があります。
- 商談までの時間差：エンタープライズ商材は接点から商談まで時間がかかります。評価時期が短いと効果の一部しか観測できません。
比較群は「施策をしなかったから自動的に適切」ではありません。選定理由、施策以外の差、観測できない交絡、対象から外した条件を記録します。複数の時期にわたって段階的に施策が開始される場合、単純な二群二時点の計算をそのまま適用するのは危険です。
実務で始めるなら、この7項目だけ先に固定する
- 問い：どの施策が、誰のどんな判断・行動を変えたか。指標は有効商談なのか、更新率なのか。
- 分析単位：アカウント、事業部、地域、営業チームのどれを比較するか。途中で混在させない。
- 施策群と比較群：割り当て理由、規模、業種、既存の成長率、営業支援の違いを書き出す。
- 期間：施策前の複数時点と施策後の観測期間。季節性と営業サイクルを考慮する。
- 同時変化：価格、広告投下量、営業人員、製品仕様、計測定義の変更を記録する。
- 判定条件：効果の大きさだけでなく不確実性、最低限意味のある差、追加調査・中止基準を定める。
- 結論の強さ：因果推定の前提が弱い場合は「関連する変化を観測」「施策効果は未確定」と明記する。
使えないときは、無理に「因果効果」を出さない
比較群が存在しない、施策前の推移がほとんど残っていない、重要な同時施策が複数あり切り分けられない、顧客数が少なく大きく揺れる。こうした状況なら、DiDを採用しない判断も合理的です。
代替として、利用できる範囲で無作為化した小規模テスト、対象を絞った定性的な検証、期間や対象を明示した前後比較などを組み合わせます。ただし代替手法も自動的に因果を証明するわけではありません。使用した証拠の強さを報告に残します。
1ページ報告書の文例――推定値と限界を並べる
架空の報告例：「重点施策対象群の有効商談は100社当たり40件から65件へ増加した。同時期の比較群は30件から45件へ増加し、差の差は＋10件だった。これは説明用の推定値であり、施策群の選択理由、平行トレンドの妥当性、同時施策、対象構成の差、サンプルのばらつきを精査していないため、現時点では施策の因果効果と確定しない」。
実際のレポートでは、事前に決めた成功基準、顧客に生じる不利益の可能性、分析を再現できる集計条件も添えます。数字だけを大きく掲げるより、どこまで信じられるかを同時に示すことが、次の予算判断に役立ちます。
まとめ――差を二回引くだけでは終わらない
差の差法は、施策群と比較群の前後変化を比べ、共通の時間変化を差し引こうとする方法です。BtoBマーケティングでも、無作為化しにくい施策の評価候補となります。しかし最重要の論点は計算式より施策がなかった場合の両群の変化を、なぜ比較できると考えるのかです。
既存の相関と因果・地域別実験のガイドで判断の全体像を確認し、マーケティング実験の進め方で成功・失敗・判定保留を区別できます。この記事はその中でも、差の差法の前提を自分で点検するための詳しい実務編です。
参照した資料と適用範囲
- World Bank / IDB, Impact Evaluation in Practice 第2版・第7章「Difference-in-Differences」――施策と比較群の前後変化を用いる基本的な評価枠組み。
- World Bank, “The often (unspoken) assumptions behind the difference-in-difference estimator in practice”（2013年）――平行トレンドの仮定と、モデルによる前提の変化。
- World Bank, “When your difference-in-differences has too many differences”（2020年）――対象群の属性差と条件付き平行トレンドの議論。
- NBER Working Paper 24857, The Promise and Pitfalls of Differences-in-Differences（2018年）――事前トレンドの比較だけでは仮定の妥当性が保証されない点を論じる研究。
資料と記事の境界：差の差法の数学的枠組みと前提条件は上記の研究・評価資料に基づきます。一方、A群・B群の商談数、実務用7項目、レポート文例は当サイトが構成した架空の説明・編集提案です。実証されたBtoB施策の効果値ではありません。
本文制作：公開資料を照合し、AIによる構成・草案補助を経て編集。統計的手法を実案件へ適用する際は、観測単位、データ品質、分析設計に応じた専門的な確認が必要です。