
簡単な答え
アトリビューションは注文をクリエイターの成果として紐付けるもので、インクリメンタリティはキャンペーンがなければ発生しなかった成果を推定するものです。 無作為に割り当てた対照群、地域分割、オーディエンスのホールドアウト、または信頼できる過去期間の基準値を使用します。開始前に、主要指標、割り当て方法、実施期間、検出可能な最小効果、終了ルールを定義してください。テスト途中で予算、オーディエンス、クリエイティブを変更しないでください。サンプル数が少ない場合は、効果の増分を断定せず、不確実性を報告します。
一つの明確な仮説から始める
「効果があるか試す」ではなく、「クリエイターのコンテンツによって、対象市場の新規顧客購入率が少なくとも8%向上する」といった仮説を用います。主要指標を一つ選び、その他の指標は原因分析に使ってください。
検証単位には、ユーザー、地域、期間などを設定できます。利便性だけでなく、データ、複数条件への接触、運用を踏まえて選択してください。
施策実施群と対照群を比較可能に保つ
価格、ランディングページ、在庫、販促施策、ほかのメディアを可能な限り同じ条件に保ちます。クリエイターのコンテンツが自然に対照地域へ広がった場合は、対照地域での接触を記録してください。
Google Adsのテストでは、元のキャンペーンとテスト用キャンペーンにトラフィックを分割し、テスト途中の変更によって結果の解釈が難しくなると注意を促しています。クリエイター施策の実験にも、同じ規律が必要です。
増分コンバージョンを計算する
純増率は、施策実施群のコンバージョン率から対照群のコンバージョン率を引いた値です。その差に施策実施群の人数を掛けて純増コンバージョン数を概算し、純貢献利益または売上高を用いて純増価値を算出します。
施策実施群20,000人のコンバージョン率が4.5%、対照群20,000人のコンバージョン率が4.0%であれば、0.5ポイントの上昇は約100件の追加注文に相当します。ただし、統計的有意性の確認には適切な分析が必要です。
機会費用とコンバージョンまでの時間差を含める
ホールドアウト群を設けると、短期的な売上を犠牲にする可能性があります。高額商品や検討期間の長い商品では、コンバージョンまでの時間も必要です。
Conversion Liftの公式ガイダンスでは、一部の調査には相当の予算とコンバージョン数が必要であり、通常は14日を超える期間が推奨されています。小規模なキャンペーンで同等の精度を主張するべきではありません。傾向を把握するための地域別テストであれば、限界を明示したうえで報告できます。
リフトを測定する前に実験単位を定義する
Google Adsのテストは、キャンペーンの変更を検証するもので、一度に一つの変数を検証することを推奨しています。一方、コンバージョンリフトは、施策実施群と対照群のコンバージョンの差を使って増分効果を推計します。クリエイターキャンペーンにもこの構造を応用できますが、市場、オーディエンス、期間といった実験単位は、結果を見た後に選ぶのではなく、開始前に確定する必要があります。
施策実施群の50,000人から1,400件のコンバージョンが発生した場合、コンバージョン率は2.8%です。対照群の50,000人から1,100件のコンバージョンが発生した場合は2.2%です。絶対リフトは0.6パーセントポイント、相対リフトは約27.3%、このシナリオにおける増分コンバージョン数は300件となります。この単純な計算だけでは統計的有意性は立証できません。群間の影響混入、並行する販促、群をまたいだ接触についても確認が必要です。
純増効果テストの設計記録
開始前に検証設計と除外条件を確定する。
| 項目 | 開始前の記録 | 開始後の確認 |
|---|---|---|
| 実験単位 | 市場/オーディエンス/時期 | 汚染 |
| 主要指標 | 統一されたコンバージョン定義 | データの完全性 |
| 観測期間 | 開始、終了、タイムラグ | 並行して行う施策 |
| 停止ルール | サンプル数または時間のしきい値 | 途中結果の早期確認 |
実用ツール
施策実施群と対照群のリフト計算ツール
絶対リフト、相対リフト、シナリオ上の増分効果を計算します。これは有意差検定ではありません。
出典および参考文献
外部ページは変更される可能性があります。公開前にプラットフォームのルール、契約書、および現地法を再確認してください。