「効率的なABテストの実施方法」~一般的な統計的最適化における落とし穴~

  • このエントリーをはてなブックマークに追加
Analytics_c_ABテスト_清蔵

ABテストとは、2つのバージョンのページ、”A” と”B”、をテストするのに用いられる手法です。

手法としては、比較的有名なWebのテスト手法ですが、テストのやり方を間違うと誤った解答しか得られないという事実を皆さんは知っているでしょうか。

以前、米国で開催されたAdobeのカンファレンスに参加した時に、面白いツールがあったので紹介したいと思います。

それは『事前にABテストの期間とテストの信頼度がわかるツール』です。

これを使えば、ABテストの結果が「いつ」に出て、その時のテスト結果の「信頼度は何%」だということがわかります。なので、ABテストのスケジュールを調整しやすくなるのです。

 では、よくあるABテストの間違いやツールの使い方について詳細に説明していきたいと思います。

 

1章 ABテストの正しいPDCAを回せていますか?

 ABテストで下記のような経験はないでしょうか。

【AとBで数日テストをしたら、最初のうちはAが非常に良かったのに、時間が経つとBがAより少し良くなった。そしてまた数日後には、Aが逆転していた・・・。一体いつまでテストをやればいいのか。】

図1

 

この場合は長い間テストをした結果、Aが良かったという結果得られたので勝ちパターンはAだといえそうです。しかし、もう少し長くやればBの方が良くなるかもしれないという可能性を考えると、いつまでもテストが終われず最適な解が出せません。そうすると次のテストもいつまでたっても実施できません。その結果、予定通りにことが進まなくなり、適当に日付を区切って「こっちが勝ちだ」みたいに投げやりな結果の判断をすることになります。

 このような逆転現象が起きるとAとBどちらが本当に正しいのかわからなくなります。

ここで重要なのは、「テストの信頼性」と「テスト期間」ということです。

 「ほぼ間違いない」という結果を得るために必要な期間が事前にわかれば、その先のスケジュールも引きやすくなるので、結果の振り返り分析のためのリソースや、次回テストの準備がしやすくなります。
通常、「ほぼ間違いない」という期間を事前に判断するためには、色々な情報から統計的に検討しなければならないので、統計学を十分にわかっていないと、信頼性の高いデータを得るための期間や配信量を決定するのは非常に難しいのです。 

そうしたケースで、事前にテスト期間がどれくらい必要なのか?その期間、テストした場合の結果の信頼度はどのくらいになるのか?を予測できるツールがあります。

 まずは、ツールのサイトにアクセスをしてください。

アドビターゲット
http://adobe-target.com/testcalculator.html

下のような画面(図1)が出てきます。

ここでテストをしようと考えているサイトの情報を入力すると、「どのくらいの期間」テストを実施すれば、出てきた結果が「どの程度信頼できるか」を導き出すことができます。

Adobeで提供しているツールですが、Adobe製品を使用していなくても使用できますし無料で使用可能です。使用方法も簡単なので是非使用してみてください。私はこのツールを使って、事前にテスト期間を把握していますが、このような事前予測できるツールはほかに見たことがありませんでした。なので、スケジュールを立てる時は非常に助かっています。

画面がすべて英語なのでわかりにくいかもしれませんが、赤枠が信頼度の誤差の範囲で、青枠が信頼度に達するための日数です。つまり赤枠内の左の数値が5%とあるので、5%の誤差つまり95%の信頼度を得る(緑枠内上段左の数値)には、25日間(青枠内の左の数値)のテスト実施する必要があり、逆に17.5%の誤差82.5%の信頼度でいいならば、3日間のテストで良いということになります。

サイト1つひとつアクセス数やコンバージョンレートなどで異なってきます。緑枠内にサイトの情報を入れることでテスト期間が導き出される仕組みになっています。

図1

4図

非常に大量のアクセスがあるサイトなら信頼度を95%まで高くするのに、それほど日数はいらないと思いますが、アクセスが多くないサイトや階層が深いページの場合は、95%という信頼度を得るには非常に長期間のテストが必要になります。

 しかし、マーケティング業界の統計では、95%などという高い信頼性はいらないというのがオーソドックスな考え方です。
もちろん信頼度は高いに越したことはないのですが、そんなことをしていたら、スピードが求められるこの時代において、どんどん取り残されていってしまいます。

細かい説明は省きますが、マーケティング業界の場合、信頼度は80%あれば良いとされています。上の図1の画面でも95%の信頼度に持っていくには、25日もかかるのに、82.5%の信頼度まで持っていくのは、たったの3日でいいのです。95%の信頼度を得るための時間があるのなら82.5%のテストを8回やった方が遥かに効率の良い結果が返ってきます。

マーケティング業界のABテストではより多くのアクションを繰り返して、少しずつでも効果を改善していき、それらを積み上げていった方が、最終的に良い結果につながりやすいのです。

そのためには、ある程度の信頼性まで実施して次のテスト、次のテストと大量にテストをやっていくべきなのです。

  ABテストをやっているマーケターの皆さん、一度、このツールを試して多くのテストを試してみてはいかがでしょうか?1個1個は小さいかもしれませんが、その積み上げが大きな成果として返ってくるのは間違いないでしょう。

 

2章 ツールの使用方法・使う上での注意点

 1章で提示したツールを使うことで、「テストの信頼性」「テスト期間」が分かるようになる。とご理解いただけたかと思います。それがわかればABテストを実施できますが、ツールを正しく使用しないと間違った数値が出てくることになります。ここではツールの正しい使い方を紹介します。

 

例えば、広告受け皿用のLPにある資料請求ボタンのデザインをABテストするとします。

ABテストするページは、日別訪問者数(以下日別UU)が10,000人で、ページ経由での資料請求申込率(以下CVR)が5%とします。テストはAパターンBパターンの2種類のクリエイティブで行うとすると、

「10,000人、5%、2種類」

この情報をツール側に入力します。


図3

①ページのCVR 
ABテストを実施するページを経由した場合のCVRです。 ページによってCVRが異なってくるので注意が必要です。例の場合ですと「5」が入ります。

②ページの日別UU
平均的な数値でOKです。例の場合ですと「10,000」が入ります。

③テスト項目数
テスト対象箇所で何種類テストを実施するかです。A・Bパターンテストなら2種類なので2と入力してください。A・B・Cパターンテストなら3種類ですので3と入力します。
例の場合ですと2種類ですから「2」が入ります。

④テスト項目チェック
ABテスト対象箇所で3種類以上のクリエイティブを使用してテストする場合はチェックを入れてください。上の場合ですとABテスト対象の箇所は、2種類のクリエイティブを使ってテストを実施しますので、チェックを入れません。

⑤信頼度の数値
基本的にデフォルトのままで問題ありません。
ただし、ABテストを実施したときに、①~③の数値の影響で「Days to Complete Test」(上図の青囲み)の数値が大きくなってしまう可能性があります。そうすると非常にテスト期間が長くなってしまうので、場合によっては信頼度を下げてテストする必要があるかもしれません。
なお、20超の数値(信頼度80%未満)を入れるのはお勧めしません。ここは、状況に応じて判断してください。

他の項目については、そのままで問題ありません。

特に注意して欲しいポイントが、④のチェックの有無です。テスト箇所で一度に3種類以上のクリエイティブを使ってテストを実施する場合は、チェックを忘れずに入れてください。2種類のみのテストの場合と計算方法が異なります。このチェックを入れないと正式な計算ができず、間違った結果が出てきてしまいます。

また、このツールから導き出される数値は、入力した数値をもとに算出されるデータです。この数値から逸脱した現象が発生すれば、信頼性・期間共に異なってきますのでその点を注意してください。具体的には下の項目になります。

Ⅰキャンペーンの実施の有無 
キャンペーンにより、ページの日別UU・CVRが異なってきます。

Ⅱ他ページで別のテスト実施の有無
他ページのテストにより、UU・CVRが異なる可能性があります。
直接の遷移がなければ影響は少ないですが、多少は影響するものと思ってください。

Ⅲ複数テスト実施時、勝利者を複数選択する
3種類以上でテストを実施した場合、1つのクリエイティブが特に良かったからといって、いきなり1つにせずに、1番悪いものを除いて、再度テストすることが必要です。

正しい回答でPDCAを回していくためにも、この事項を守ってツールを使って欲しいと思います。

3章 ABテストをするまでの流れ

2章ではツールを使う上での注意点を述べましたが、3章では実際にABテストをする時、どのタイミングでツールを使っていけばいいのかをABテストするまでの流れに沿って説明します。併せてABテストをする上での注意点も説明したいと思います。

(1)テストページを決める

まず、ABテストを「どのページでテストをする」のか決めてください。

(2)テストが可能か判断する

(1)で決めたABテスト対象のページが本当にテストできるページなのか?を確認する必要があります。それは、日別のUUやCVRが低くてテスト期間が長くなってしまうという可能性があるためです。テスト期間が長くなると、高速PDCAが回せなくなるのでABテストの意味が薄くなってしまいます。なので、注意が必要です。

その判断をするために、2章で紹介した本ツールを使います。

・対象ページのCVR(2章①の項目)

・対象ページの日別UU(2章②の項目)

・テスト項目数は2のままにする(2章③の項目)

上の3つの項目を入力し、「どのくらいの期間」テストをすることになるか調べます。信頼度の数値(2章⑤の項目の「Days to Complete Test」)が大きい場合(主に30日を超える場合)は、テスト期間が長いと判断してテストの方法を変えた方がよいでしょう。その時の選択肢は3つです。

  • テストページを変更する。
  • コンバージョンとするポイントを変更する。
  • 信頼度の数値を下げる。

まずは①のテストページを変更し、もっと日別UUが多いページにするとよいでしょう。トップページは比較的トラフィックが多くなりやすいのでお勧めです。

テストページを変更したくない場合は、②か③の方法になりますが、②のコンバージョンのポイントを変更できるなら②を優先してください。
変更方法ですが、コンバージョンとしたポイントが「資料請求完了」などのABテスト対象ページから遠い場合は、もっと近くにするとよいでしょう。
それは「資料請求フォーム到達」や「次ページへの遷移」などです。

テスト対象ページに近いコンバージョンにすることでCVRが高くなりますから、その数字を調べて再度ツールに入力し、「Days to Complete Test」で信頼度の数値を調べましょう。

これでも期間が長い場合は③の信頼度の数値を下げることになります。それは、ABテストの考え方からすると矛盾することになりますが、高速PDCAを回す必要がある場合は、選択せざる得ません。

2章⑤の項目を20(信頼度80%)までにして期間が30日程度までに収まればよいですが、それでも長い場合は、さらに数値を変更していきます。下げすぎてもABテストの意味がなくなるので、30(信頼度70%)程度までで様子を見てください。これでも期間が長い場合は、長い期間テストをすると割り切るか、並行して他のページをテストするなど対策を考えましょう。

(3)テストパターンを決める

(2)でテストできる日数だと判断できたら、テストするパターンを決めましょう。A/Bの2種類でテストをするのか?A/B/Cの3種類でテストをするか?それともそれ以上にするか?です。はじめからすでに2種類でテストすると決まっているのなら問題ありませんが、3種類でテストをする場合は、テスト日数が伸びますのでここでもテスト期間が長くならないか注意が必要です。

(4)テストの準備~開始

(3)まで決めた段階でテスト期間に問題がなければ、実際のABテストの準備が終わり開始となります。

・ページのどこをテストするか?

・どのようなクリエイティブでテストをするか?

などを設定し、ツールで出たテスト期間でABテストを開始します。

 

以上のような流れで行えば、スケジュール通りにテストが実施されるでしょう。ツールの使用するタイミングや注意点など、おわかりいただけたでしょうか。

 

4章 正しく素早くPDCAを回していくために

 

これで、ツールの使用方法と注意点、ツールを使用した流れがわかっていただけたかと思います。

ツールを使用することで、事前にテスト期間がわかるので、「いつまでテストをしていたらいいのか?」という心配も減りますし、テスト後のデータチェックや次回のテストに向けた準備も計画的に進めることができるでしょう。

 ただし、ツールの設定には注意が必要です。間違った設定をしてしまうと、間違ったデータでABテストを実施してしまいます。ツールを使用するときには前章をよく読んでから実施をしてください。

 1章でも触れましたが、サイトの改善をしていくためにはPDCAを素早く回していくことが重要です。

そしてなるべく多くのABテストをしていくことが成功への近道と言えます。このツールを使用することで計画的なDOが可能になります。

PLAN(計画)・ACTION(改善案)は、マーケッターをはじめ様々な方々が考え、最も時間をかけて行わなければならないことです。ここに時間を費やせるように、またDOで無駄な時間を費やさないようにして、PDCAを回していって欲しいと思っています。

 

  • このエントリーをはてなブックマークに追加

WEBマーケティングの成果を上げたい方へ

ウェブ部の運営団体である「株式会社メディックス」は、WEBマーケティングに関するコンサルティング及び代理店サービスを提供しております。
メディックスは成果を上げるために、以下の点にこだわります。

  • ・徹底的な顧客理解
  • ・ユーザー視点でのプランニング
  • ・マーケティングパートナーとしてのビジネススタンス

ウェブ部の内容に少しでも興味を持たれた方は、お気軽にお問い合わせください。


ご相談・お問い合わせはこちらから