2017年3月、Google オプティマイズの利用が一般公開されました。
第1部では、Google オプティマイズでできることを、第2部では、Google オプティマイズでのテスト登録や操作方法について紹介しました。
第1部の記事はこちら
第２部の記事はこちら
第3部では、Googleオプティマイズでウェブテストを行った結果を確認し、レポーティングする際の注意点を紹介します。ぜひ、サイト改善に役立ててみてください。
目次
Googleオプティマイズのテスト結果を確認する方法は？
ウェブテストを実施した後は、テストの結果を確認し、施策を評価しましょう。
では、テスト結果を確認するにはどうしたらよいでしょうか。
Google オプティマイズの結果を確認する方法は2通りあります。
1つ目はGoogle オプティマイズの管理画面で確認する方法
2つ目はGoogle アナリティクスの管理画面で確認する方法です。
Google オプティマイズの管理画面で確認する方法
Google オプティマイズの管理画面を開き、テスト（エクスペリエンス）画面を開きます。
[終了]テストの一覧で、対象となるテストをクリックします。
この記事では、「公開終了したテスト②」の結果画面（当該テスト)をもとに管理画面の確認方法を紹介します。
当該テストの場合は、下記2パターンで実施しました。
元のページレイアウトの「オリジナル」
変更を加えた「テストパターン：１」
結果を見るには、画面の上のメニューにある「レポート」をクリックします。
レポートページは、3つの「カード」と呼ばれるコンテンツで構成されています。
上から順に、
「サマリー」カード
「改善率の概要」カード
「目標の詳細」カード
です。
「サマリー」カード
「サマリー」は結果概要を知るレポートです。
当該テスト結果では、「明確なリーダーが見つかりませんでした。」と表示されています。これは「このテストにより、CVへの寄与に明確な差が生じるような結果が出ていない」ということを示しています。
これは、統計的に優位性があるデータとまでは言い切れないということになりますので、改めて他のテスト施策を実施してみましょう。ただしある程度の差分が出た場合については、結果が良好であったまたは悪い結果になったという判断のもと、テスト結果を本番サイト側へ反映する、または別のテストを実施するなど、次の行動に移りましょう。
もしも結果が出た場合は、下記のように「明確なリーダーが見つかりました。」と表示されます。
これは後述する「最善である確率」が、95%以上であると評価された場合に表示されるようです。
Google が提示している例はこちらをご確認ください。
Google オプティマイズ Report: https://support.google.com/optimize/answer/6218117
「改善率の概要」カード
改善率とは、目標についての改善率で比較されます。
Googleオプティマイズでは、オリジナルに対する改善率が確認できるため、作成したパターンがオリジナルと比べ、どのくらい効果的かがわかります。
例えば、当該テストの場合では、「オリジナル」が基準値となり、「テストパターン：１」が比較対象となります。
上図で、横軸に並んでいるのは、各目標設定です。
「目標」は無料版のオプティマイズの場合、最大3つまで指定することができます。「目標」はGoogle アナリティクス側に設定している目標の場合、下記を設定可能です。
- 特定のページ到達
- イベント発生
- 一定ページビュー数閲覧数
- 一定時間サイト滞在時間
「目標の詳細」カード
目標に対する各パターンのパフォーマンスを、改善率・最適である確率、ベースラインを上回る確率から判断することができます。
目標の詳細カードの左上には設定した目標名が表示されますが、その右隣の「▼」から、対象となる目標を切り替えすることができます。
パフォーマンスの指標となるのは、下記です。
● 改善度
そのパターンがオリジナルパターンでのCVRに対して、どのくらいの差があるかの範囲を表わしています。マイナスが範囲に含まれるということは、効果が得られない可能性もあることが試算結果として含まれています。そのため、小さくてもなるべくプラスが範囲として表現されるのがよいでしょう。
また、プラスの範囲の中でも数値の範囲が広い場合には、結果のブレ幅が大きいということになります。なるべくブレの少ない狭い範囲の方が、確実な改修結果が得られる可能性が高いです。
● 最適である確率
選択したパターンのパフォーマンスが、ほかのすべてのパターンよりも高くなる確率を表しています。この確率は、実施しているパターンすべての和が100%となるように算出されています。
当該テストの場合、オリジナルパターンとテストパターン１の２通りでの実施でした。テスト結果としては、オリジナルパターンはテストパターン１に比べ20%の確率で最適であり、逆にテストパターン１は、オリジナルパターンに比べて80%の確率で最適という結果を示しています。つまり、今回のケースでは、テストパターンの方が、オリジナルパターンの配信をするよりも、最適である確率が高いという解釈となります。
●ベースラインを上回る確率
選択したパターンのコンバージョン率が、オリジナルパターンのコンバージョン率を上回る確率のことです。オリジナルパターンと 1つのパターンをテストする場合、そのパターンの「ベースラインを上回る確率」は 50%（可能性は半々）が初期値となります。この数値は、オリジナル対当該パターンという関係性のため、各パターンの確率の和が100%にはなりません。
●コンバージョン率
オリジナルパターンのCVRの範囲と、試したいパターンのCVRの範囲とを並べて視覚的に比較できる機能です。
●コンバージョン数
モデルから算出したコンバージョン数のため、Google アナリティクスに計測されているデータとは異なります。
公式ヘルプ「オプティマイズ レポートとアナリティクス レポートの違い」：https://support.google.com/optimize/answer/6323229
GoogleオプティマイズのレポートとGoogleアナリティクスレポートでは、違いがあります。Google アナリティクス側では、設定した目標に到達した件数が表示されますが、Googleオプティマイズ側では、テストの終了タイミングで、最後のデータ取得から終了までの間に生じるウェブテストセッションは、Googleオプティマイズにはプッシュされません。つまり、ウェブテストの終了間際に来訪し、CV時にはテストが終了していた場合、ウェブテストのセッションデータはあがるものの、CVデータとしては評価されないということになります。
Googleアナリティクスの管理画面で確認する方法
次に、Googleアナリティクスで確認する方法を紹介します。
まず、Google アナリティクスの管理画面にログインします。
すると、左側メニューの「[行動]＞ウェブテスト」から、稼働したテスト結果やテストの経過を確認することができます。
このページでテスト結果が表示されるのは、Google オプティマイズの管理画面で紐付けしたビューのみです。なるべくフィルタのかかっていないビューを選択し、データの抽出時に細かくセグメントを設定するのがよいでしょう。
メニューをクリックすると、Google オプティマイズと紐付いているテスト一覧が表示されます。
当該テストページには、Google アナリティクスの前機能である「ウェブテスト」機能の結果も表示されます。Google オプティマイズがリリースされたことで、「ウェブテスト」自体は時期未定ながらもサポート終了対象と掲示されています。
テストを実施した「オリジナル」と「テストパターン：1」の２つが表示されます。
GAでのセグメント作成方法
Google アナリティクスでGoogleオプティマイズのデータを見る際に、セグメントを作成してデータ抽出することができます。どのように作成すればよいのでしょうか。
Googleオプティマイズで、データのセグメントを作成するには、下記のディメンションを利用します。
テストID
テスト名
パターン
パターンを含むテストID
ただし、「テスト名」は、全く同じテスト名で作成することが可能であることと、テスト名自体を後日変更することができる仕様のため、セグメントを作成する場合は、ほかと被ることがなく、不変の値である「テストID」を用いることをおすすめします。
事前準備：Google オプティマイズで、セグメントに設定する分類項目の値を確認する
Google アナリティクスでセグメントを作成するために、条件指定する具体的な内容は、Google オプティマイズで確認する必要があります。
テストID
パターン
パターンを含むテストID
この3つをGoogle オプティマイズの管理画面で確認しましょう。
●テストID
「テストID」は、Google オプティマイズのテストに割り振られた固有のIDです。
テストの詳細ページを見ると、画面右側に、「Google アナリティクス」の下に「ID」という表記があります。これがGoogleオプティマイズの「テストID」にあたります。
Google アナリティクス側では、この「テストID」を完全一致で指定して、対象のテストを抽出しましょう。
●パターン
次に「パターン」ですが、オリジナルパターンに関しては常に「0」が入ります。
配信対象のパターンを複数作成した場合は、「1」「2」・・などの整数が入ります。
「パターン」はGoogleオプティマイズ側でパターンを作成した際に自動採番され、デフォルトで生成されるパターン名にも記載されています。
もし、パターン名を完全に変更してしまった場合は、Googleオプティマイズ側の各パターンの編集ページを表示してください。
画面左上にあるパターンの切り替えプルダウンに、パターンIDとパターン名が対になった状態の一覧を見ることがで
●パターンを含むテストID
「パターンIDを含むテストID」は、「【テストID】:【パターンID】」のように、複数の分類項目が1つのディメンションの中に結合して記載されています。なので、1条件だけでセグメントを作成することができます。
●Google アナリティクスでのセグメントの作成
実際にGoogle アナリティクスの管理画面でセグメントを作成する場合は、下図のように画面の上部にあるセグメントエリアに必要なセグメントを適用します。
ただしセグメントを適用した場合は、サンプリングがかかりやすくなりますので、その点を考慮してデータを閲覧することが大切です。
GoogleオプティマイズとGoogle アナリティクスの各レポートに差が生じる理由とは？
GoogleオプティマイズとGoogle アナリティクスの、双方のデータを見くらべると、データの数値に差がある、ということに気付きます。
なぜ、このような差が生じてしまうのでしょうか。
差が生じる理由１：集計方法が異なる場合（機能仕様の違い）
1つ目として、Google アナリティクス側では、各指標の集計方法が異なるということが原因です。指標となるセッション数や、eコマースのコンバージョン率などが異なる理由をGoogleはこう説明しています。
-
Googleアナリティクスは実際のコンバージョン率を報告しますが、オプティマイズはモデル化されたコンバージョン率を報告します。
-
両者のレポート作成時間には違いがあります（Googleアナリティクスの方がGoogleオプティマイズより高速です）。
-
テスト終了の直前に生じたセッションは、Googleオプティマイズにはプッシュされませんが、Googleアナリティクスには表示されます
参照：https://support.google.com/optimize/answer/6323229?hl=ja&ref_topic=6197702
まずは「コンバージョン率」についてですが、Google アナリティクスのコンバージョン率は、設定した目標の到達数のセッションに対する割合の集計結果です。
Googleオプティマイズの場合には「モデル化されたコンバージョン率」とあり、こちらは統計的モデリングを用いた予測値です。
このGoogle オプティマイズのテスト結果の算出は、予測値の算出に効果的なベイズ統計と呼ばれる手法を用いており、単純な集計ではなく、より人間の感性に近い形で集計を施した確率から算出した結果を示しています。
また、双方の「セッション数」に関してですが、Google アナリティクスのセッション数は、「訪問回数」を表しています。
一方、Googleオプティマイズ側の「セッション数」は、「テストを表示しているセッションに加え、過去にテストを表示したセッションを持つユーザが、テスト期間中に再来訪したタイミングにも1セッションとカウント」するというところに、計測方式の違いがあります。
差が生じる理由２：GAデータにフィルタを設定している場合
2つ目として、Google アナリティクス側で、フィルタを設定している場合があります。
Google オプティマイズ で均等配信したとします。しかし、Google アナリティクス側のビューでフィルタを設定した場合には、計測データが絞り込まれるため、結果として配信比率が意図した比率にならないということがあります。
Google側がフィルタのかかっていないビューへの紐付を推奨しているのはこういった背景があるからです。
設定する際の注意点
上記の理由から、設定時には、フィルタのかかっていないビューを紐付け対象として指定しましょう。フィルタの設定されているビューしか存在しない場合は、フィルタの設定されていないビューを新たに作成しテスト時のデータ用に閲覧するか、または、フィルタによってデータがずれることを理解した上で紐付けを行いましょう。
まとめ
この記事ではGoogleオプティマイズでのウェブテストの確認方法について解説しました。
期間の終了までテストを稼働させても結果がでないことがあることや、GoogleアナリティクスとGoogleオプティマイズの画面では、出力されるデータが異なるなどの注意点もいくつかありますので、データの違いを認識しながら、日々の業務に役立ててみてください。
