セミナーをやると、『Website Optimizer を使った時、テスト期間はどれくらい必要ですか？』という質問を、よく頂きます。（先日のセミナーでも、同じ質問を受けました…）

Website Optimizer を設定した後、データが溜まりはじめると、下記のようなレポート画面を見ることができます。

この例では、オリジナルページとは別に、2 つのパターンを用意して、ABテストを行っています。

それぞれのパターンにある “バーの幅” が、コンバージョン率の分散（コンバージョン率のブレ幅）を表しています。

十分なデータが溜まっていないうちは分散も大きいので、上記のオリジナルのコンバージョン率を例に挙げるなら、実際のコンバージョン率は 1.32% であっても、そのデータ量だと ±0.9% のブレ幅を計算しなければいけないという判断のもと、バーの幅が広く表示されます。

オリジナルのコンバージョン率の可能性のうち、最も良いコンバージョン率は（1.32% + 0.9% = 2.22%）となり、バーの右端がそれを意味しています。

組み合わせ 1 のコンバージョン率にもブレ幅はあるのですが、バーの黄色く表示されている部分が、オリジナルのコンバージョンよりも、良くなる可能性を新しています。

つまり、現状では組み合わせ 1 が勝ちそうな傾向で、その反面、左寄りの組み合わせ 2 は、オリジナルより少し負けそうな傾向にあると言う事を表しています。

もちろん、今後の調子では、これが逆転する可能性もあります。

テストの終了

十分なデータが溜まると、勝ちパターンのバーが緑色になり、自動的に Website Optimizer から、テストが終了したことを知らせてくれます。

こうなれば、テストは終了です。

テスト期間はどれくらい必要か？

前置きが長くなってしまいましたが、本題はそれが終了になるまでにどれくらいの期間が必要なのかという事ですよね…

それは、

• データが溜まる早さ（データの量）
• どれだけ大きな違いが出てくるか（コンバージョン率の差）

この 2 つの要因によって、左右されます。

データの量

上記の “バーの長さ” にある説明の通り、同じコンバージョン率でも、データが少なければそのコンバージョン率にはバラつきがあります。

例えば、

5 / 100 （100 ビジターで、5 コンバージョン）のコンバージョン率は 5%
50 / 1000 （1000 ビジターで、50 コンバージョン）のコンバージョン率は 5%

コンバージョン率でいえば同じですが、コンバージョン数が 50 の方が、データに信頼性があります。（100 ビジターで、5 コンバージョンの 5% は、少しの偶然で 7% にもなれば、3% にもなる可能性が大きいという意味です。）

この考えからすると、ビジター数が多いサイトやコンバージョン数が多いサイトは、サンプルデータが短期間に大量に溜まりやすいので、テスト期間も短くなります。

それから、例えビジター数が多いサイトやコンバージョン数が多いサイトであったとしても、テストページの数が多い場合は、時間がかかることがあります。

上記のイメージでいえば、12 通りのテストページがあるので、それぞれのページに振り分けてコンバージョン数を測っていると、その分時間もかかります。

ですので、多変量テストでは組み合わせを考えるとパターンが大量になることがあるので、ページのビジターが多い方、コンバージョン数が多いサイトに向いているといわれるのが、その所以です。

コンバージョン率の差

テストページが少なく、十分なトラフィックを確保し、十分なコンバージョン数のサンプルデータを抽出できた場合でも、それぞれのテストページに “差” がでなければ、テストはいつまでたっても終わりません。

あまりにも細かすぎる変更で、どのバージョンも同じくらいのパフォーマンスなので、データが十分でも判断ができず、最終的に自分の判断で強制終了しなければいけないケースです。

コンバージョンアップ 101 の方法 – 16番目にも紹介しましたが、こういうことにならないためにも、勇敢に大きな変化を与えてみようと言っているのです。

逆に、大きな変化を与えると、

このように、短期間での少ないサンプルでもテスト終了となります。（この場合は、大負けしているテストですが…笑）

まとめ

ということで、ビジター数 / コンバージョン数 / テストの変化度合い によって、テストが終了するタイミングが異なります。（十分なデータが溜まったかどうかは、ツールが自動的に教えてくれます。）

ウェブサイト オプティマイザーを使ってテストをするときに気を付けることは、

• テストページ（組み合わせ）が、大きくなりすぎない – 大抵の場合は、複雑な多変量テストは必要なく、簡単な 2～3 ページの AB テストで十分です。（それによって、一つ一つの要因を検証していった方が、分析しやすい。）
• 大きな変化を与えること – はじめてそのページを見た人が、5 秒以内に違いを見つけられなければ、変化があるとは言い難い。

この 2 つを注意してみましょう。