ウェブテスト機能のデメリット?

本日は、8月からウェブサイトオプティマイザーが移行
したGoogleアナリティクスのウェブテスト
の機能の補足。


※ウェブサイトオプティマイザーは気軽にABテストを行えるアドワーズのツール。
現在は、アナリティクスに統合され使えない。


ウェブサイトオプティマイザーを
ランディングページのテストツールとして使っていた方も多かったと思いますが、
8月から使用不可になり、


それ以降はGoogleアナリティクスのウェブテスト機能を
使っている方も少なくないはず。


ですが、最近、僕たちの中では
アナリティクスのウェブテスト機能にちょっと疑問の声が
上がっています。

Google機能のアップデートはいろんなツールで
確認できるし、そのたびに賛否両論で意見が飛び交いますね。


Gmailのデザインが変わった際にも

【見づらい、使いやすい vs オシャレになった。カッコいい。】


といったように意見が分かれました。


GoogleアドワーズでもGoogleアナリティクスでも
何か大きなアップデートの際には、賛否両論の意見があります。



特に普段、万能なGoogleなだけに
こういったアップデートの際だけは不満などの意見が目立って見えますね。


僕はどちらかというと
頻繁にアップデートを繰り返すのは否定派で
便利はものはそのままにしてほしいタイプ。



ちょっとずつ改善すればいいのに、
いつも大幅に変更をするから、否定意見も多いのでは?
なんて思ってしまいます。


さて、本題。


Googleテストのウェブテスト機能ですが、
実はコレ、今までのウェブサイトオプティマイザーが移行した
だけではなくて、機能自体がアップデートされています。

今までのウェブサイトオプティマイザーは
サイトA
サイトB

をテストする場合、



サイトAにアクセス100
サイトBにアクセス100


を送って、どっちがコンバージョン数多かったの?


と言うテスト方法でしたが、
今回のGoogleアナリティクスのウェブテスト(ABテスト)
では、リアルタイムでCV率の善し悪しを判断して
アクセス量を調整してくれます。


グーグル的には
サイトAにアクセス100 CV10件
サイトBにアクセス100 CV1件



という結果の場合、サイトBの100アクセスを
非常に無駄にしてしまっているという認識で



テスト中もCV率の数値によって
アクセス量を調整して、テスト期間中のパフォーマンスの低下を
最低限に抑えてくれる機能を搭載しています。


また、以前は単純に
サイトに訪問したユーザーをテスト対象としてとらえて
いましたが、現在は、新規訪問のユーザーのみが対象になります。


Cookieで見ているアナリティクスの新規とリピーターの定義から
考えると、余計分かりにくくなったような…



下記のように、アクセス数自体が変動する。

tes


とまぁ、機能的には利用者の事を考えているような機能である
とも思えますが実際はどうかというと…


・仕組みを知らないクライアントに報告するには混乱させてしまう。
・CV率の悪いサイトへのアクセス量を減らすので前のツールよりもテスト期間が長い。
・テストサンプル数(アクセス数)1:1のテストじゃないので、スッキリしない。


と、使い勝手としてはイマイチです。


さらに、この機能ですが、
新しくテストするページが毎回負けるという曰く付き。

(これは僕だけの現象でしょうか…)


と言う事で、これから使う人、
もうすでに使っている人も、ツール選択については
一度考えた方がよいかもしれませんね。


もちろん、無料でという意味では
Googleアナリティクスも高機能なツールですし、
こういった意見があれば


そのうちまたアップデートするはずなので、
早く、アクセス量1対1のテスト、も出来るようにしてほしいものです。


時代とともにツールや機能は変わりますが、
それを使うのは人間であり、作るのも人間です。


間違う事もあれば、人によっては正解が
不正解になる事もあるでしょう。


ウェブの世界では情報を知っている事が強みであり、
差を生み出す直接的なポイントになるので、ぜひ、頭に入れておいてくださいね。


今、アナリティクスのABテストでは
アクセス量1対1のスッキリするテスト結果は得られませんので
誰かに導入を促す時にはご注意を。


早くこの問題を解消してもらいたいものです。


それではまた次回。

カテゴリー: 未分類 | タグ:

無料で出来るランディングページの新テスト方法

今月より今まで重宝していたランディングページABテストツール
ウェブサイトオプティマイザーが

無料アクセス解析ツール「Googleアナリティクス」
に機能統合されました。

急にアドワーズの管理画面から
ウェブサイトオプティマイザーが使えなくなって
しまっているので不思議に思った方も多いかもしれません。

今回は、機能統合された
ランディングページのテストツール「Googleアナリティクス
のウェブテストについて解説していきます。

この機能では、
既存のページと新しいページを同じ時系列でテストする事が可能です。

テストをするにあたってこの同じ時系列という事は
非常に重要で正しいテスト結果を導き出すのに必須の条件でもあります。

例えば、既存ページに変更を加えて
来週変更後のページで1週間パフォーマンスを見て、その変更が
有効だったかどうか見るという場合、

時間軸が違う為にその変更が純粋にパフォーマンスの改善に
繋がっているのかどうかわかりません。

なぜって、時間軸が違ければ
サイトの成約率を決める外的要因が大きく変動するからです。

例えば、
最近あったパンダアップデート。

いままで上位表示されていたライバルサイトの順位が下がった場合
などは大きくあなたのサイトの成約率にも影響があるでしょう。

季節的な要因。

先週は一般的に夏季休業の人が多かったでしょう。
旅行や休暇など、一概にして検索シーンが少なくなり
パソコンでの購買数も落ち込むケースが多いです。

このように大きな変化がある場合は
もちろんのこと、普段から常に外的な要因を少なからず
受けており、時間軸が違うと正確なテストが出来ないわけです。

※特にコンバージョン数が少ないサイトのテストの場合は
大きく誤差が出てしまうので、注意が必要。

この時間軸の問題を解消し、同一期間に複数のパターンの
テストをGoogleアナリティクスのウェブテストでは可能になるわけですね。

Googleアナリティクスのウェブテストの設定方法



ちなみに今までのようにABテストと多変量テストという
概念がなくなったのと、今までは成約率に関係なく
テストページに均等にアクセスを送ってテストしていましたが、

新しいウェブテストでは
成約率の高低によってアクセス数を自動で調整し
テストによるパフォーマンスの低下を可能な限りなくすように動いてくれます。

ab1
この機能の変更で、
以前のウェブサイトオプティマイザーよりもテスト結果が出るまでに
時間がかかるようになった気もします。

ある程度、結果が出たら自分で終わりにするという
決断も必要になってくるでしょう。

とはいえ、設置方法は以前よりも楽になったのと、
これの導入で、よりアクセス解析に向かう時間が増えるので
新しい発見があり良いのではないでしょうか。

(※アナリティクスを使っていなかった人は一気に複雑になったと思いますが。)

動画マニュアルをご覧になって実践してみてくださいね。

Website Optimizer を導入すると SEO に悪影響があるの!?

先日、Website Optimizer に関するセミナーを行ったのですが、その際に参加者の方から下記のようなご質問を頂きました。

Google Website Optimizer を導入した場合、SEO のランキングに影響することはありませんか?

答えから言うと、Website Optimizer を導入した場合でも、オリジナルページ(オリジナルコンテンツ)のクローリングは、導入前と同様に行われるので、それ自体が SEO に悪影響になることはありません。

もちろん、それは Google だけではなく、Yahoo の SEO も同様です。

それから AdWordsに関しても、 リンク先のページの品質スコアにも影響することはありません。

一つだけ SEO に関して懸念するべき点

があるとするなら、オリジナルページ + 新しいテストページを用意して A/B テストを行った場合に、新しいテストページに被リンクが付いたりするケースです。

通常、A/B テストの新しいテストページへ行くためには、ユーザーはオリジナルページから振り分けられなければ行けません。

でも、ユーザーが新しいテストページをみた後に、そのページをブックマークしたりリンクを貼ったりすると、検索エンジンのロボットにクローリングされたりインデックスされたりする可能性が高くなるだけではなく、若しかしたらそのリンクを辿って、直接テストページをみてしまうユーザーもでてくる可能性もあります。

この場合、直接テストページをみたユーザーに関しては、テストのデータとして集計されないので、Website Optimizer のテストに不公平なデータを与えることはありません。

ただ、テストページに被リンクが付いた場合、テストを終了したときにそのファイルにリダイレクトをかける作業が必要です。

※ Website Optimizer の管理画面で、勝ち残ったページをこれから使用するページに指定して、それぞれのページのコードをそのまま放置しておけば、自動的にリダイレクトされる仕組みにはなっていますが、そうではなく、テストをしていた時のコードを全て取り除いて、勝ち残ったページをオリジナルページのファイルと書き換えるという作業をした時には、自身でリダイレクトを設定する必要が出てくる可能性があるという意味です。

多変量テストの場合は、同一ページで行われるので、このような問題は生じませんが、A/B テストをやる場合で被リンクがつくようなケースは覚えておいた方が良いかもしれません。

本棚屋さんの売上アップ成功の裏側にある大失敗

2010 年のはじめ、本棚屋という本棚専門のサイトの運営者から、連絡を頂きました。

簡単に言うと、『とりあえず自分で出来ることはやって売り上げもあがったけど、更なる売上アップのために何をして良いか分からないから、プロにお願いしてみたい。』というのがことの始まりです。

サイトをみせて頂いた時、『すごく良いサービスなので、サイトを改善すれば、売上アップは簡単だろうな~』と思ったのが正直な感想でした。

そして、とりあえず詳しく話を聞いてみるために、福岡まで飛んだのです。

いざ福岡へ…

子供のころに親に連れられ福岡に来たことはあるらしいのですが記憶に無いので、僕にとってはこれが初めての福岡です。

空港に着くと、既に車で迎えに来てくれていて、温かく歓迎してくれました。

そこから車で約 1 時間ほどのところに、サイトの運営者の事務所があるというので、そこで細かい話を聞くことに。

社内で既にいろいろ話を伺ったのですが、その中で驚いたことが幾つかありました。

それは、まだはじめて 1 年ほどしかたっていないという事実。しかも、その時の売り上げが予想よりはるかに上回っていたこと。

そして、どうやって短期間に売り上げをアップすることが出来たのか、その理由を聞いて更に驚きました。

ブレイクスルー

ブレークのきっかけが、はてなブックマークだというのです。

つまり、はてなブックマークでこのサービスは画期的で面白いと話題になり、人気エントリーで紹介され、気がつくと、はてなブックマークの数が 1000 件を超えてしまったのです。

index.html 付きと、付きでないバージョンとで、ブックマーク数が分割されてしまっていますが、合計すると約 1400 のブックマーク。(SEO が気になる人のためにちょっと脱線しますが、統一されていなかった URL も、現在は 301 リダイレクトで統一の処理だけはしておきました…)

ニュース / ブログの記事 / 面白い動画や写真などで、ブックマーク数が 1000 件越えをすることはよくありますが、このようにサービス自体がはてなの口コミで広がっていくケースはちょっと珍しかったので、この事実を確認したときは、『絶対に上手くいく!』と確信しました。

結果論ではないのですが、サイトを本棚だけに限定してニッチに攻めていったことが、この時点での成功の秘訣だといえるでしょう。

ホームページの改善

今回の改善は、EC サイトという事もあり、全体をリニューアルしてしまおうという考えでした。

一通りヒアリングをして、改善案として出たのがこれ。

本棚屋さんのホームページ - 改善前と改善後

以下、変更のポイントを紹介します。

全体の雰囲気

まず、すこし全体的に暗くて、ヘッドラインが消えてしまっていたのと、目立たせるべきものを目立たせたかったので、全体的に白色メインで明るいイメージにしました。

イメージ画像

ヘッドラインを変更することも考えたのですが、広告などでこのフレーズが上手くいっているという事を考慮して、ヘッドラインはそのままにしておくことにしました。

その代わり、『ピッタリサイズの本棚を作れる!』という部分をもっと強調できるようなイメージ画像を作成。

偶然にも、サイトのサービスを利用して頂いた方が、ブログでその時の様子を紹介して頂いている記事を発見し、その写真がちょうど良い具合に使えそうだったので、直接そのサイトのオーナーに連絡を取って、写真を使わせてもらう事にしました。

サイズ選択

恐らく改善前のサイトは、ここが一番ネックになっていたことだと思います。

そもそも、このサイトの最大の売りは、本物の木でできた本棚をサイズオーダーできること。

でも改善前のサイトでは、サイズを選ぶ方法がちょっと分かりにくかった。(左側のメニューから、高さ / 幅 / 奥行き のどれかを選択し、その後に出てくる表から残りの 2 つのディメンションの長さを選択するという方式)

この状態では、商品ページまで行くのに 2 ページ経由しなければならず、しかも『まずは左側のメニューから 高さ / 幅 / 奥行き のどれかを選択してください。』という文章を見逃すと、どうやってサイズ選択したら良いのか分かりにくかったのです。

そこで、サイズ選択はそれぞれドロップダウンから選んで『決定』ボタンを押せば、商品ページに飛んでいけるように改善しました。

お客様の声

そして、いつもこのブログでも言っている、お客様の声を追加しました。

上で紹介した写真を使わせてもらうお断りの連絡をした時に、ちゃっかりお客様の声までお願いしちゃいました。

その方も満足しているから、ブログで紹介しているワケですし、こういった話は思い切ってお願いすれば快く引き受けてもらえるものです。(そのやりとりも、しっかりブログに書いてくれちゃってます…w

リニューアル実行とテスト

この変更をテストしたかったので、同じドメインの下でフォルダを作り、新旧のサイト両方に同時にビジターを振り分けて、どちらが勝つかを調べようとしました。

そしたら、リニューアルを担当した者から、こんなメールが飛んできました。

「EC サイト構築 ASP の仕様上、リニューアルする時は全部変えてしまわないとダメみたいで、フォルダごとにデザインの違うホームページというわけにはいかないようです…」

つまり、同時期にテストを可能にするには、もうひとつサイトを別のドメイン & 別の ASP のアカウントで用意する必要があるという壁に突き当たってしまったのです。

もちろん、そこには手間やコストもかかってきます。

「それじゃあ、しょうがないからリニューアル前と後で、どれくらいコンバージョン率が変わるかでテストしよっか?」

これが間違いのはじまりでした…

結果的に、売上はアップしました。

本棚屋さんの売り上げの推移

でも、それと同時期に今まで手を出していなかったところに広告を出すなどの施策をはじめていたので、集客元も施策の前と後では少し変化していました。そして、予想していなかったのが、ホームページをリニューアルした時期に、客単価もアップしてしまったのです。

こうなってくると、広告配信先を広くしたことでどらくらいコンバージョン率が下がったのか、ホームページをリニューアルしたことでどれくらいコンバージョン率がアップしたのか、更にはコンバージョン率だけではなく客単価までもが絡んできて、具体的に何が良かったのか分からなくなってしまったのです。

『同じテストを同時にしない事!』は、テストを行う時の基本なのですが、今回のように時系列テストをすると、集客の改善 / シーズン的な問題 / 競合の動き / どこかのサイトで紹介された / キャンペーンをやっていた / などなど、必ずといって良いほど他の要因が絡んできてしまうので、意図していなくても結果的に公平なテストを行えなくなります。

『売上がアップすれば良いじゃないか?』

もちろんそれは嬉しいことですが、PDCA はサイクルでやるべきであり、このような悪いテストはそのサイクルを崩しかねません。

次に何をしたら良いのかが分からなくなるテストは良くないので、これを知るためにも Website Optimizer のようなツールを使い、できるだけ公平にテストする必要があったのです。(今回の件は、その意味でプロとして失格だったのかもしれません。)

今回の件で、お客様の声を頂いております。

2 社共同で EC サイトを立ち上げて 1 年、それまで順調だった売り上げの伸びにもかげりが見え始め、ページ製作にしてもリスティング広告にしても、素人が片手間に考えて行うのには限界を感じていました。

ホームページリニューアルや SEO 対策等に関してほぼ毎日と言えるほど営業の電話がかかってくる状況に飽き飽きしながらも、信頼できそうな会社に出会うと業務委託してみては、その度に口先だけの内容に失望する経験を繰り返していた中、偶然鷲見さんの会社を知りました。今やっと、本当の意味で信頼できる、そしてプロと呼べる会社(人物)に出会えたと思っています。

鷲見さんは「契約は実際にお会いした後で」と、東京からわざわざ福岡まで出て来てくれました。それまでの数多くの苦い経験(笑)からか、お会いして話をうかがってすぐに、この人に任せればきっとすべてが良くなるだろうと確信しました。

というのも、営業の話というか、契約を急がせるような押し売りっぽい内容の話は一切出ず(むしろそちらの話はとても控えめで)、パソコン画面に映し出された私共のサイトやリスティング広告の管理画面を見ながら、その細かな内容についての話に終始しました。この人は営業マンではなく、経験豊富な専門家・技術者だと思いました。加えて、人格がいい。実にいい。控えめだが、内に秘めた強さを感じるというか、プロとして豊富な知識と経験に裏付けられた確固たる信念を持っている人だと感じました。

契約後、思っていた通り、売り上げはホームページのリニューアルと同時に上昇し始めました。特に、A/B テストのために別のトップ画面に切り替わるまでの最初の 2 週間の日商の伸び、そして客単価の上昇は驚異的でした。プロの力を知った瞬間でした。

その後のアクションの速さと状況の変化に応じた適切な対応、そして毎月の結果報告(詳細レポート)と的を得た提案にもとても満足しています。

売り上げは生き物ですから、日々変化しますが、データは着実に積み上がっているようです。

最初の契約 1 期を終える前に、こちらからすでに延長の意向を申し出ました。

積み上がったデータをもとに、これからどういう展開ができるのか、私達も楽しみです。

有限会社 山田家具資材
山田 晃一様

ウッズランド
脇田 義明様

山田 晃一様 & 脇田 義明様

大変ありがたいお言葉を頂き、誠にありがとうございました。

まだまだ、売り上げアップにできることはあるのに、いろんな制約があり出来ていない部分もあるのですが、実際に制作されている職人さんたちは、真剣になって良質な製品を提供できることを心がけており、本当に良いサービスだなと感じております。

あなたのお部屋にもぴったりサイズの本棚が必要な時は、是非こちらをどうぞ!(同時に、HP 改善の良いアイデアも募集中です…w)

畳屋さんのコンバージョン率が 6.7 倍になった、驚きの成功事例

畳の張替サービスで、おそらく業界ナンバーワンの老舗 株式会社 TTN コーポレーション が運営する、個人客向けの畳張替サービス 三条たたみ のサイト改善を引き受けさせて頂きました。

結果は…

コンバージョン率 1.42% → 9.56%
改善率 573%(コンバージョン率 6.7 倍)

過去に例をみない驚きの改善率を記録したので、皆さんにもシェアしたいと思います。(正直、これほどの改善率になるとは予想外でした…)

まずは、細かいことを話す前に、改善前と改善後のサイトをご覧ください。

改善前と改善後

改善点がたくさんありページ全体を変更する必要があったので、今回は Website Optimizer の ABテストを使用したところ、573% という改善率(コンバージョン率 6.7 倍)を記録しました。

サイト&テストの詳細

改善ページ Top ページ
コンバージョンの定義 HPから見積もりをしてもらう
コンバージョンページ 見積もりフォーム入力後の、ありがとうございましたのページ
集客方法 SEO / PPC
ユーザーの特徴 ホームページに訪れる以前に、DM / CM などで会社の存在を認知しているユーザーが多い。 比較的、年齢層の高いユーザーが多い。
サービスの特徴 厳しい品質管理と、高品質な畳
業界トップの規模(対応エリアが広い)
マスコミに多数出ている
最も人気のあるサービス 畳 / 襖の張替え

以上を踏まえたうえで、何に気を付けて、具体的に何をどう改善したのかを説明します。

選択肢を少なくした

担当者の方と話した時には、メインサービスは畳 / 襖の張替えで、それが8割以上を占めるというお話しを頂いていたのですが、改善前のページをみると、

  • キャンペーンへの誘導
  • イ草のラグマットへの誘導
  • 障子のページへの誘導
  • 網戸のページへの誘導

これらがメインサービスと同じくらい主張していました。

いろんなサービスや試みをやっているのを紹介したい、目的の違うユーザーを一人でも逃がしたくない、という気持ちは分かるのですが、メインのサービスが消えてしまうようでは、あまり意味がありません。

その理由から、余計なバナーを無くし、さらに思い切って左にあったメニューも削除しました。

分かりやすいヘッドライン

旧ページは、ISO / QMS のロゴと、『国際基準の品質管理体制 ISO9001(国際品質保証)認証取得』という説明が、ヘッドライン(一番目立つ部分)にありました。

恐らく、この認証を受けていることはとてもスゴイことなのだとは思いますが、言葉が難しすぎてユーザーには伝わりません。業界の人なら分かるのかもしれませんが、ロゴをみても一般のユーザーには、何のことやら…

そこで、ヘッドラインを単刀直入に『からだにやさしい畳』と変更し、赤ちゃんにもやさしいという担当者様の声をそのまま反映させた形で、分かりやすいイメージを作りました。

もちろん、ヘッドライン(その下にある三行の簡単な文章)を読みやすくするように、イメージを主張しすぎないように注意を払っています。

目的のアクションを最も目立たせる

上記にもあるように、このサイトの目的は、見積もりをしてもらうというのがメイン目的です。

旧ページは、見積もりフォームへのリンクが、グレーという目立たないボタンでページの中盤にありました。

畳の張替えといわれれば、ある程度は想像のつくサービスなので、それほどたくさんの説明は無用だったのと、このサイトに訪れる前に何らかの情報を持っているユーザーが多いという理由から、見積もりへのボタンは、スクロールしなくてもみえるところに、赤色の大きなボタンに変更しました。

メディアの紹介

担当者様とお話ししたときに、ホームページ上で利用できるお客様の声は無いかと質問したところ、あっさり 『無いです!』 との返事が返ってきました。

ところが、この会社には、テレビに何度も取材された実績が多数あったのです。

旧ページにも、テキストでの説明があったのですが、実際の動画が Youtube 上にアップされていたので、それをスクロールしたところに紹介しました。

もちろん、ヘッドライン下にある三行の簡単な文章にも、テレビに何度も取材されたことを伝えています。

以上…

改善点は非常にシンプルで、基本的にはこの 4 点だけです。

以前公開したブログの記事、LPO 対策で最も重要な 7 項目 にある改善点を幾つか実践しただけです。(今回に関しては、テスト案を作成する前に、そのレベルではないと判断できたので、難しいウェブ解析もあまり行いませんでした。)

その結果がこれです。

Website Optimizer テスト結果

※ 実際には、オリジナルページに加えテストページを 2 つ準備して、3 バージョンでテストを実施したのですが、勝ち残らなかったパターンについての説明は、省略させて頂きました。

今回は、差が大きかったので早期にテストが終了したという印象です。

今回のテストを実施させて頂いた、株式会社 TTN コーポレーションのウェブ担当者様から非常にありがたい、お礼の声を頂いております。

改善案のホームページサンプルをみた時は、『コンバージョン率が少しは良くなるのかな?』と思っていたのですが、結果を見て驚きです(笑)

見やすく、わかりやすいページ構成になっており、『今まで自分がやってきた内容がお客様に情報の押し売りになっていたのではないか?』と反省させられました。

成約が格段に増えて売上に直接影響してきました。

初めて問い合わせをしたメールの時から、メールの返信も素早い対応で的確な答えが帰って来ていましたので安心してお願い出来る会社だと思っておりました。

実際、依頼してみて的確なアドバイスと素早い対応で、思った通りだったのでお願いして本当に良かったと思っています。

株式会社 TTN コーポレーション
浅尾 誠様

TTN コーポレーション 浅尾様

私のサイトでも、同じことができますか?

今回のお客様は、前回 3 社限定で募集した、成果報酬型ウェブサイトオプティマイザー導入に申し込んで頂いた方です。

実際にやってみてかなり面白かったので、前回と同様に 3 社限定で成果報酬型ウェブサイトオプティマイザー導入支援を行いたいと思います。

  • 分析
  • 改善案のご提案
  • デザイン / 文章
  • ページ作成
  • ウェブサイト オプティマイザー導入
  • テスト結果のレポート

上記の作業を全て弊社が行います。(コンバージョン率が改善されなければ、料金は一切発生いたしません。)

ご興味のある方は、下記のリンクよりお申込みください。

ウェブサイトオプティマイザー導入支援に申し込む

※ 2010 年 3 月 25 日をもちまして、申し込みを締め切らさせて頂きました。通常のコンサルティングのお申込みはこちらをどうぞ…

Website Optimizer を使った時、テスト期間はどれくらい必要ですか?

セミナーをやると、『Website Optimizer を使った時、テスト期間はどれくらい必要ですか?』という質問を、よく頂きます。(先日のセミナーでも、同じ質問を受けました…)

Website Optimizer を設定した後、データが溜まりはじめると、下記のようなレポート画面を見ることができます。

データが溜まりはじめたころ

この例では、オリジナルページとは別に、2 つのパターンを用意して、ABテストを行っています。

それぞれのパターンにある “バーの幅” が、コンバージョン率の分散(コンバージョン率のブレ幅)を表しています。

十分なデータが溜まっていないうちは分散も大きいので、上記のオリジナルのコンバージョン率を例に挙げるなら、実際のコンバージョン率は 1.32% であっても、そのデータ量だと ±0.9% のブレ幅を計算しなければいけないという判断のもと、バーの幅が広く表示されます。

オリジナルのコンバージョン率の可能性のうち、最も良いコンバージョン率は(1.32% + 0.9% = 2.22%)となり、バーの右端がそれを意味しています。

組み合わせ 1 のコンバージョン率にもブレ幅はあるのですが、バーの黄色く表示されている部分が、オリジナルのコンバージョンよりも、良くなる可能性を新しています。

つまり、現状では組み合わせ 1 が勝ちそうな傾向で、その反面、左寄りの組み合わせ 2 は、オリジナルより少し負けそうな傾向にあると言う事を表しています。

もちろん、今後の調子では、これが逆転する可能性もあります。

テストの終了

十分なデータが溜まると、勝ちパターンのバーが緑色になり、自動的に Website Optimizer から、テストが終了したことを知らせてくれます。

テストの終了

こうなれば、テストは終了です。

テスト期間はどれくらい必要か?

前置きが長くなってしまいましたが、本題はそれが終了になるまでにどれくらいの期間が必要なのかという事ですよね…

それは、

  • データが溜まる早さ(データの量)
  • どれだけ大きな違いが出てくるか(コンバージョン率の差)

この 2 つの要因によって、左右されます。

データの量

上記の “バーの長さ” にある説明の通り、同じコンバージョン率でも、データが少なければそのコンバージョン率にはバラつきがあります。

例えば、

5 / 100 (100 ビジターで、5 コンバージョン)のコンバージョン率は 5%
50 / 1000 (1000 ビジターで、50 コンバージョン)のコンバージョン率は 5%

コンバージョン率でいえば同じですが、コンバージョン数が 50 の方が、データに信頼性があります。(100 ビジターで、5 コンバージョンの 5% は、少しの偶然で 7% にもなれば、3% にもなる可能性が大きいという意味です。)

この考えからすると、ビジター数が多いサイトやコンバージョン数が多いサイトは、サンプルデータが短期間に大量に溜まりやすいので、テスト期間も短くなります。

それから、例えビジター数が多いサイトやコンバージョン数が多いサイトであったとしても、テストページの数が多い場合は、時間がかかることがあります。

テストページの数が多すぎる場合

上記のイメージでいえば、12 通りのテストページがあるので、それぞれのページに振り分けてコンバージョン数を測っていると、その分時間もかかります。

ですので、多変量テストでは組み合わせを考えるとパターンが大量になることがあるので、ページのビジターが多い方、コンバージョン数が多いサイトに向いているといわれるのが、その所以です。

コンバージョン率の差

テストページが少なく、十分なトラフィックを確保し、十分なコンバージョン数のサンプルデータを抽出できた場合でも、それぞれのテストページに “差” がでなければ、テストはいつまでたっても終わりません。

差が出ないテスト

あまりにも細かすぎる変更で、どのバージョンも同じくらいのパフォーマンスなので、データが十分でも判断ができず、最終的に自分の判断で強制終了しなければいけないケースです。

コンバージョンアップ 101 の方法 – 16番目にも紹介しましたが、こういうことにならないためにも、勇敢に大きな変化を与えてみようと言っているのです。

逆に、大きな変化を与えると、

負けたテスト

このように、短期間での少ないサンプルでもテスト終了となります。(この場合は、大負けしているテストですが…笑)

まとめ

ということで、ビジター数 / コンバージョン数 / テストの変化度合い によって、テストが終了するタイミングが異なります。(十分なデータが溜まったかどうかは、ツールが自動的に教えてくれます。)

ウェブサイト オプティマイザーを使ってテストをするときに気を付けることは、

  • テストページ(組み合わせ)が、大きくなりすぎない – 大抵の場合は、複雑な多変量テストは必要なく、簡単な 2~3 ページの AB テストで十分です。(それによって、一つ一つの要因を検証していった方が、分析しやすい。)
  • 大きな変化を与えること – はじめてそのページを見た人が、5 秒以内に違いを見つけられなければ、変化があるとは言い難い。

この 2 つを注意してみましょう。