式場サイトのA/Bテストは、月の予約が少ないと決着しない

予約ボタンの文言を「無料で見学予約」から「見学の日程を見る」に替えたら、予約が増えた気がする。写真を差し替えた月は、問い合わせが少なかった気がする。式場のサイトを触っていると、こういう「気がする」が毎月出てきます。

そこで出てくるのが、A案とB案を同時に出して、どちらが予約につながるかを比べるA/Bテストです。結論から書きます。月の見学予約が数十件の式場サイトでは、この比べ方は何か月続けても決着しません。決着しないのに続けると、偶然の差を「勝ち」と呼んで採用することになります。この記事では、なぜ決着しないのかを必要な訪問数の計算で示し、決着しない式場が代わりに何を見て、何を決めればいいのかを整理します。

先に断っておくと、この記事の数字はすべて僕が置いた仮の前提と、そこから出した計算です。どこかの式場の実績でも、業界の平均でもありません。自分のサイトの数字に置き換えて読んでください。

例にする式場サイトの前提

計算のために、次のサイトを想定します。

月の訪問数（セッション）は3,000
そのうち見学予約に至るのは2%、つまり月60件
予約ボタンの文言を替えて、予約率が2%から2.4%に上がるかを見たい（相対で2割増し）

月60件の予約がある式場サイトは、決して小さくありません。むしろ、ちゃんと動いているほうです。それでも、このあと見るように、A/Bテストには足りません。

2割の差を見分けるには、片側2万1千訪問が要る

2つの案の予約率に本当に差があるのか、たまたまの揺れなのかを見分けるには、統計的な検定を使います。ここでは、一般的に使われる設定（誤って差があると判断する確率を5%以下、本当にある差を見逃す確率を20%以下）を置きます。

この設定で、予約率2%と2.4%を見分けるのに必要な訪問数を、二つの割合の差を調べる標準的な式で計算すると、1案あたり約21,100訪問になりました。2案で約42,200訪問です。

月3,000訪問のサイトでは、2案に半分ずつ振り分けると1案あたり月1,500訪問です。21,100を1,500で割ると、約14か月かかります。その間、文言は一度も替えられません。しかも14か月のあいだには、フェアの繁忙期も閑散期も、媒体の掲載変更も入ります。条件が変わらない前提が崩れます。

つまり、小さな差を見分けようとするほど、必要な訪問数は一気に膨らみます。差を半分にすると、必要な訪問数はおよそ4倍になります。これは式場に限らない、割合の比べ方の性質です。

差が大きければ早く決着する。ただし大きな差は滅多に出ない

逆に、差が大きいなら早く決まります。同じ設定で計算すると、こうなります。

予約率の差（仮）	1案あたりの必要訪問数	月3,000訪問で2案に割ったときの期間
2% → 2.4%（相対2割増し）	約21,100	約14か月
2% → 3%（相対5割増し）	約3,800	約2.5か月
2% → 4%（相対2倍）	約1,100	約0.8か月

文言を1語替えて、予約率が2倍になることは、まずありません。相対で2倍になるのは、予約フォームが壊れていたのを直したときのような、もともと不具合があったケースです。文言や写真の差し替えで見込めるのは、多くても数割の変化です。そして数割の変化は、月3,000訪問のサイトでは1年以上かけないと見分けられません。

ここで大事なのは、A/Bテストが悪いのではないという点です。訪問数が数万、数十万あるサイトなら、小さな差でも数日で決着します。足りないのは手法ではなく、訪問数です。

決着しないテストは、偶然を勝ちと呼ぶ

訪問数が足りないまま、1か月だけ比べるとどうなるか。先ほどの前提で、本当は2案に差がなかったとします。それぞれ月1,500訪問で、予約率はどちらも2%です。期待値は30件ずつですが、実際の件数は揺れます。ある月はAが36件でBが24件、別の月は逆、ということが普通に起きます。

36件と24件なら、Aが5割多く見えます。「Aの勝ち」と言いたくなる数字です。でも、これは差がなくても出る数字です。1か月の予約が30件前後のとき、件数の揺れの幅は、おおよそ±5〜6件あります。30件が揺れの中心なら、24件や36件は十分に出ます。

決着しないテストを続ける危険は、遅いことではありません。偶然の差を勝ちと呼んで採用し、その採用を「検証した」と記録に残すことです。次に誰かが文言を替えるとき、「前にテストして決まったから」と、根拠のない結論が引き継がれていきます。

前後比較に逃げても、実は同じ問題が起きる

ABを同時に出さず、「文言を替えた月」と「替える前の月」を比べる方法もあります。手軽ですが、これはさらに危うい比べ方です。

フェアの開催月と非開催月では、見学予約の水準が違う
結婚情報サイトの掲載順位や、広告の配信量が月によって動く
連休や年末年始など、二人が動く時期が決まっている

文言を替えた月に予約が増えても、その月がフェアの多い月なら、増えた理由は文言ではなく月です。同時に出す2案の比べ方が優れているのは、この「時期の違い」を両案で等しく受けるからです。前後比較は、その利点を捨てています。

前後比較を使うなら、最低でも前年の同じ月と比べ、同じ月の広告費・フェア数も並べておく。そうしないと、何も言えません。

決着しない式場が代わりにやること

では、月の予約が数十件の式場サイトは、何を見て、何を決めればいいのか。僕は次の4つを勧めます。

1. 見る指標を、予約の手前に動かす

最終の見学予約は件数が少ないので揺れます。それより手前の指標は件数が多く、揺れが小さくなります。たとえば、予約ボタンのクリック率です。予約まで進む率が2%でも、ボタンを押す率が10%なら、同じ3,000訪問で300件のデータが取れます。

仮に、ボタンのクリック率を10%から12%に上げたいとします。同じ設定で計算すると、必要な訪問数は1案あたり約3,800です。予約率の2割増しを見るのに必要だった約21,100の、およそ6分の1です。

ただし、手前の指標には注意が要ります。ボタンを押しても予約フォームの途中で離れるなら、クリック率が上がっても予約は増えません。手前の指標は、最終の予約と動きが揃うことを、先に確認してから使います。

2. 比べる差を、大きな変更に絞る

文言の1語替えは、差が小さいので見分けられません。比べるなら、差が大きく出そうな変更を選びます。

予約フォームの項目数を半分にする
最初の1画面を、写真中心から料金と所在地中心に替える
予約ボタンを、ページの途中から画面下に固定する

こうした変更なら、予約率が数割動く可能性があります。小さな変更をひとつずつテストするより、大きな変更を1つテストするほうが、少ない訪問数で結論が出ます。

3. 期間を先に決めて、途中で見ない

テストを始めたら、必要な訪問数に届くまで結果を見ない、と決めます。途中で結果を見ると、「差が出た」という瞬間に止めたくなります。止めた時点が、偶然のいちばん大きく開いたところだった、ということが起こります。

先に「3,800訪問ずつ集まる、約2.5か月後に見る」と決めて、日付をカレンダーに入れる。それまでは見ない。これだけで、偶然を勝ちと呼ぶ事故はかなり減ります。

4. 決着しないと分かったら、戻せる形で決める

計算の結果、「このサイトでは決着しない」と分かる変更もあります。そのときは、テストをやめて、判断の基準を別に置きます。

二人の目線で見て、迷いが減るほうを選ぶ（見学で実際に聞かれる質問を答えにする）
替えた日を記録しておき、戻せる状態にしておく
3か月後に予約の手前の指標を見て、極端に悪化していたら戻す

決着しない変更は、そもそも結果への影響が小さい変更です。どちらを選んでも大きな損にならないことが多い。ならば、時間をかけて検証するより、早く決めて次の大きな変更に手を付けるほうが、サイトの成果には効きます。

テストする前に、自分のサイトの数字を3つ出す

A/Bテストをやるかどうかは、次の3つの数字で、始める前に決められます。

月の訪問数（セッション）
見たい指標の現在の率（予約率、ボタンのクリック率など）
見分けたい差（相対で何割増しなら採用するか）

この3つが分かれば、必要な訪問数が計算でき、期間が出ます。期間が3か月を超えるなら、見る指標を手前に動かすか、差の大きい変更に替えるか、テストをやめるか、のどれかです。計算は表計算ソフトでも、一般に公開されているサンプルサイズの計算ツールでもできます。大事なのは、始める前に期間を見ることです。

ここまでの計算は、予約率2%・月3,000訪問という僕の仮定です。自分のサイトの数字では、期間はもっと短いかもしれないし、長いかもしれません。同じ式場サイトでも、媒体からの訪問と、指名検索の訪問とでは、予約率がまったく違います。混ぜて数えると、見たい差が埋もれます。

まとめ

月の見学予約が数十件の式場サイトでは、文言や写真のA/Bテストは何か月続けても決着しない。仮の前提（予約率2%、月3,000訪問）では、相対2割の差を見分けるのに約14か月かかる
必要な訪問数は、見分けたい差が半分になると約4倍になる。差が大きければ早く決まるが、文言の1語替えで予約率が2倍になることは期待しにくい
決着しないテストの害は、遅いことではなく、偶然の差を勝ちと呼んで根拠なく引き継ぐこと
前後比較は、フェアの月・広告の量・連休の影響を受ける。使うなら前年同月と並べる
代わりに、見る指標を手前（ボタンのクリック率など）に動かす、大きな変更に絞る、期間を先に決めて途中で見ない、決着しないものは戻せる形で決める
始める前に、月の訪問数・現在の率・見分けたい差の3つを出して、期間を計算する