A/Bテストを使ってみよう！比較すべき項目や注意点、必要なサンプル数は？

こんにちは！Benchmark Emailのカスタマーサクセス担当のYurikoです。

今回はBenchmark Emailのユーザー様にA/Bテスト機能を使いこなしていただくため、A/Bテストの概要や注意点、効果測定方法などを詳しく解説します。

なお、YouTubeチャンネルでもA/Bテストについて詳しく解説をしています。動画で見たい方は、こちらをご覧ください。

A/Bテストとは？

A/BテストはWEBマーケティングの成果を上げるための手法の一つで、AとBの2パターンのコンテンツを用意し、「どちらがより良い成果を出せるのか」を検証するものです。

Benchmark EmailのABテスト機能は、異なる件名や内容のメールをまずリスト内の一部のコンタクトへ配信し、結果が良かった方のメールをリストの残りの方へ自動的に配信するシステムです。

テストグループの割合は1〜20%の間で、任意で設定が可能です。

A/Bテストについての詳細な設定方法は以下サポートページもご確認ください。

サポートページ：A/Bテストの作成方法は？
*A/Bテスト機能は、Proプラン以上（旧プランの場合、リストプラン及び配信数プラン）でご利用が可能です。

メルマガの件名やデザインに迷ったとき、「なんとなく」の直感で決めてはいませんか？A/Bテストを行うことで、直感に頼ることなく正確な答えを見つけることができ、ただメールを配信するだけよりも改善サイクルを早めることができるため、A/Bテストは出来るだけ行っていただくことをお勧めします。

比較できる項目

Benchmark EmailのA/Bテスト機能で比較できる項目は以下となります。

差出人名
件名
プレヘッダーテキスト（本文プレビュー部分）
メール本文のデザイン
配信時間

差出人名・件名・プレヘッダーテキストはそれぞれメールを受信した際の受信画面に表示される部分で、Gmailの場合は以下のように表示がされます。

メール本文のデザインは、画像やボタンなど本文内の一部を変えてテストを行いたい時に使います。配信時間に迷った場合は配信時間テストもお試しください。

『メールマーケターYurikoの挑戦』シリーズでも、メール本文や配信時間のA/Bテストを行い、結果について分析を行ってきました。実際の検証内容と結果は以下から確認が可能ですので、ぜひ参考にしてみてください。

・メールマーケターYurikoの挑戦「配信時間を変えてみた」編
・メールマーケターYurikoの挑戦「メルマガのコンテンツ数を減らしてみた」編

何から比較をすべき？まずは送信元名と件名から検証を

Benchmark EmailのA/Bテスト機能で比較できる項目をご紹介したところで、何からテストをするのがいいのかについてご説明します。

弊社が2021年6月に行ったメールマガジン購読状況調査で、受信者がメールを開封する・しないの判断に最も影響している箇所を調査しました。

その調査結果がこちらです。

このように、「件名・タイトル」で判断するのが約5割、そして25%程度の人が「送信元名」で判断するということが分かりました。また、件名と送信元名よりは少ないですが、本文プレビューをみて判断するという方も16%弱いました。

当然ではありますが、受信ボックスで見える3箇所でほとんどの方が開封の判断をしているということですね。

そのため、A/Bテスト項目に迷った際は、差出人名と件名を行うことをお勧めします。
差出人名は一度決まったら毎回の配信で使えるため、まずは差出人名からテストを行いましょう。差出人名が定まったら次回以降は件名部分を、テストができるタイミングで繰り返し行っていただくのがいいかと思います。

必要なサンプル数

「ABテストを行うにはどのくらいのリストがあった方がいいですか？」「テストのサンプル数はどのくらい必要ですか？」という質問をユーザー様からいただくことがあります。

サンプル数については、ABそれぞれのグループに1,000件ずつあると信用度のかなり高いABテスト結果を得られるとご説明しています。テスト比率を最大の20%とした場合は配信リストが合計5,000あれば良い計算です。

ただし、きっちり1,000件ずつない場合はABテストをやっても意味がないわけではありません。あまりに件数が少ない場合は検証結果の信頼性が低くなってしまいますが、例えばリストの合計数が2500件あり、A/Bテストの比率を20%に設定した上でサンプル数500件ずつでテストを行っても、ABテストとしては十分成り立ちます。

サンプル数が少ない場合は、できるだけ偶然性を除外するために、同じテーマで繰り返しテストを行うようにしましょう。または、後述するA/Aテストであらかじめ誤差の範囲を把握しておきましょう。そのような工夫をすれば多少リスト数が少なくても十分有効な結果が得られるため、A/Bテストを活用してより良いメール配信をすることができます。