こんにちは!Benchmark Emailのカスタマーサクセス担当のYurikoです。

今回はBenchmark Emailのユーザー様にA/Bテスト機能を使いこなしていただくため、A/Bテストの概要や注意点、効果測定方法などを詳しく解説します。

A/Bテストとは?

A/BテストはWEBマーケティングの成果を上げるための手法の一つで、AとBの2パターンのコンテンツを用意し、「どちらがより良い成果を出せるのか」を検証するものです。

Benchmark EmailのABテスト機能は、異なる件名や内容のメールをまずリスト内の一部のコンタクトへ配信し、結果が良かった方のメールをリストの残りの方へ自動的に配信するシステムです。

ABテスト機能の仕組み

テストグループの割合は1〜20%の間で、任意で設定が可能です。

A/Bテストについての詳細な設定方法は以下サポートページもご確認ください。

サポートページ:A/Bテストの作成方法は?

メルマガの件名やデザインに迷ったとき、「なんとなく」の直感で決めてはいませんか?A/Bテストを行うことで、直感に頼ることなく正確な答えを見つけることができ、ただメールを配信するだけよりも改善サイクルを早めることができるため、A/Bテストは出来るだけ行っていただくことをお勧めします。

比較できる項目

Benchmark EmailのA/Bテスト機能で比較できる項目は以下となります。

  • 差出人名
  • 件名
  • プレヘッダーテキスト(本文プレビュー部分)
  • メール本文のデザイン
  • 配信時間

差出人名・件名・プレヘッダーテキストはそれぞれメールを受信した際の受信画面に表示される部分で、Gmailの場合は以下のように表示がされます。

メール受信画面

メール本文のデザインは、画像やボタンなど本文内の一部を変えてテストを行いたい時に使います。配信時間に迷った場合は配信時間テストもお試しください。

『メールマーケターYurikoの挑戦』シリーズでも、メール本文や配信時間のA/Bテストを行い、結果について分析を行ってきました。実際の検証内容と結果は以下から確認が可能ですので、ぜひ参考にしてみてください。

メールマーケターYurikoの挑戦「配信時間を変えてみた」編
メールマーケターYurikoの挑戦「メルマガのコンテンツ数を減らしてみた」編

何から比較をすべき?まずは送信元名と件名から検証を

Benchmark EmailのA/Bテスト機能で比較できる項目をご紹介したところで、何からテストをするのがいいのかについてご説明します。

弊社が2021年6月に行ったメールマガジン購読状況調査で、受信者がメールを開封する・しないの判断に最も影響している箇所を調査しました。

その調査結果がこちらです。

調査結果の画像

このように、「件名・タイトル」で判断するのが約5割、そして25%程度の人が「送信元名」で判断するということが分かりました。また、件名と送信元名よりは少ないですが、本文プレビューをみて判断するという方も16%弱いました。

当然ではありますが、受信ボックスで見える3箇所でほとんどの方が開封の判断をしているということですね。

そのため、A/Bテスト項目に迷った際は、差出人名と件名を行うことをお勧めします。
差出人名は一度決まったら毎回の配信で使えるため、まずは差出人名からテストを行いましょう。差出人名が定まったら次回以降は件名部分を、テストができるタイミングで繰り返し行っていただくのがいいかと思います。

必要なサンプル数

「ABテストを行うにはどのくらいのリストがあった方がいいですか?」「テストのサンプル数はどのくらい必要ですか?」という質問をユーザー様からいただくことがあります。

サンプル数については、ABそれぞれのグループに1,000件ずつあると信用度のかなり高いABテスト結果を得られるとご説明しています。テスト比率を最大の20%とした場合は配信リストが合計5,000あれば良い計算です。

ただし、きっちり1,000件ずつない場合はABテストをやっても意味がないわけではありません。あまりに件数が少ない場合は検証結果の信頼性が低くなってしまいますが、例えばリストの合計数が2500件あり、A/Bテストの比率を20%に設定した上でサンプル数500件ずつでテストを行っても、ABテストとしては十分成り立ちます。

サンプル数が少ない場合は、できるだけ偶然性を除外するために、同じテーマで繰り返しテストを行うようにしましょう。または、後述するA/Aテストであらかじめ誤差の範囲を把握しておきましょう。そのような工夫をすれば多少リスト数が少なくても十分有効な結果が得られるため、A/Bテストを活用してより良いメール配信をすることができます。

A/Bテストを行う時の注意点

A/Bテストを行う上で、ご注意いただきたい点をご説明します。

①複数項目の比較をしない

まず「一回のA/Bテストで複数箇所の比較を一気に行わない」ということです。
例えば、送信元名と件名の2か所を変えてテストをしてしまうと、どちらが効果的でその結果となったのかが分からなくなってしまうためです。

②一回のテストで結論を出さない

そして「一回のA/Bテスト結果で結論を出さない」という点です。
一回だけでは「偶然その結果になった」ということも十分あり得るため、2回以上は繰り返しテストを行っていただくことをお勧めします。

A/Aテストとは?

より正確なテストを行うために役立つ「AAテスト」についてご紹介します。AAテストは名前の通り、同じメールを2つのグループに分けて配信を行い、自然に発生する誤差がどのくらいあるのかを確認するものです。

同じ内容のメールを送った時にも開封率やクリック率の差は多少発生するので、AAテスト結果の数値を基準に、今後行うABテストの数値がたまたま発生した誤差なのかどうかを判断することができます。

例えば、全く同じ内容のメールをA/Bテスト機能を使って2つのグループに配信したところ、開封率が以下のような結果になったとします。

  • テストグループ① 20.5%
  • テストグループ② 21.3%

この結果から、「今後はA/Bテストの結果が0.8%程度の差であれば、誤差の範囲内のため、有効な差とは認識しない」という風に考えることができるということです。

レポート機能を使ったA/Bテストの効果測定の仕方

続いてA/Bテストを行った後の「効果測定」の方法をご紹介します。

Benchmark EmailでA/Bテストの結果を見る方法は2つあります。

①「レポート」>「A/Bテスト結果」から見る方法

本メール配信を含むA/Bテスト結果を一覧で見ることができます。

ABテストレポート

「配信数」「開封数」「クリック数」「エラー」「配信停止」などの数値を見た上で、各メールの詳細なレポートにアクセスすることも可能です。

②「メール」>「A/Bテスト」から見る方法

こちらは①で表示される項目のほか、A/Bテスト状況をリアルタイムで見たい場合にも使えます。設定した採点基準やルールに基づいて、現在それぞれが何ポイント獲得しているのかを確認できます。

ABテストレポート2

本配信のメールはこのポイントの高い方が自動的に選ばれる仕様です。「配信時間テスト」を行っていた場合や「マニュアルモード」で設定をしていた場合は、こちらのレポートをチェックした上で、ご自身で最適な方を選択していただきます。

【動画で見る】A/Bテスト解説

YouTubeチャンネルでは、この記事をさらにわかりやすく解説しています。

 

まとめ

Benchmark EmailのA/Bテスト機能について理解は深まりましたでしょうか。

A/Bテストを行うことで皆様の読者が「どのような情報を求めているのか」「どういった言葉が響きやすいのか」「いつメールを読むのか」など、メールマーケティングにおいて重要な情報を得ることができます。

有料プランで利用中のユーザー様でA/Bテストをまだ試していない方は、ぜひ一度お試しください。

(関連記事)