こんにちは！Benchmark Emailのカスタマーサクセス担当のYurikoです。

数か月間におよぶニュースレター改善計画と、その結果についてお届けするシリーズの第4回です。

第3回の記事は、こちらからご覧ください。

今回は配信時間を変えた際の検証結果についてお届けします。

これまでのニュースレターの配信時間について

Benchmark Emailのブログニュースレターは、基本的に月に2回、水曜日の11:30に配信をしています。
まずはこの配信曜日、時間に決まった経緯について簡単に説明します。

11:30の配信について（時間）

まず時間についてですが、Benchmark Emailは企業でメール配信を担当している方々を対象としたBtoBサービスのため、会社のメールアドレスで登録している人が多くいます。

そのため、基本的にメールを開くタイミングは業務時間が多く、「平日の日中やお昼の時間」または「仕事が落ち着く夕方の時間」に集中するのではないかと推測しました。

そこで何回か11:30と17:00配信でABテストを行ったところ、結果として11:30の方が開封・クリック率が良かったため、最終的に11:30配信となりました。

水曜日の配信について（曜日）

続いて水曜日の配信となった経緯についてご説明します。

まずは以下の理由により、消去法で火、水、木のどれかになりました。

  • 月曜日→週明けのため忙しく、土日に受信した他のメールに埋もれてしまう可能性がある
  • 金曜日→見られないまま週末に入ってしまい、埋もれてしまう可能性がある

また、配信予定日の前日にABテストを行うことを考慮し、火曜日の候補がなくなりました。（ABテスト配信が月曜になってしまうのを避けるため）

そして木曜日にすると3連休で金曜日がお休みとなった場合や、プレミアムフライデー等が合った場合にすぐに週末に入ってしまうため、最終的に水曜日が最適だという結論になりました。

コロナ禍における変化

このようにBenchmark Emailでは「業務時間中のメールを見やすいタイミング」を考え、ブログニュースレターの配信時間を11:30に設定していました。

しかし、2020年3月の緊急事態宣言をきっかけに、リモートワークに移行する方々が増えました。

私たちの読者は企業のメール配信担当者の方々がメインであるため、コロナ禍における環境の変化に伴い、読者がメールをチェックする時間帯にも変化があったのではないかと考えました。

またグローバルなデータを見ている中で、「メールの開封時間に少しずつ変化が見られ、14時〜15時など夕方の開封が比較的好調になってきている」という情報もありました。

読者のメールを開封する時間が変わってきているなら、メールの配信時間の変更も検討すべきだと考え、さっそく配信時間をテストしてみることになりました。

今回の検証内容

今回は、2021年2月に配信する2回のニュースレターを利用して、以下の内容でABテストを行いました。

  • テストAグループ：11:30配信
  • テストBグループ：15:30配信

1週間ほど様子を見て、どちらのグループの方が開封率が高いかを検証します。

検証結果によっては、今後の配信時間を15:30に変えるつもりでいました。

ちなみに、Benchmark EmailのABテストでは、「差出人名」「件名」「メール（ボタンのデザインなど本文内でのクリック率テスト）」に加え、「配信時間」のテストも行えます。

テストタイプ「配信時間テスト」

配信時間テストをやってみたい方は、ABテスト機能のステップ1のテストタイプ設定で、「配信時間テスト」を選択してください。

【検証結果】開封率にさほど変化はないという結果に

それでは気になる結果を確認してみましょう。

1回目と2回目、それぞれのABテスト結果（開封率）がこちらです。
赤字＝勝った方の数値となっています。

  • 無料トライアルユーザーの開封率

  • 有料プランユーザーの開封率

見ての通り、無料・有料に関わらず11:30が良い時もあれば15:30が良い時もありました。

時間を変更しても、開封率にはそんなに影響がありませんでした。

念のため、何時にどの程度開封されたかを確認できる「時間グラフ」も見てみましょう。

  • 11:30配信の時間グラフ
    時間グラフ（11:30）
  • 15:30配信の時間グラフ
    時間グラフ（15:30）

時間グラフを見ると、開封数の曲線の下がり方が少し違っていることが分かります。

15:30配信は緩やかな曲線である一方、11:30配信の方は若干ですが15:00頃にも開封の波がありました。

時間グラフはメールレポートの「基本情報」の最下部にあるので、こちらもぜひ開封時間を考える上で参考にしてみてください。

検証結果まとめ

  • 開封数の数値だけ見ると「11:30と15:30配信のどちらでもあまり変わらない」と言える
  • 時間グラフを見てみると、11:30配信のメールを夕方になってから開封する人も一定数いると言える

今回このような結果になったのは、やはりコロナ禍における働き方の変化が影響しているのではないかと考えています。家で自由にメールを見れる時間が増えたことにより、開封時間にばらつきが出ている可能性があります。

一般的にBtoBのメールは平日の業務時間内に配信するのが良いとされていますが、どの時間帯に送るのが最適かは明確に決まっていません。検証を繰り返し行うことでそれぞれのメルマガに合った配信時間を見つけていくことが重要だと考えています。

また、今回の検証結果のように、配信時間を変えてみても開封率にはあまり影響がないこともあります。

配信時間を毎回固定にする必要もないので、たまに配信時間を変えてみるのも良いかと思います。時間を変えることで、これまではほとんど開封していなかった受信者が開封をしてくれる場合もあります。

まだ最適な配信時間を見つけられていないという方や、配信時間で悩んでいるという方は、ぜひ一度配信時間のABテストも行ってみてください。

次回予告

最後までお読みいただきありがとうございました。

次回は、「ニュースレターのコンテンツ数を減らしてみた」検証です。ニュースレターに載せているブログ記事などのコンテンツ数を減らした際の、クリック率の変化についてご紹介します。

ぜひそちらの記事もご一読ください！

（シリーズ記事）