前回は「こんなメルマガは嫌だ!」と題し、よくあるメールの問題点をご紹介しました。もし思い当たる部分があれば改善してみてくださいね。
さて今回は、「A/Bテスト」を通したメールの改善方法について、よくいただく質問にお答えする形でまとめてみました。効果測定ポイントやその具体的な目標数値、改善箇所のアイデアなどについてもお答えします!メールだけではなく、WEBサイトやバナー広告などの改善にも共通する部分も多いので、参考にしてください。

【Q】A/Bテストによるメール改善って、どんな考え方でやればいいんですか?

テストの前に、メール配信でチェックすべき効果測定ポイントは把握していますか? 見なければいけないのは開封数とクリック数だけではありませんよ。指標としては以下の図のようなものがあげられます。
赤い部分が進むべき流れですので、数値の増加を図り、逆に青い部分は離脱を意味していますので、数値が減るように検証・改善していくということが基本です。

 

※開封数はテキスト形式のメールでは取得できません

 

クリック数が高くても、CV数が改善しない場合、WEBサイト側の問題かもしれません。クリック数ばかり追いかけずに、全体を俯瞰して前後関係をチェックすることも重要です。

【Q】各指標は、具体的にどのぐらいの数値を目指せばよいのですか?

業種やメールの目的で違ってきますが、一般的にメールの反応数は以下のような傾向があります。もし悪い方向に大きく外れているようであれば改善の余地があるかもしれません。

  1. 到達率 99%以上
  2. 開封率 20%前後
  3. クリック率 3%前後
  4. CV率 1%~3%
  5. 配信停止率 0.3%以下

なお、米国MailChimp社では、業種別の反応数を公開しています。日本国内の傾向とは多少違うかもしれませんが、こちらも参考指標にすると良いでしょう。
「Email Marketing Benchmarks」

【Q】A/Bテストをしたいのですが、どうやってやれば進めればよいですか?

「A/Bテスト」は、

  1. 課題から仮説を立案し、
  2. 仮説を検証するためのテストプランを検討、
  3. 配信対象者リストを2つに分けて同じタイミングで配信、
  4. 配信結果から今後のアクションを判定する

という流れで進めます。

軽微なテストの場合は、配信リスト全体を2分割して行っても問題はありませんが、インパクトの大きいテスト(大幅なデザイン変更など)の場合は、一部のユーザーに絞って検証することをおすすめします。

「A/Bテスト」を始めると、いろんなテストプランを試したくなるのですが、まずは「開封数」の改善から始めましょう。開封されないことにはそれ以降のクリックやCVにつながりません。ユーザーの流れに従って上流から(図で言うと左から)改善していくのがベストです。

※到達数については、配信エラーが要因となるため、A/Bテストによる改善ではなく、配信リストや配信システムの確認が必要です

【Q】テストをする際の具体的な改善ポイント・内容を教えて下さい

改善ポイントは多数ありますが、以下に例を示したので、参考にしてみてください。

◆開封数
配信タイミング/差出人名(個人名挿入/要件記載など)/件名(長短/個人名挿入/商品名挿入/プリヘッダーテキスト変更*)

◆クリック数、コンバージョン数
メール構成(コンテンツ数など)/見出し(長短/内容/小見出しの有無など)/テキスト(サイズ/色/行間/改行/リード文など)/リンク(サイズ/色/文字サイズ/数/場所/ボタン化など)

特に、開封率では「件名」、クリックやコンバージョンでは「見出し」「構成」「リンク」などが大きく数値を左右する傾向がありますので、優先的に検証することをオススメします。

 

*「プリヘッダーテキスト」とは、受信トレイで件名の下に表示される本文冒頭の文字列です。

【Q】実際に効果があった具体的なテスト事例が知りたいです!

多くの効果的な事例がありますが、いくつか面白いものをご紹介しますね!

 

(1) 件名のメールサービス名を商品名に変えてクリック数2倍

A|「お名前」+○○ニュース
B|「お名前」+[商品名]新登場!

開封率向上を図ったA/Bテストでしたが、開封率は変わらず、件名の商品記事のクリック数が2倍になる結果に。件名は開封だけではなく、その後のクリックにつなげるためにも重要ということですね。

 

(2) メール構成の整理でクリック数が約3倍

A|見出しがなく、文脈が分かりづらいメール
B|見出しを追記して構成を整理したメール

見出しを入れて読みやすく整えただけで、クリック数が安定して約3倍ほどに。ユーザーに一度しか配信されない自動配信メールでしたので、「いつもと違うからクリックが増えた」ということではありません。文脈整理の重要さが分かりますね。

 

(3) 配信時間変更でクリック数1.2倍、CV数2倍

A|8時の配信
B|飲食店店長のライフサイクルを考慮した時間に配信

飲食店向けメールのA/Bテスト事例です。店長さんの1日のサイクルを考えて配信時間を変更したところ、開封数はほとんど差が無かったのですが、クリック数は1.2倍、CV数は2倍になりました。開封はできても、アクションができないと開封止まりになってしまうということが分かりますね。

【Q】A/Bテストであまり効果が得られないのですが…

「A/Bテスト」では、いくつか気をつけなければならないことがあります。該当することがないかチェックしてみてください!

 

☑ 2ヶ所以上同時に比較していませんか?
比較箇所が複数あると、変化した原因が分からなくなり、間違った判定をしてしまう可能性があります。

☑  1回の配信で判断していませんか?
メールテンプレートの検証などの場合、「新しい方」の反応数が上がる傾向にあります。これは「変わった」という事実に対する反応と考えられ、正しい判断ができません。このような検証の場合は、数回同じ内容で検証してから判断することをおすすめします。

☑  テスト対象者が偏っていませんか?
たとえば、片方のリストに新規ユーザーが多く含まれている場合、反応が良い傾向にあります。正しい結果を得るためには、テスト対象者の内訳も同じ条件になるよう注意しましょう。

☑ わずかな差で判断していませんか?
テストの結果、微妙な差になってしまったときは「有意差検定」のWEBツールを使用することで、統計的にみて本当に差があるといえるのかを正しく判定することが可能になります。

(*)A/Bテスト信頼度判定ツール

☑  数値アップに夢中になっていませんか?
「A/Bテスト」を行うと、数値アップに躍起になりがちです。クリック数が3倍になっても、最終的なゴールに貢献していなければ意味がありません。時にはメール自体が目的に対して最適なツールではない場合もあるでしょう。メールマーケティングはメールだけではなく、マーケティング施策全体を俯瞰して考えなくてはいけません。

最適なメールは一日にして成らず

メールには効果的な配信のためのセオリーのようなものはありますが、企業によってセオリーに当てはまらなかったり、時代の潮流により無効になっていく場合も多々ありえます。
自社のメール配信目的や位置づけを明確に持ち、どんな情報をいつ・どのように送ると良いのか、少しずつ試していくことが自社のメールにおける勝ちパターンを見つける近道です。
冒頭でもお伝えした通り、「A/Bテスト」の考え方はメールだけではなく、WEBサイトやバナー広告などでも同様ですので、そちらにもぜひ応用してみてください!