PDCAの回し方(1)【連載第10回】

  • このエントリーをはてなブックマークに追加

メールは、「出して終わり」ではありません。
PDCAを繰り返していくことで、どんどん改善していくことができます。今回から数回にわたって、「どのようにPDCAを回していくか」をご説明します。

まずは、PDCAの回し方の基本を復習しておきましょう。

【基本1】指標となる数値を元に、改善していく

「なんとなく」ではなく、指標となる数値が「よくなったのか」「悪くなったのか」を見ていきます。メールのPDCAで使う数値としては、以下のようなものがあります。

 ➀開封率
 ②精読率(通読率)
 ④クリック率
 ⑤コンバージョン率
 ⑥離脱率

それぞれについては、次回以降で詳しくご説明していきます。

【基本2】1回のテストの目的は、一つだけにする

例えば、同時に➀開封率 と ⑤コンバージョン率 の二つのテストを行おうとすると、テスト方法が非常に複雑になります。開封率の改善なら開封率の改善だけ、コンバージョン率の改善ならコンバージョン率の改善だけを目的にテストを実施しましょう。

【基本3】1回に一つの項目だけを、テストする

これは、非常に重要です。具体的な例で、考えてみましょう。

「差出人名AとBのメールの、どちらの開封率が高くなるか」を検証するためのテストを実施したとします。

このテスト結果だと、【グリーゼ】が前についているから開封率が高くなったのか、名前がひらがなだったから開封率が高くなったのか、判断できませんよね。ですから、「差出人名は、漢字とひらがなのどちらがいいのか」のテストをしたいなら

というテスト項目にします。

また、「会社名は、前と後ろのどちらがいいのか」をテストしたいなら

というテスト項目にします。

このように、面倒でも、1項目ずつ別々にテストをするようにしましょう。

【基本4】再現性のあるテストを行う

こちらも、具体的な例を挙げて説明します。
「差出人名AとBのメールの、どちらの開封率が高くなるか」を検証するためのテストです。以下のテスト結果を、見てください。

「川野 葉子さん」の方が、開封率が高かったとしても、それがなぜなのかわかりませんよね。つまり、このテストは、応用がきかない=再現性がないということです。

では、下記のテストではどうでしょう?

この場合、結果から「差出人名は、漢字名より、ひらがな名の方が、開封率が高くなるのではないか?」という仮説が成り立ちますので、他のメールにも応用がききますよね。

つまり、再現性があるということです

【基本5】できるだけ同じ条件下でテストを行う

こちらも、例を挙げて、説明しましょう。

「件名AとBのメールの、どちらのコンバージョン率(売り上げ)が高くなるか」を検証するためのテストを実施します。

 件名Aのメールは、21日に配信しました。
 件名Bのメールは、25日に配信しました。

その結果、件名Bのコンバージョン率が高くなりました。

ということは、「件名Bの方が、よい件名である」・・・と言えるでしょうか?

皆さま、もうおわかりですよね。

 件名Aのメールを出したのは、「給料日前」。
 件名Bのメールを出したのは、「給料日」。

つまり、このテストには、「給料日」という大きな変動要素が影響している可能性があります。このように、テストしたい項目(この例では件名)以外の要素に影響されないように、「できるだけ同じ条件下で」テストを実施することが重要なのです。

今回の場合でしたら、下記のようなテストの方が、信頼性が高くなります。

【基本6】同じテストを複数回行う

基本5で説明したように、テスト項目以外の何らかが影響すると、テスト結果の信頼性が低くなってしまいます。しかし、1回のテストだけで、信頼性の高い結果を得るのは、難しいものです。

具体的な例を見てみましょう。

上記の例では、「21日にテストを実施したときには、件名Bの方が効果が高かった」けれども、「25日にテストを実施したときには、件名Aの方が効果が高かった」という結果が出ています。

これは、日にちが影響しているのか、曜日が影響しているのか、このデータだけでは何とも言えませんので、もう少しテストを繰り返して「どんなときにAが高くなって、どんなときにBが高くなるのか」まで探ってみた方がよさそうですよね。

このように1回だけのテストではわからないこともありますので、同じテストを数回実施してみることをお勧めします。

【基本7】十分なサンプル数でテストを行う

こちらも例を挙げて説明しましょう。

「件名AとBのメールの、どちらの開封率が高くなるか」を検証するためのテストを実施します。ちょっと極端ですが、テストサンプル数が「5人」だった場合を考えてみてください。

この場合、たしかに件名Bの開封率が圧倒的に高くなってはいますが、実際にはたったひとりの差ですから、「誤差の範囲」ですよね。このような場合、「テスト結果には、統計的有為性がない」という言い方をします。

では、テストサンプル数が千人だったらどうでしょうか。

この場合、開封率の差はわずか1・4%ですが、「件名Bの方が効果あり」と言えそうです。

では、一体どの程度サンプル数があれば、十分なのでしょうか?

統計学的に定められている数式があるのですが、専門分野でないとちょっと理解するのが難しいので、Webサイトの無料サービスを利用してみてください。条件を入力すると、必要なサンプル数を自動計算してくれるサービスが、いくつか見つかると思います。

PDCAを実施する際は、上記の基本1~7をしっかり押さえてテストを行うようにしましょう。

次回は、開封率に関するPDCAについて、具体的にお話しします。お楽しみに!

The following two tabs change content below.

江島 民子

コンテンツマーケティングの専門会社 株式会社グリーゼ代表取締役。最近は、コンテンツの設計だけではなく、コミュニケーションの設計からお手伝いする案件が増えています。
  • このエントリーをはてなブックマークに追加

関連するおすすめ記事

お役立ち資料