Ab-testing-how-it-works
A/Bテスト–仕組み
統計と分析を使用して訪問者の行動を監視し、コンバージョン率の高いバージョンを判断できます。 A/Bテストの結果は通常、派手な*数学および統計用語*で示されますが、数字の背後にある意味は実際には非常に単純です。 A/Bテストを使用してコンバージョン率を確認できる2つの重要な方法があります-
- データのサンプリング
- 信頼区間
これら2つの方法について詳しく説明します。
データのサンプリング
サンプルの数は、実行されたテストの数に依存します。 変換率のカウントはサンプルと呼ばれ、これらのサンプルを収集するプロセスはサンプリングと呼ばれます。
例
2つの製品AとBがあり、市場の需要に応じてサンプルデータを収集するとします。 製品AとBから選択するように数人に依頼してから、調査への参加を依頼できます。 参加者の数が増えると、*現実的なコンバージョン率*が表示され始めます。
サンプルサイズの正しい数を決定するために使用できるさまざまなツールがあります。 利用可能なそのような無料のツールの1つは-
A/Bテストの信頼区間
信頼区間は、複数のサンプルの平均からの偏差の測定値です。 上記の例では、信頼区間の＆pm; 2％で、22％の人が製品Aを好むと仮定します。 この間隔は、製品Aを選択する人々の上限と下限を示し、エラーマージンとも呼ばれます。 この平均的な調査で最高の結果を得るには、誤差の範囲をできるだけ小さくする必要があります。
例
製品Bでマイナーな変更を追加し、これら2つの製品でA/Bテストを実行したと仮定します。 信頼区間の積AおよびBは、それぞれ＆pm; 1％で10％、＆pm; 2％で20％です。 そのため、わずかな変更でコンバージョン率が増加したことがわかります。 エラーのマージンを無視すると、テストバリエーションAのコンバージョン率は10％、テストバリエーションBのコンバージョン率は20％です。 テストのバリエーションが10％増加しました。
ここで、差を制御変動率10％÷10％= 1.0 = 100％で除算すると、100％の改善が見られます。 したがって、A/Bテストは数学的手法と分析に基づく手法であると言えます。 A/B有意性の計算に使用できるさまざまなオンラインツールがあります。
