-
ベースCVRが4%のページで、相対25%の改善を検出したいとき、改善後のCVRは何%ですか。
解答：5%
相対%の改善幅は、ベースCVRに \((1 + r \div 100)\) を掛けて求めます。
\(4 \times (1 + 25 \div 100) = 4 \times 1.25 = 5\)
よって5%です。
-
ベースCVRが2%のページで、絶対0.5ポイントの改善を検出したいとき、改善後のCVRは何%ですか。また、それは相対何%の改善にあたりますか。
解答：2.5%、相対25%
絶対ポイントの改善幅は、ベースCVRにそのまま足します。
\(2 + 0.5 = 2.5\)
相対%に直すには、差をベースCVRで割ります。
\(0.5 \div 2 \times 100 = 25\)
よって改善後のCVRは2.5%、相対25%の改善です。
-
ベースCVRが4%、改善後のCVRが5%のとき、式に使う平均のCVR \(\bar{p}\) を小数で求めなさい。
解答：\(0.045\)
\(\bar{p}\) は2つのCVRの平均で、式では%を小数に直して使います。
\(\bar{p} = (0.04 + 0.05) \div 2 = 0.09 \div 2 = 0.045\)
-
ベースCVRが40%、改善後のCVRが60%のA/Bテストで、簡略式 \(n \fallingdotseq 2\bar{p}(1-\bar{p})(z_{\alpha/2}+z_{\beta})^2 \div (p_2-p_1)^2\) を使って各群の必要サンプル数を求めなさい。ただし \(z_{\alpha/2} = 1.96\)、\(z_{\beta} = 0.84\) とします。
解答：98
まず平均のCVRを求めます。
\(\bar{p} = (0.4 + 0.6) \div 2 = 0.5\)
\(2\bar{p}(1-\bar{p})\) を計算します。
\(2 \times 0.5 \times 0.5 = 0.5\)
\(z\) 値の和の2乗を計算します。
\((1.96 + 0.84)^2 = 2.8^2 = 7.84\)
検出したい差の2乗で割ります。
\(0.5 \times 7.84 \div (0.6 - 0.4)^2 = 3.92 \div 0.04 = 98\)
よって各群98人です。
-
各群の必要サンプル数が6000人で、テスト対象ページに1日800回の訪問があるとき、必要な日数は何日ですか。
解答：15日
A・B合計のサンプル数を1日あたりの流入数で割ります。
\(2 \times 6000 \div 800 = 12000 \div 800 = 15\)
割り切れるので切り上げは不要で、15日です。
-
各群の必要サンプル数が7000人で、1日1500回の訪問があるとき、必要な日数は何日ですか。
解答：10日
A・B合計のサンプル数を1日あたりの流入数で割ります。
\(2 \times 7000 \div 1500 = 14000 \div 1500 = 9.33\cdots\)
日数は端数を切り上げるので、10日です。
9日では \(1500 \times 9 = 13500\) 人しか集まらず、必要な14000人に届きません。
-
あるA/Bテストで、検出したい改善幅（絶対ポイント）を半分にすると、各群の必要サンプル数はおよそ何倍になりますか。ただしベースCVRと有意水準・検出力は変えないものとします。
解答：約4倍
必要サンプル数の式は、検出したい差 \((p_2 - p_1)\) の2乗で割る形になっています。
差が \(\dfrac{1}{2}\) になると、その2乗は \(\dfrac{1}{4}\) になります。
\(\left(\dfrac{1}{2}\right)^2 = \dfrac{1}{4}\)
\(\dfrac{1}{4}\) で割ることは4を掛けることと同じなので、必要サンプル数は約4倍になります。
（分子のばらつきの部分も \(p_2\) が変わるとわずかに変わるため「約」4倍です。）