-
A群は訪問2000回でコンバージョン40件、B群は訪問2000回でコンバージョン60件でした。
A群とB群のコンバージョン率（CVR）をそれぞれ%で求めましょう。
解答：A群 \(2\%\)、B群 \(3\%\)
CVRは、コンバージョン数を訪問数で割った割合です。
\(\hat{p}_A = 40 \div 2000 = 0.02\)
\(\hat{p}_B = 60 \div 2000 = 0.03\)
%に直すと、A群が2%、B群が3%です。
-
問題1のとき、CVRの差（B群からA群を引いたもの）をポイントで、相対リフト率を%で求めましょう。
解答：差 \(1\) ポイント、相対リフト率 \(50\%\)
差は、B群のCVRからA群のCVRを引きます。
\(d = 0.03 - 0.02 = 0.01\)
小数の0.01は、%どうしの差なので1ポイントと言います。
相対リフト率は、差をA群のCVRで割って100を掛けます。
\(L = 0.01 \div 0.02 \times 100 = 50\)
よって50%（Aに比べてBはCVが1.5倍）です。
-
問題1のとき、プールしたCVR（両群を合わせたCVR）を%で求めましょう。
解答：\(2.5\%\)
両群のコンバージョン数の合計を、訪問数の合計で割ります。
\(\hat{p} = \dfrac{40 + 60}{2000 + 2000} = \dfrac{100}{4000} = 0.025\)
よって2.5%です。
-
メールの件名をA・Bの2種類にして各5000通ずつ送ったところ、開封したのはAが2400通、Bが2600通でした。
プールした開封率、標準誤差 \(\mathrm{SE}\)、z値を求めましょう。
解答：プールした開封率 \(0.5\)、\(\mathrm{SE} = 0.01\)、\(z = 4\)
各群の開封率を求めます。
\(\hat{p}_A = 2400 \div 5000 = 0.48\)
\(\hat{p}_B = 2600 \div 5000 = 0.52\)
プールした開封率は、合計どうしで割ります。
\(\hat{p} = \dfrac{2400 + 2600}{5000 + 5000} = \dfrac{5000}{10000} = 0.5\)
標準誤差は、プールした値のばらつきに訪問数の逆数の和を掛けて平方根を取ります。
\(\mathrm{SE} = \sqrt{0.5 \times 0.5 \times \left(\dfrac{1}{5000} + \dfrac{1}{5000}\right)} = \sqrt{0.25 \times 0.0004} = \sqrt{0.0001} = 0.01\)
z値は、差を標準誤差で割ります。
\(z = \dfrac{0.52 - 0.48}{0.01} = \dfrac{0.04}{0.01} = 4\)
-
あるA/Bテストのz値は2でした。標準正規分布の累積確率を \(\Phi(2) = 0.9772\) として、両側p値と片側p値を求め、有意水準5%の両側検定で有意差があるかどうか答えましょう。
解答：両側p値 \(0.0456\)、片側p値 \(0.0228\)、有意差あり
両側p値は、1から累積確率を引いて2倍します。
\(p_2 = 2 \times (1 - 0.9772) = 2 \times 0.0228 = 0.0456\)
片側p値は、1から累積確率を引いた値そのものです。
\(p_1 = 1 - 0.9772 = 0.0228\)
両側p値0.0456は有意水準0.05より小さいので、両側5%で有意差ありと判定します。
-
問題4のテストで、差の95%信頼区間を求めましょう。ただし \(z_{\alpha/2} = 1.96\)、信頼区間に使う標準誤差も \(0.01\) とします。
解答：\(0.0204\) 以上 \(0.0596\) 以下（\(2.04\) 〜 \(5.96\) ポイント）
差を中心に、臨界値と標準誤差を掛けた幅を上下に取ります。
\(0.04 \pm 1.96 \times 0.01 = 0.04 \pm 0.0196\)
下限と上限を計算します。
\(0.04 - 0.0196 = 0.0204\)
\(0.04 + 0.0196 = 0.0596\)
ポイントに直すと2.04〜5.96ポイントで、区間が0を含まないのでBの方が高いと言えます。