請輸入 A 組（原本的版本）和 B 組（修改後的版本）各自的造訪數和轉換次數。除了各組的 CVR、差和相對提升率，也會用兩樣本比例 z 檢定算出 z 值和 p 值，並依您選擇的顯著水準判定「有／無顯著差異」。
造訪數用點擊次數、工作階段數、使用者人數都可以，但兩組要用相同的計算方式。數值請輸入半形整數。顯著水準和單尾／雙尾，請選擇測試開始前就決定好的條件（看了結果再改不是正確的用法）。
計算結果與圖表
在左側輸入 A 組、B 組的造訪數和轉換次數，按下「計算」後，這裡會顯示判定結果和圖表。
這個頁面可以做什麼
- 只要輸入 A 組、B 組各自的造訪數（點擊次數、工作階段數也可以）和轉換次數，就能一次算出各組的 CVR、CVR 的差和相對提升率
- 用兩樣本比例 z 檢定判斷「B 的 CVR 看起來比較高，會不會只是偶然的波動？」（z 值、雙尾與單尾的 p 值、顯著水準 5%、1%、10% 的判定）
- 也能看出 CVR 差的信賴區間（95% 等），以及 z 值距離顯著的界線還有多少差距
- 在標準常態分布的圖形上，標出這次 z 值的位置，並塗出拒絕域（落在這裡就是顯著）
- 公式的簡單解說，以及可直接複製的 Excel、Google 試算表、Python 公式，都整理在這一頁
這個頁面專門判斷「A 組和 B 組的 CVR（比率）有沒有差異」。只想把 z 值換成 p 值，請用 p 值計算機；要求平均值的信賴區間，請用信賴區間計算機；要求調查 1 個比率所需的人數，請用樣本數計算機。「有顯著差異」不代表「效果一定存在」或「效果很大」（請參考下方的「思考重點」和用語解說）。
這個計算有什麼用？
改善到達網頁和廣告文案（網路行銷）
「換了按鈕顏色的 B 版本，讓 CVR 從 2.0% 上升到 2.5%。」確認這個差不是偶然，就是網路行銷每天都在做的 A/B 測試顯著性判定。各 10,000 次造訪時，雙尾 p 值約 0.017，「在 5% 下顯著」。但如果是各 500 次造訪、CVR 差不多（轉換 10 次對 12、13 次），p 值約 0.5～0.7，只能說「可能是偶然」。
因為「B 看起來比較好」就切換，結果下個月又回到原樣的情況很常見。事先決定造訪數，再用顯著水準判定，就能避免這種事（前提是訪客是隨機分配的）。
測試電子報的主旨和寄送時間（電子郵件行銷）
把同一封電子報分成 2 種主旨，各寄給名單的一半，比較開信率 48% 和 52%。這也是 2 個比率差異的檢定。各寄 5,000 封時，4 個百分點的差，z 值約為 4，是很難用偶然解釋的差。
開信率這種較大的比率，和 CVR 這種較小的比率相比，同樣的寄送數比較容易判定（差相對於標準誤差容易比較大）。用這個公式，就能掌握比較的指標不同、需要的寄送數會怎麼變。
比較治療方法的有效率（醫學研究）
像「標準療法有 60% 改善，新療法有 70% 改善」這樣比較 2 組的改善率，是臨床研究的基本檢定（實際的研究會採用隨機分配、盲性等嚴格的設計）。
作為藥物核准和治療指引依據的論文，一定會寫出 p 值和信賴區間。理解這個公式後，就不會被「顯著」這個詞牽著走，也能看懂「差有多大」「病人數夠不夠」。
比較生產線的不良率（品質管理）
新製程 B 看起來讓不良率從 1.5% 降到 1.0% 時，判定會隨數量而變：各 2,000 個時是「在偶然的範圍內」，各 20,000 個時則是「顯著改善」。這個計算可以避免設備、製程的變更決策，被小樣本的偶然左右。
不良率這種小比率，在期望不良數（數量 × 不良率）低於 5 時，常態近似會變粗略，所以會改用直接使用二項分布的精確檢定（費雪精確檢定等）。
測量教材、教學方法的效果（教育）
「使用新教科書的班級及格率 75%，舊教科書是 65%」這種比較也能用同樣的檢定。不過如果按班級分配教科書，學生並不是隨機分配的，老師和學生的差異也會混進結果裡。
在教育、社會科學的研究中，除了用這個公式確認顯著性，設計也很重要：是否隨機分組？有沒有在看了結果後才改變比較的切法？了解公式背後的前提，才不會被數字騙。
公式
各組的 CVR（轉換率）
數學寫法
（一般的數學式）
\(\hat{p}_A\)
\(=\)
\(x_A\)
\(\div\)
\(n_A\)
文字寫法
（把符號換成文字的公式）
③
A 組的 CVR \(\hat{p}_A\)
\(=\)
①
A 組的轉換次數 \(x_A\)
\(\div\)
②
A 組的造訪數 \(n_A\)
用文字讀公式
①
把
A 組的轉換次數 \(x_A\)
②
除以
A 組的造訪數 \(n_A\)
，
③
就得到
A 組的 CVR \(\hat{p}_A\)
（B 組也用同樣的公式 \(\hat{p}_B = x_B \div n_B\)）
簡單範例
A 組造訪 10,000 次、轉換 200 次，B 組造訪 10,000 次、轉換 250 次時，各組的 CVR 是
A 組的 CVR \(\hat{p}_A\)
\(=\)
轉換次數（200 次）
\(\div\)
造訪數（10,000 次）
\(200 \div 10000 = 0.02\ \ (2\%)\)
\(250 \div 10000 = 0.025\ \ (2.5\%)\)
思考重點
CVR 的分母（造訪數）用點擊次數、工作階段數、使用者人數來算都可以，但 A 和 B 一定要用相同的計算方式。公式中的比率用 \(0.02\) 這種 0 到 1 之間的小數，只在顯示時換成百分比。
符號 \(\hat{p}\)（讀作 p hat）的意思是「用手邊的資料推估出的真正 CVR \(p\)」。即使有 10,000 人看了同一個網頁，轉換次數也會因偶然而稍微增減。所以「這次是 2%」不等於「真正的 CVR 剛好是 2%」，只是接近它的推估值。下面的檢定，就是正確處理這種偶然波動的方法。
CVR 的差與相對提升率
數學寫法
（一般的數學式）
\(d\)
\(=\)
\(\hat{p}_B\)
\(-\)
\(\hat{p}_A\)
\(L\)
\(=\)
\(d\)
\(\div\)
\(\hat{p}_A\)
\(\times\)
\(100\)
文字寫法
（把符號換成文字的公式）
③
CVR 的差 \(d\)
\(=\)
①
B 組的 CVR \(\hat{p}_B\)
\(-\)
②
A 組的 CVR \(\hat{p}_A\)
⑦
相對提升率 \(L\)（%）
\(=\)
④
CVR 的差 \(d\)
\(\div\)
⑤
A 組的 CVR \(\hat{p}_A\)
\(\times\)
⑥
換成百分率的 \(100\)
用文字讀公式
①
從
B 組的 CVR \(\hat{p}_B\)
②
減去
A 組的 CVR \(\hat{p}_A\)
，
③
就得到
CVR 的差 \(d\)
（顯示時乘以 100，以「百分點」表示）。
④
把
CVR 的差 \(d\)
⑤
除以
A 組的 CVR \(\hat{p}_A\)
，
⑥
再乘以
換成百分率的 \(100\)
換成百分比，
⑦
就得到
相對提升率 \(L\)（%）
簡單範例
A 組的 CVR 是 0.02（2%）、B 組是 0.025（2.5%）時，差和相對提升率是
CVR 的差 \(d\)
\(=\)
B 組的 CVR（0.025）
\(-\)
A 組的 CVR（0.02）
相對提升率 \(L\)（%）
\(=\)
差（0.005）
\(\div\)
A 組的 CVR（0.02）
\(\times\)
\(100\)
\(0.025 - 0.02 = 0.005\ \ (0.5\ \text{個百分點})\)
\(0.005 \div 0.02 \times 100 = 25\ \ (25\%)\)
思考重點
「從 2% 上升到 2.5%」，用差來說是 0.5 個百分點，用比率來說是增加 25%。為了避免混淆，百分比之間相減的結果不叫「%」，而是叫「百分點」（2.5% − 2% = 0.5 個百分點）。
相對提升率表示「B 比 A 多帶來幾 % 的轉換」，可以直接連結到廣告費、營收的估算，實務上很常用。不過這 2 個數字是這次樣本中觀察到的差，真正的差不一定剛好一樣。接下來的檢定就是確認這一點。
合併 CVR（兩組合起來的 1 個 CVR）
數學寫法
（一般的數學式）
\(\hat{p}\)
\(=\)
\((x_A + x_B)\)
\(\div\)
\((n_A + n_B)\)
文字寫法
（把符號換成文字的公式）
③
合併 CVR \(\hat{p}\)
\(=\)
①
兩組的轉換次數合計 \((x_A + x_B)\)
\(\div\)
②
兩組的造訪數合計 \((n_A + n_B)\)
用文字讀公式
①
把
兩組的轉換次數合計 \((x_A + x_B)\)
②
除以
兩組的造訪數合計 \((n_A + n_B)\)
，
③
就得到
合併 CVR \(\hat{p}\)
簡單範例
A 組轉換 200 次／造訪 10,000 次，B 組轉換 250 次／造訪 10,000 次時，合併 CVR 是
合併 CVR \(\hat{p}\)
\(=\)
轉換次數合計（200 + 250）
\(\div\)
造訪數合計（10000 + 10000）
\((200 + 250) \div (10000 + 10000) = 450 \div 20000 = 0.0225\ \ (2.25\%)\)
思考重點
檢定時，先立下「A 和 B 的 CVR 其實相同」這個假設（虛無假設；想證明的「有差異」則是對立假設）。如果相同，兩組的資料就來自同一個 CVR，所以把兩組合起來（合併）來推估它。這就是合併 CVR，會用在接下來標準誤差的計算。
「先假設相同來計算，結果發現這麼大的差幾乎不可能發生」——得到這樣的結果時，就開始懷疑前提（沒有差異）。這就是假設檢定的邏輯。
標準誤差與 z 值（兩樣本比例 z 檢定）
數學寫法
（一般的數學式）
\(\mathrm{SE}\)
\(=\)
\(\sqrt{\hat{p}(1-\hat{p})\left(\dfrac{1}{n_A}+\dfrac{1}{n_B}\right)}\)
\(z\)
\(=\)
\(d\)
\(\div\)
\(\mathrm{SE}\)
文字寫法
（把符號換成文字的公式）
②
標準誤差 \(\mathrm{SE}\)
\(=\)
①
合併 CVR 的波動 \(\hat{p}(1-\hat{p})\) × 兩組造訪數的倒數和 \(\left(\dfrac{1}{n_A}+\dfrac{1}{n_B}\right)\) 的平方根
⑤
z 值 \(z\)
\(=\)
③
CVR 的差 \(d\)
\(\div\)
④
標準誤差 \(\mathrm{SE}\)
用文字讀公式
①
合併 CVR 的波動 \(\hat{p}(1-\hat{p})\) × 兩組造訪數的倒數和 \(\left(\dfrac{1}{n_A}+\dfrac{1}{n_B}\right)\) 的平方根
就是
②
標準誤差 \(\mathrm{SE}\)
（差因偶然而變動的幅度的參考值）。
③
把
CVR 的差 \(d\)
④
除以
標準誤差 \(\mathrm{SE}\)
，
⑤
就得到
z 值 \(z\)
（差是「偶然波動幅度的幾倍」）
簡單範例
合併 CVR 是 0.0225、兩組造訪數各 10,000 次、CVR 的差是 0.005 時，標準誤差和 z 值是
標準誤差 \(\mathrm{SE}\)
\(=\)
「0.0225 × (1 − 0.0225) × (1/10000 + 1/10000)」的平方根
z 值 \(z\)
\(=\)
差（0.005）
\(\div\)
標準誤差（0.002097）
\(0.0225 \times (1 - 0.0225) \times \left(\dfrac{1}{10000} + \dfrac{1}{10000}\right) = 0.02199375 \times 0.0002 \approx 0.0000043988\)
\(\mathrm{SE} = \sqrt{0.0000043988} \approx 0.002097\)
\(z = 0.005 \div 0.002097 \approx 2.384\)
思考重點
z 值表示「觀察到的差，是偶然波動幅度（標準誤差）的幾倍」。沒有差異時，z 值服從平均數 0、標準差 1 的標準常態分布，所以 \(|z|\) 超過 2 的差，在其實沒有差異時很少（大約 5% 以下）會偶然出現。
標準誤差的公式中有造訪數的倒數 \(1/n\)，所以造訪數越多，標準誤差越小，同樣 0.5 個百分點的差，z 值也會越大（越容易顯著）。造訪數少時，即使差很大，也只能說「可能是偶然」（檢定力低）。
這個公式是用常態分布近似轉換次數的波動（二項分布）。參考標準是各組的期望轉換次數 \(n\hat{p}\) 和期望未轉換次數 \(n(1-\hat{p})\) 都在 5 以上（最好 10 以上）；不符合時，結果會顯示警告。
p 值（雙尾、單尾）
數學寫法
（一般的數學式）
\(p_2\)
\(=\)
\(2\)
\(\times\)
\((\)
\(1\)
\(-\)
\(\Phi(|z|)\)
\()\)
\(p_1\)
\(=\)
\(1\)
\(-\)
\(\Phi(z)\)
文字寫法
（把符號換成文字的公式）
④
雙尾 p 值 \(p_2\)
\(=\)
③
兩側尾端的 \(2\)
\(\times\)
\((\)
①
全體的機率 \(1\)
\(-\)
②
到 \(|z|\) 為止的累積機率 \(\Phi(|z|)\)
\()\)
⑦
單尾 p 值 \(p_1\)
\(=\)
⑤
全體的機率 \(1\)
\(-\)
⑥
到 \(z\) 為止的累積機率 \(\Phi(z)\)
用文字讀公式
①
從
全體的機率 \(1\)
②
減去
到 \(|z|\) 為止的累積機率 \(\Phi(|z|)\)
（＝一邊尾端的面積），
③
再乘以
兩側尾端的 \(2\)
，
④
就得到
雙尾 p 值 \(p_2\)
。
⑤
從
全體的機率 \(1\)
⑥
減去
到 \(z\) 為止的累積機率 \(\Phi(z)\)
，
⑦
就得到
單尾 p 值 \(p_1\)
（「B 比 A 高」的假設時）
簡單範例
z 值是 2.384 時（標準常態分布的累積機率 \(\Phi(2.384) \approx 0.99144\)），雙尾 p 值和單尾 p 值是
雙尾 p 值 \(p_2\)
\(=\)
\(2\)
\(\times\)
\((\)
\(1\)
\(-\)
\(\Phi(2.384)\)（0.99144）
\()\)
\(p_2 = 2 \times (1 - 0.99144) = 2 \times 0.00856 \approx 0.0171\)
\(p_1 = 1 - 0.99144 \approx 0.0086\)
思考重點
p 值是「其實沒有差異，卻因偶然出現這次以上差距的機率」。雙尾 p 值 0.0171 的意思是「如果沒有差異，這麼大的差（不論哪個方向）每 100 次只會出現約 1.7 次」。它小於顯著水準 5%（0.05），所以判定為「有顯著差異」；但大於 1%（0.01），所以是「在 1% 下不顯著」。
雙尾檢定問的是「A 和 B 有沒有差異（不論哪個比較高）」，單尾檢定只問「B 是否比 A 高」。單尾 p 值是雙尾的一半，比較容易顯著，但只有在**測試開始前**就決定不考慮 B 比較低的情況時才能使用。看了結果才改成單尾，不是正確的用法。
同樣的道理，一再檢視結果、一顯著就停止（提前停止），或同時檢定許多版本或指標、只要有顯著就採用（多重比較），都會讓「其實沒有差異卻顯著」的機率遠大於 5%。基本原則是：測試前先決定所需的造訪數和要看的指標，等到達標再只判定一次。
\(\Phi\)（讀作 phi）是標準常態分布的累積分布函數，表示 z 值小於或等於該值的機率，也就是鐘形曲線左側的面積。數值可以查常態分布表，或用 Excel 的 NORM.S.DIST 函數求出（這個頁面的計算機是用數值計算）。
CVR 差的信賴區間
數學寫法
（一般的數學式）
\(d_L,\ d_U\)
\(=\)
\(d\)
\(\pm\)
\(z_{\alpha/2}\)
\(\times\)
\(\sqrt{\dfrac{\hat{p}_A(1-\hat{p}_A)}{n_A}+\dfrac{\hat{p}_B(1-\hat{p}_B)}{n_B}}\)
文字寫法
（把符號換成文字的公式）
④
差的信賴區間下限 \(d_L\)、上限 \(d_U\)
\(=\)
①
CVR 的差 \(d\)
\(\pm\)
②
由信心水準決定的 \(z_{\alpha/2}\)
\(\times\)
③
由各組波動求出的標準誤差 \(\mathrm{SE}_d\)
用文字讀公式
①
以
CVR 的差 \(d\)
為中心，
②
往上、往下各取
由信心水準決定的 \(z_{\alpha/2}\)（95% 時為 1.96）
乘以
③
由各組波動求出的標準誤差 \(\mathrm{SE}_d\)
的幅度，
④
就得到
差的信賴區間下限 \(d_L\)、上限 \(d_U\)
簡單範例
A 組的 CVR 是 0.02（造訪 10,000 次）、B 組是 0.025（造訪 10,000 次）、差是 0.005 時，差的 95% 信賴區間是
下限 \(d_L\)、上限 \(d_U\)
\(=\)
差（0.005）
\(\pm\)
\(z_{\alpha/2}\)（1.96）
\(\times\)
標準誤差（0.002097）
\(\mathrm{SE}_d = \sqrt{\dfrac{0.02 \times 0.98}{10000} + \dfrac{0.025 \times 0.975}{10000}} = \sqrt{0.00000196 + 0.0000024375} \approx 0.002097\)
\(0.005 \pm 1.96 \times 0.002097 = 0.005 \pm 0.00411\)
\(0.00089 \le d \le 0.00911\ \ (0.09 \sim 0.91\ \text{個百分點})\)
思考重點
檢定只回答「有沒有差異」二選一，信賴區間則會告訴您大小：「真正的差很可能在這個範圍」。這個例子的 95% 信賴區間是 0.09～0.91 個百分點。它不包含 0，所以可以說「B 比較高」，但也看得出範圍很寬，不能斷言「剛好上升了 0.5 個百分點」。
標準誤差要用各組自己的 CVR 的波動，而不是檢定時的合併值（信賴區間不假設「沒有差異」）。\(z_{\alpha/2}\) 是由信心水準決定的標準常態分布的值：90% 為 1.645，95% 為 1.96，99% 為 2.576。把信心水準設為「100 − 顯著水準」（顯著水準 5% 時為 95%），雙尾檢定的判定和信賴區間是否包含 0，幾乎都會一致（單尾檢定不對應；另外，檢定用的是合併的標準誤差，信賴區間用的是各組的標準誤差，所以在界線附近偶爾會不一致）。
把各組 CVR 的差，除以假設「沒有差異」時的偶然波動幅度（標準誤差），就是 z 值；偶然出現這個 z 值以上差距的機率，就是 p 值。p 值小於顯著水準（5% 等）時判定為「有顯著差異」，再用差的信賴區間確認「真正的差有多大」的範圍。有顯著差異的意思是「難以用偶然解釋」，不是「效果一定存在、效果很大」。
符號與用語解說
符號
| \(n_A,\ n_B\) | n 下標 A、n 下標 B | A 組、B 組的造訪數（點擊次數、工作階段數）。\(n\) 取自 number（數）的第一個字母，在統計中習慣用來表示樣本大小（樣本數）。 |
| \(x_A,\ x_B\) | x 下標 A、x 下標 B | A 組、B 組的轉換次數。用 \(x\) 表示「成功的次數」是二項分布的慣例。 |
| \(\hat{p}_A,\ \hat{p}_B\) | p hat 下標 A、p hat 下標 B | A 組、B 組的 CVR（由樣本求出的比率）。\(p\) 取自 proportion（比率）或 probability（機率）的第一個字母，上方的「\(\hat{}\)」（hat）表示這是用樣本推估真正的值 \(p\) 得到的值。 |
| \(\hat{p}\) | p hat | 合併 CVR。假設「沒有差異」，把兩組的資料合起來求出的 1 個 CVR 推估值，\(\hat{p} = (x_A + x_B) \div (n_A + n_B)\)。 |
| \(d\) | d | CVR 的差（\(\hat{p}_B - \hat{p}_A\)），取自 difference（差）的第一個字母。這個頁面乘以 100，以「百分點」顯示。 |
| \(L\) | L | 相對提升率（%），取自 lift（提升）的第一個字母，表示 B 的 CVR 相對於 A 的 CVR 增加了幾 %。 |
| \(\mathrm{SE}\) | S E | 標準誤差（Standard Error）。由樣本求出的值（這裡是 CVR 的差）會因偶然變動多少的參考值，也就是這個樣本值的標準差。檢定時用合併 CVR 求出，信賴區間則用由各組 CVR 求出的 \(\mathrm{SE}_d\)。 |
| \(z\) | z | z 值（檢定統計量）。差除以標準誤差的值，表示差是偶然波動的幾倍。沒有差異時服從標準常態分布（平均數 0、標準差 1），所以由它的大小求出 p 值。 |
| \(|z|\) | z 的絕對值 | 去掉 z 值正負號的大小。雙尾檢定不管差是哪個方向，所以用絕對值。 |
| \(\Phi\) | Phi（大寫） | 標準常態分布的累積分布函數。\(\Phi(z)\) 是標準常態的值小於或等於 \(z\) 的機率，也就是鐘形曲線在 \(z\) 左側的面積。希臘字母大寫 Phi 習慣用來表示它。 |
| \(p_2,\ p_1\) | p 下標 2、p 下標 1 | 雙尾 p 值和單尾 p 值。下標 2、1 表示「2 個尾端（雙尾）」「1 個尾端（單尾）」，是這個頁面的區分寫法，統計書中只寫 \(p\)。 |
| \(\alpha\) | alpha | 顯著水準：事先決定「p 值小於它就拒絕虛無假設」的界線，常用 5%（0.05）。希臘字母 alpha，相當於型一錯誤（沒有差異卻判定為有）的機率。 |
| \(z_{\alpha/2}\) | z 下標 alpha/2 | 兩側尾端合計留下 \(\alpha\) 機率時的邊界 z 值（臨界值）。95% 信賴區間（\(\alpha = 0.05\)）時為 1.96，99% 時為 2.576。單尾時是 \(z_\alpha\)（5% 時為 1.645）。 |
| \(d_L,\ d_U\) | d 下標 L、d 下標 U | 差的信賴區間的下限（Lower）和上限（Upper），也就是「真正的差很可能在這個範圍」的區間兩端。 |
用語
| A/B 測試 | 在同一期間把原本的版本（A）和修改後的版本（B）隨機分配給訪客，比較成果的實驗。網站、廣告、電子郵件都廣泛使用。隨機分配可以讓版本以外的因素（星期幾、流量來源等）在兩組中相同。 |
| 轉換率 | 造訪（點擊）中完成購買、報名等成果（轉換）的比率，英文縮寫 CVR。只要計算或反推 1 組的轉換率，請見「CVR 轉換率計算機」頁面。 |
| 虛無假設 | 「A 和 B 的 CVR 其實沒有差異（\(p_A = p_B\)）」這個檢定想要否定的假設。檢定會確認：如果它成立，觀察到的差有多不可能出現。 |
| 對立假設 | 和虛無假設相對、想要證明的假設。雙尾檢定是「A 和 B 有差異（\(p_A \neq p_B\)）」，單尾檢定是「B 比 A 高（\(p_B > p_A\)）」。 |
| 顯著水準 | 測試前先決定「p 值小於它就拒絕虛無假設」的界線。常用 5%，想嚴格判定時用 1%。「在 5% 下顯著」的意思是「其實沒有差異卻出現這麼大差距的機率不到 5%」。 |
| p 值 | 假設虛無假設（沒有差異）成立時，偶然出現這次以上差距的機率。越小越難用偶然解釋。請注意它不是「B 比較好的機率」（這是常見的誤解）。 |
| 顯著差異 | p 值小於顯著水準，被判斷為「難以用偶然波動解釋的差異」。不保證差很大或效果一定存在；造訪數非常多時，再小的差也會顯著。 |
| 檢定統計量 | 為了檢定而由資料計算出的 1 個數值。這個頁面就是 z 值，用「差 ÷ 標準誤差」求出。它有多極端，就決定了 p 值。 |
| 兩樣本比例 z 檢定 | 用常態分布檢查 2 組的比率（CVR 等）有沒有差異的檢定，是判斷 A/B 測試顯著性最基本的方法。用 2×2 的卡方檢定也能做到幾乎相同的事，雙尾的 p 值會一致。 |
| 標準誤差 | 由樣本求出的統計量（這裡是 CVR 的差）因抽樣方式而偶然變動的標準差。它和造訪數的平方根成反比，所以要讓標準誤差減半，造訪數需要 4 倍。 |
| 合併 | 假設「沒有差異」，把兩組的資料合在一起推估 1 個 CVR，英文 pooling（合併成一個）。檢定用的標準誤差就是用這個合併值求出。 |
| 信賴區間 | 「真正的差很可能在這個範圍」的區間。95% 信賴區間是指用這種方法建立區間時，同樣的實驗做很多次，有 95% 的區間會包含真正的差。區間不包含 0，幾乎都和 5% 的雙尾檢定顯著一致。 |
| 雙尾檢定 | 檢查「有沒有差異（不管哪個比較高）」的檢定。不知道結果會偏向哪一邊的一般 A/B 測試用這種。 |
| 單尾檢定 | 像「B 是否比 A 高」這樣決定方向的檢定。p 值是雙尾的一半，比較容易顯著，只有在測試前就決定好方向時才能使用。 |
| 拒絕域 | z 值落入這裡就拒絕虛無假設的標準常態分布尾端區域。雙尾 5% 時是 \(z < -1.96\) 和 \(z > 1.96\) 的兩側尾端，面積合計 0.05，也就是這個頁面圖表中塗色的部分。 |
| 臨界值 | 拒絕域邊界的 z 值。雙尾 5% 為 1.96，雙尾 1% 為 2.576，單尾 5% 為 1.645。結果中的「z 值與臨界值的差距」，表示這次的 z 值比臨界值高（或低）多少。 |
| 常態近似 | 轉換次數的波動本來服從二項分布，但造訪數多時，可以用常態分布（鐘形曲線）很好地近似。z 檢定用的就是這個近似，所以參考標準是各組的期望轉換次數 \(n\hat{p}\) 和期望未轉換次數 \(n(1-\hat{p})\) 都在 5 以上（最好 10 以上）。 |
| 檢定力 | 真的有差異時，檢定能把它偵測為「顯著」的機率，英文 statistical power。造訪數少時檢定力低，即使真的有效果，也常常出現「不顯著」。「無顯著差異」並不是「沒有差異」的證明。 |
| 型一錯誤 | 其實沒有差異，卻判定為「有顯著差異」的錯誤（偽陽性）。顯著水準 \(\alpha\) 就是容許這種錯誤的機率；5% 的意思是「在其實沒有差異的情況下做 100 次測試，大約有 5 次會偶然顯著」。 |
| 多重比較 | 同時檢定許多版本或指標。即使顯著水準是 5%，檢定 20 個指標，很可能就有 1 個會偶然「顯著」。需要事先縮小指標範圍，或使用更嚴格的顯著水準（Bonferroni 校正等）。 |
| 提前停止 | 測試途中一再檢視結果，一出現顯著就停止測試，英文叫 peeking（偷看結果）。測試途中 p 值會上上下下，如果一直「第一次低於 5% 就停止」，其實沒有差異卻顯著的機率會遠超過 5%。基本原則是先決定所需的造訪數，等到達標再判定。 |
| 相對提升率 | B 的 CVR 相對於 A 的 CVR 增加了幾 %：把差 \(d\) 除以 A 的 CVR 再乘以 100，英文 relative lift。「提升 25%」比「上升 0.5 個百分點」更容易換算成增加的轉換次數和營收。 |
| 百分點 | 表示百分比之間相減結果的單位。像「2.5% − 2% ＝ 0.5 個百分點」這樣使用，可以避免寫成「0.5%」時被誤會成「2% 的 0.5%」。 |
建議先了解的基礎知識
為了讓您「理解意義」地使用這個頁面的計算，這裡整理了建議先了解的基礎知識。
遇到卡關時，回頭複習這些內容是最快的方法。
| 比率與百分率（國小五年級，10～11 歲） |
|
| 倒數與平方根（國小六年級～國中八年級，11～14 歲） |
|
| 常態分布與標準差（高中，15～18 歲） |
|
| 假設檢定的思考方式（高中到大學入門統計，15 歲以上） |
|
| 二項分布與常態近似（高中，15～18 歲） |
|
用 Excel 計算的方法
把下方表格整個複製，貼到 Excel 的 A1 儲存格就能直接使用。
求「各組的 CVR」的表格
| A 組的造訪數 n_A | 10000 |
| A 組的轉換次數 x_A | 200 |
| B 組的造訪數 n_B | 10000 |
| B 組的轉換次數 x_B | 250 |
| A 組的 CVR p̂_A | =B2/B1 |
| B 組的 CVR p̂_B | =B4/B3 |
求「CVR 的差與相對提升率」的表格
| A 組的 CVR p̂_A | 0.02 |
| B 組的 CVR p̂_B | 0.025 |
| CVR 的差 d | =B2-B1 |
| 相對提升率 L（%） | =B3/B1*100 |
求「合併 CVR」的表格
| A 組的轉換次數 x_A | 200 |
| B 組的轉換次數 x_B | 250 |
| A 組的造訪數 n_A | 10000 |
| B 組的造訪數 n_B | 10000 |
| 合併 CVR p̂ | =(B1+B2)/(B3+B4) |
求「標準誤差與 z 值」的表格
| 合併 CVR p̂ | 0.0225 |
| A 組的造訪數 n_A | 10000 |
| B 組的造訪數 n_B | 10000 |
| CVR 的差 d | 0.005 |
| 標準誤差 SE | =SQRT(B1*(1-B1)*(1/B2+1/B3)) |
| z 值 z | =B4/B5 |
求「p 值（雙尾、單尾）」的表格
| z 值 z | 2.384 |
| 雙尾 p 值 p₂ | =2*(1-NORM.S.DIST(ABS(B1),TRUE)) |
| 單尾 p 值 p₁ | =1-NORM.S.DIST(B1,TRUE) |
求「CVR 差的信賴區間」的表格
| A 組的 CVR p̂_A | 0.02 |
| A 組的造訪數 n_A | 10000 |
| B 組的 CVR p̂_B | 0.025 |
| B 組的造訪數 n_B | 10000 |
| CVR 的差 d | 0.005 |
| 信心水準（0.95 = 95%） | 0.95 |
| z_(α/2) | =NORM.S.INV(1-(1-B6)/2) |
| 標準誤差 SE_d | =SQRT(B1*(1-B1)/B2+B3*(1-B3)/B4) |
| 下限 d_L | =B5-B7*B8 |
| 上限 d_U | =B5+B7*B8 |
貼上後，上方的列是輸入欄，有公式的列會自動算出結果。比率是 0.02 這種 0 到 1 之間的小數，乘以 100 就是百分比。
第 1 個表格的 B5 顯示 A 組的 CVR 0.02，B6 顯示 B 組的 0.025。第 2 個表格算出差 0.005（0.5 個百分點）和提升率 25，第 3 個表格算出合併 CVR 0.0225，第 4 個表格算出標準誤差約 0.002097 和 z 值約 2.384。
第 5 個表格的 NORM.S.DIST(z, TRUE) 會傳回標準常態分布的累積機率 Φ(z)，雙尾 p 值約 0.0171，單尾 p 值約 0.0086。第 6 個表格的 NORM.S.INV 由累積機率求出 z 值（信心水準 95% 時為 1.96），下限約 0.0009、上限約 0.0091（0.09～0.91 個百分點）。
第 1 個表格的 B5 顯示 A 組的 CVR 0.02，B6 顯示 B 組的 0.025。第 2 個表格算出差 0.005（0.5 個百分點）和提升率 25，第 3 個表格算出合併 CVR 0.0225，第 4 個表格算出標準誤差約 0.002097 和 z 值約 2.384。
第 5 個表格的 NORM.S.DIST(z, TRUE) 會傳回標準常態分布的累積機率 Φ(z)，雙尾 p 值約 0.0171，單尾 p 值約 0.0086。第 6 個表格的 NORM.S.INV 由累積機率求出 z 值（信心水準 95% 時為 1.96），下限約 0.0009、上限約 0.0091（0.09～0.91 個百分點）。
用 Google 試算表計算的方法
把下方表格整個複製，貼到 Google 試算表的 A1 儲存格就能直接使用。
求「各組的 CVR」的表格
| A 組的造訪數 n_A | 10000 |
| A 組的轉換次數 x_A | 200 |
| B 組的造訪數 n_B | 10000 |
| B 組的轉換次數 x_B | 250 |
| A 組的 CVR p̂_A | =B2/B1 |
| B 組的 CVR p̂_B | =B4/B3 |
求「CVR 的差與相對提升率」的表格
| A 組的 CVR p̂_A | 0.02 |
| B 組的 CVR p̂_B | 0.025 |
| CVR 的差 d | =B2-B1 |
| 相對提升率 L（%） | =B3/B1*100 |
求「合併 CVR」的表格
| A 組的轉換次數 x_A | 200 |
| B 組的轉換次數 x_B | 250 |
| A 組的造訪數 n_A | 10000 |
| B 組的造訪數 n_B | 10000 |
| 合併 CVR p̂ | =(B1+B2)/(B3+B4) |
求「標準誤差與 z 值」的表格
| 合併 CVR p̂ | 0.0225 |
| A 組的造訪數 n_A | 10000 |
| B 組的造訪數 n_B | 10000 |
| CVR 的差 d | 0.005 |
| 標準誤差 SE | =SQRT(B1*(1-B1)*(1/B2+1/B3)) |
| z 值 z | =B4/B5 |
求「p 值（雙尾、單尾）」的表格
| z 值 z | 2.384 |
| 雙尾 p 值 p₂ | =2*(1-NORMSDIST(ABS(B1))) |
| 單尾 p 值 p₁ | =1-NORMSDIST(B1) |
求「CVR 差的信賴區間」的表格
| A 組的 CVR p̂_A | 0.02 |
| A 組的造訪數 n_A | 10000 |
| B 組的 CVR p̂_B | 0.025 |
| B 組的造訪數 n_B | 10000 |
| CVR 的差 d | 0.005 |
| 信心水準（0.95 = 95%） | 0.95 |
| z_(α/2) | =NORMSINV(1-(1-B6)/2) |
| 標準誤差 SE_d | =SQRT(B1*(1-B1)/B2+B3*(1-B3)/B4) |
| 下限 d_L | =B5-B7*B8 |
| 上限 d_U | =B5+B7*B8 |
可以使用和 Excel 幾乎相同的公式。標準常態分布的累積機率寫成 NORMSDIST(z)，反函數寫成 NORMSINV(p)（作用和 Excel 的 NORM.S.DIST、NORM.S.INV 相同）。把整個表格複製後貼到 A1 儲存格，再把輸入欄改成自己的數字即可。
用 Python 計算的方法
import math
visits_a, conversions_a = 10000, 200 # A 組的造訪數與轉換次數
visits_b, conversions_b = 10000, 250 # B 組的造訪數與轉換次數
alpha = 0.05 # 顯著水準（5%）
def normal_cdf(z):
# 標準常態分布的累積分布函數 Φ(z)
return 0.5 * math.erfc(-z / math.sqrt(2))
def normal_ppf(p):
# Φ 的反函數（二分法；用來求 z_(α/2)）
low, high = -10.0, 10.0
for _ in range(100):
mid = (low + high) / 2
if normal_cdf(mid) < p:
low = mid
else:
high = mid
return (low + high) / 2
cvr_a = conversions_a / visits_a
cvr_b = conversions_b / visits_b
diff = cvr_b - cvr_a
lift = diff / cvr_a * 100
pooled = (conversions_a + conversions_b) / (visits_a + visits_b)
se_pooled = math.sqrt(pooled * (1 - pooled) * (1 / visits_a + 1 / visits_b))
z = diff / se_pooled
p_two_sided = 2 * (1 - normal_cdf(abs(z)))
p_one_sided = 1 - normal_cdf(z)
se_diff = math.sqrt(cvr_a * (1 - cvr_a) / visits_a + cvr_b * (1 - cvr_b) / visits_b)
z_half = normal_ppf(1 - alpha / 2)
ci_low, ci_high = diff - z_half * se_diff, diff + z_half * se_diff
print(f"A 組的 CVR：{cvr_a * 100:.2f}% B 組的 CVR：{cvr_b * 100:.2f}%")
print(f"差：{diff * 100:.2f} 個百分點 相對提升率：{lift:.1f}%")
print(f"z 值：{z:.3f} 雙尾 p 值：{p_two_sided:.4f} 單尾 p 值：{p_one_sided:.4f}")
print("判定（雙尾）：", "有顯著差異" if p_two_sided < alpha else "無顯著差異")
print(f"差的 {(1 - alpha) * 100:.0f}% 信賴區間：{ci_low * 100:.2f}～{ci_high * 100:.2f} 個百分點")
只用標準函式庫就能執行（用 math.erfc 求標準常態分布的累積機率）。這個例子會輸出 z 值 2.384、雙尾 p 值 0.0171、單尾 p 值 0.0086、判定「有顯著差異」，以及差的 95% 信賴區間 0.09～0.91 個百分點。請修改開頭的 4 個數字和顯著水準後執行。能使用 scipy 的環境，也可以改用 scipy.stats.norm.cdf 和 norm.ppf。
用 LaTeX 等數學式語言的寫法（可直接複製）
各組的 CVR（轉換率）
p̂_A = x_A ÷ n_A
\hat{p}_A = \dfrac{x_A}{n_A}
<math xmlns="http://www.w3.org/1998/Math/MathML" display="block">
<mrow>
<msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>A</mi></msub>
<mo>=</mo>
<mfrac>
<msub><mi>x</mi><mi>A</mi></msub>
<msub><mi>n</mi><mi>A</mi></msub>
</mfrac>
</mrow>
</math>
hat(p)_A = x_A / n_A
xA/nA
pA := xA/nA;
pA = xA/nA;
p̂_A = x_A/n_A
CVR 的差與相對提升率
d = p̂_B − p̂_A, L = d ÷ p̂_A × 100
d = \hat{p}_B - \hat{p}_A, \quad L = \dfrac{d}{\hat{p}_A} \times 100
<math xmlns="http://www.w3.org/1998/Math/MathML" display="block">
<mrow>
<mi>d</mi><mo>=</mo>
<msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>B</mi></msub>
<mo>−</mo>
<msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>A</mi></msub>
<mo>,</mo><mspace width="1em"/>
<mi>L</mi><mo>=</mo>
<mfrac><mi>d</mi><msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>A</mi></msub></mfrac>
<mo>×</mo><mn>100</mn>
</mrow>
</math>
d = hat(p)_B - hat(p)_A, L = d / hat(p)_A xx 100
d = pB - pA; d/pA*100
d := pB - pA; L := d/pA*100;
d = pB - pA; L = d/pA*100;
d = p̂_B − p̂_A, L = d/p̂_A × 100
合併 CVR（兩組合起來的 1 個 CVR）
p̂ = (x_A + x_B) ÷ (n_A + n_B)
\hat{p} = \dfrac{x_A + x_B}{n_A + n_B}
<math xmlns="http://www.w3.org/1998/Math/MathML" display="block">
<mrow>
<mover accent="true"><mi>p</mi><mo>^</mo></mover>
<mo>=</mo>
<mfrac>
<mrow><msub><mi>x</mi><mi>A</mi></msub><mo>+</mo><msub><mi>x</mi><mi>B</mi></msub></mrow>
<mrow><msub><mi>n</mi><mi>A</mi></msub><mo>+</mo><msub><mi>n</mi><mi>B</mi></msub></mrow>
</mfrac>
</mrow>
</math>
hat(p) = (x_A + x_B) / (n_A + n_B)
(xA + xB)/(nA + nB)
pPool := (xA + xB)/(nA + nB);
pPool = (xA + xB)/(nA + nB);
p̂ = (x_A + x_B)/(n_A + n_B)
標準誤差與 z 值（兩樣本比例 z 檢定）
SE = √(p̂(1 − p̂)(1/n_A + 1/n_B)), z = d ÷ SE
\mathrm{SE} = \sqrt{\hat{p}(1-\hat{p})\left(\dfrac{1}{n_A}+\dfrac{1}{n_B}\right)}, \quad z = \dfrac{d}{\mathrm{SE}}
<math xmlns="http://www.w3.org/1998/Math/MathML" display="block">
<mrow>
<mi>z</mi><mo>=</mo>
<mfrac>
<mrow><msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>B</mi></msub><mo>−</mo><msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>A</mi></msub></mrow>
<msqrt>
<mover accent="true"><mi>p</mi><mo>^</mo></mover>
<mo>(</mo><mn>1</mn><mo>−</mo><mover accent="true"><mi>p</mi><mo>^</mo></mover><mo>)</mo>
<mo>(</mo>
<mfrac><mn>1</mn><msub><mi>n</mi><mi>A</mi></msub></mfrac>
<mo>+</mo>
<mfrac><mn>1</mn><msub><mi>n</mi><mi>B</mi></msub></mfrac>
<mo>)</mo>
</msqrt>
</mfrac>
</mrow>
</math>
SE = sqrt(hat(p)(1 - hat(p))(1/n_A + 1/n_B)), z = d / SE
se = Sqrt[pPool*(1 - pPool)*(1/nA + 1/nB)]; z = d/se
SE := sqrt(pPool*(1 - pPool)*(1/nA + 1/nB)); z := d/SE;
SE = sqrt(pPool*(1 - pPool)*(1/nA + 1/nB)); z = d/SE;
SE = √(p̂(1 − p̂)(1/n_A + 1/n_B)), z = d/SE
p 值（雙尾、單尾）
p₂ = 2(1 − Φ(|z|)), p₁ = 1 − Φ(z)
p_2 = 2\left(1 - \Phi(|z|)\right), \quad p_1 = 1 - \Phi(z)
<math xmlns="http://www.w3.org/1998/Math/MathML" display="block">
<mrow>
<msub><mi>p</mi><mn>2</mn></msub><mo>=</mo>
<mn>2</mn><mo>(</mo><mn>1</mn><mo>−</mo>
<mi>Φ</mi><mo>(</mo><mo>|</mo><mi>z</mi><mo>|</mo><mo>)</mo><mo>)</mo>
<mo>,</mo><mspace width="1em"/>
<msub><mi>p</mi><mn>1</mn></msub><mo>=</mo>
<mn>1</mn><mo>−</mo><mi>Φ</mi><mo>(</mo><mi>z</mi><mo>)</mo>
</mrow>
</math>
p_2 = 2(1 - Phi(|z|)), p_1 = 1 - Phi(z)
p2 = 2*(1 - CDF[NormalDistribution[0, 1], Abs[z]]); p1 = 1 - CDF[NormalDistribution[0, 1], z]
p2 := 2*(1 - Statistics:-CDF(Normal(0, 1), abs(z))); p1 := 1 - Statistics:-CDF(Normal(0, 1), z);
p2 = 2*(1 - normcdf(abs(z))); p1 = 1 - normcdf(z);
p_2 = 2(1 − Φ(|z|)), p_1 = 1 − Φ(z)
CVR 差的信賴區間
d ± z_(α/2) × √(p̂_A(1 − p̂_A)/n_A + p̂_B(1 − p̂_B)/n_B)
d \pm z_{\alpha/2}\sqrt{\dfrac{\hat{p}_A(1-\hat{p}_A)}{n_A}+\dfrac{\hat{p}_B(1-\hat{p}_B)}{n_B}}
<math xmlns="http://www.w3.org/1998/Math/MathML" display="block">
<mrow>
<mi>d</mi><mo>±</mo>
<msub><mi>z</mi><mrow><mi>α</mi><mo>/</mo><mn>2</mn></mrow></msub>
<msqrt>
<mfrac>
<mrow><msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>A</mi></msub><mo>(</mo><mn>1</mn><mo>−</mo><msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>A</mi></msub><mo>)</mo></mrow>
<msub><mi>n</mi><mi>A</mi></msub>
</mfrac>
<mo>+</mo>
<mfrac>
<mrow><msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>B</mi></msub><mo>(</mo><mn>1</mn><mo>−</mo><msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>B</mi></msub><mo>)</mo></mrow>
<msub><mi>n</mi><mi>B</mi></msub>
</mfrac>
</msqrt>
</mrow>
</math>
d +- z_(alpha/2) sqrt((hat(p)_A(1 - hat(p)_A))/n_A + (hat(p)_B(1 - hat(p)_B))/n_B)
seD = Sqrt[pA*(1 - pA)/nA + pB*(1 - pB)/nB]; {d - zHalf*seD, d + zHalf*seD}
seD := sqrt(pA*(1 - pA)/nA + pB*(1 - pB)/nB); [d - zHalf*seD, d + zHalf*seD];
seD = sqrt(pA*(1 - pA)/nA + pB*(1 - pB)/nB); ci = [d - zHalf*seD, d + zHalf*seD];
d ± z_(α/2) √(p̂_A(1 − p̂_A)/n_A + p̂_B(1 − p̂_B)/n_B)
請 ChatGPT 幫忙計算的方法
你是統計（假設檢定）的計算助理。請實際執行 Python 程式來完成下面的計算，並只根據執行結果的數值回答（不要用心算或推測回答）。 A/B 測試的結果如下： - A 組：造訪 10000 次，轉換 200 次 - B 組：造訪 10000 次，轉換 250 次 請分別求出： 1. 各組的轉換率（%）、轉換率的差（百分點）和相對提升率（%） 2. 合併轉換率，以及合併的標準誤差 SE = √(p̂(1−p̂)(1/n_A + 1/n_B)) 3. z 值 = 差 ÷ SE，以及雙尾、單尾 p 值（標準常態分布） 4. 在顯著水準 5%（雙尾）下是否有顯著差異 5. 差的 95% 信賴區間（標準誤差用各組轉換率求出的 √(p̂_A(1−p̂_A)/n_A + p̂_B(1−p̂_B)/n_B)） Python 請使用 math.erfc（或 scipy.stats.norm），並列出使用的公式和執行結果的數值。
使用方法
-
1輸入數值在輸入欄中輸入要計算的數值
-
2計算按下「計算」按鈕
-
3查看結果計算結果會立即顯示。計算的思路和公式的解說，也都能在同一個頁面查看
DataChef 的特色
簡單又免費
免費且無使用次數限制
不需專業知識，操作直覺又簡單
不需專業知識，操作直覺又簡單
免註冊會員
開啟頁面即可立即使用
無須登錄任何個人資料
無須登錄任何個人資料
安全又安心
通訊全程高度加密
按下「下載」後自動刪除檔案
按下「下載」後自動刪除檔案
高速
顯示與轉換都快速順暢，毫無等待壓力
無浮水印
沒有浮水印
無須標註來源出處
無須標註來源出處
可商業使用
可免費用於商業用途
亦無須事先取得商用授權
亦無須事先取得商用授權
相關功能
CVR 轉換率計算機（反推所需流量、預估轉換次數）
用流量、轉換次數、CVR 中的 2 個算出剩下 1 個。只要算 1 組的 CVR 請用這一頁
p 值計算機（由 Z 值求 p 值、雙尾與單尾檢定）
已經有 z 值時，把它換成左尾、右尾、雙尾 p 值的通用計算機。這一頁則是從 z 值的前一步（造訪數、轉換次數）開始算
信賴區間計算機（母體平均數的區間估計）
求平均值（考試分數、營業額等）的信賴區間，相當於這一頁「差的信賴區間」的平均值版本
樣本數計算機（問卷樣本數、抽樣誤差）
計算問卷、調查中要在抽樣誤差內掌握 1 個比率所需的人數。設計調查請用這一頁
