Calcolatrice di significatività del test A/B (tassi di conversione, p-value e intervallo di confidenza)

Inserisci i visitatori e le conversioni del gruppo A (la versione originale) e del gruppo B (la versione modificata). Oltre al tasso di conversione di ciascuno, alla differenza e all’incremento relativo, esegue un test z per due proporzioni per ottenere il punteggio z e il p-value e dà un verdetto «significativo / non significativo» al livello di significatività che scegli.

Visitatori del gruppo A (clic)

Conversioni del gruppo A

Visitatori del gruppo B (clic)

Conversioni del gruppo B

Livello di significatività

Una coda o due code

I visitatori possono essere clic, sessioni o utenti, ma contali allo stesso modo nei due gruppi. Scrivi numeri interi. Per il livello di significatività e per le due code o la coda singola, scegli ciò che hai deciso prima di iniziare il test (cambiarli dopo aver visto i risultati non è un uso corretto).

Risultato e grafico

Inserisci a sinistra visitatori e conversioni dei gruppi A e B e fai clic su «Calcola». Qui compariranno il verdetto e un grafico.

Indice

[ Chiudi X ]

Cosa puoi fare in questa pagina
A cosa serve questo calcolo?
Come si usa
Formula
Simboli e termini
- Simboli
- Termini
Cosa conviene sapere prima
Come calcolarlo con Excel
Come calcolarlo con Fogli Google
Come calcolarlo con Python
La formula in LaTeX e in altre notazioni matematiche (da copiare)
Come chiedere a ChatGPT di fare il calcolo
I punti di forza di DataChef
Funzioni correlate
Tutte le calcolatrici di NumberChef

Cosa puoi fare in questa pagina

Inserisci i visitatori (vanno bene anche clic o sessioni) e le conversioni dei gruppi A e B e ottieni in un colpo solo il tasso di conversione di ciascun gruppo, la differenza tra i tassi e l’incremento relativo
«B sembra meglio, ma potrebbe essere solo variabilità casuale?» Un test z per due proporzioni risponde a questa domanda (punteggio z, p-value a due code e a una coda e un verdetto a un livello di significatività del 5%, 1% o 10%)
Ottieni anche l’intervallo di confidenza della differenza (per esempio al 95%) e il margine con cui il punteggio z supera (o non raggiunge) la soglia di significatività
Un grafico della distribuzione normale standard mostra dove cade il tuo punteggio z e colora la regione di rifiuto (il risultato è significativo se il punteggio z cade lì)
In questa pagina trovi anche una spiegazione semplice delle formule e le formule da copiare e incollare per Excel, Fogli Google e Python

In questa pagina si giudica solo se i tassi di conversione (le proporzioni) dei gruppi A e B differiscono. Se vuoi solo trasformare un punteggio z in un p-value, usa la calcolatrice del p-value; per l’intervallo di confidenza di una media, la calcolatrice dell’intervallo di confidenza; e per il numero di persone necessario a studiare una proporzione, la calcolatrice della numerosità campionaria. «Statisticamente significativo» non garantisce che l’effetto sia reale o grande (vedi «L’idea chiave» qui sotto e la sezione dei termini).

A cosa serve questo calcolo?

Migliorare landing page e testi degli annunci (marketing online)

«La versione B, con un colore diverso del pulsante, ha alzato il tasso di conversione dal 2,0% al 2,5%». Verificare che questa differenza non sia solo dovuta al caso è la significatività del test A/B, che nel marketing online si fa ogni giorno. Con 10.000 visitatori per gruppo, il p-value a due code è circa 0,017, «significativo al 5%». Ma con tassi di conversione simili su 500 visitatori per gruppo (10 conversioni contro 12 o 13), il p-value è circa 0,5-0,7 e puoi solo dire «può essere il caso».
Se passi alla versione perché «B sembra meglio», capita spesso che i risultati rientrino il mese dopo. Decidere prima il numero di visitatori e giudicare con un livello di significatività lo evita (supponendo che i visitatori siano divisi a caso).

Testare oggetti e orari di invio delle email (email marketing)

Invia la stessa email con due oggetti diversi a metà lista ciascuno e confronta tassi di apertura del 48% e del 52%. È anche un test sulla differenza tra due proporzioni. Con 5000 email per gruppo, la differenza di 4 punti ha un punteggio z di circa 4, una differenza difficile da spiegare con il caso.
Con lo stesso numero di email, le proporzioni più grandi come i tassi di apertura sono più facili da giudicare di quelle piccole come i tassi di conversione (la differenza tende a essere grande rispetto all’errore standard). Questa formula ti dà un’idea di come l’indicatore che confronti cambia il numero di invii necessari.

Confrontare le percentuali di risposta a due terapie (ricerca medica)

Confrontare le percentuali di miglioramento tra due gruppi, come «con la terapia standard è migliorato il 60% e con quella nuova il 70%», è un test di base negli studi clinici (gli studi veri usano disegni rigorosi, con randomizzazione e cecità).
Gli articoli alla base delle approvazioni dei farmaci e delle linee guida riportano sempre p-value e intervalli di confidenza. Una volta capita questa formula, non ti lasci influenzare dalla sola parola «significativo»; puoi leggere anche «quanto è grande la differenza?» e «c’erano abbastanza pazienti?».

Confrontare le percentuali di difetti su una linea di produzione (controllo qualità)

Quando un nuovo processo B sembra ridurre la percentuale di difetti dall’1,5% all’1,0%, il verdetto cambia con i volumi: con 2000 pezzi per gruppo è «nell’ambito del caso» e con 20.000 pezzi per gruppo è «un miglioramento significativo». Questo calcolo evita che le decisioni su impianti e processi siano influenzate dal caso nei campioni piccoli.
Per proporzioni piccole come le percentuali di difetti, l’approssimazione normale diventa grossolana quando il numero atteso di difetti (pezzi × percentuale di difetti) scende sotto 5, quindi si sceglie invece un test esatto che usa direttamente la distribuzione binomiale (come il test esatto di Fisher).

Misurare l’effetto di materiali e metodi didattici (istruzione)

Lo stesso test vale per confronti come «le classi che hanno usato il nuovo libro di testo hanno avuto il 75% di promossi, contro il 65% con il vecchio». Ma se assegni i libri per classe, gli studenti non sono stati divisi a caso e le differenze tra insegnanti e studenti si mescolano al risultato.
Nella ricerca in ambito educativo e sociale, oltre a verificare la significatività con questa formula, conta il disegno: i gruppi sono stati divisi a caso? Qualcuno ha cambiato il modo di tagliare il confronto dopo aver visto i risultati? Conoscere le ipotesi alla base della formula è ciò che ti impedisce di farti ingannare dai numeri.

Formula

Tasso di conversione di ciascun gruppo

Notazione matematica (la notazione abituale)

\(\hat{p}_A\) \(=\) \(x_A\) \(\div\) \(n_A\)

A parole (i simboli sostituiti da parole)

③ \(\hat{p}_A\): tasso di conversione di A \(=\) ① \(x_A\): conversioni di A \(\div\) ② \(n_A\): visitatori di A

La formula a parole

① Prendi le \(x_A\): conversioni di A

② dividile per i \(n_A\): visitatori di A e ottieni il

③ \(\hat{p}_A\): tasso di conversione di A (la stessa formula per B, \(\hat{p}_B = x_B \div n_B\))

Un esempio semplice

Se A ha 200 conversioni su 10.000 visitatori e B ne ha 250 su 10.000, i tassi di conversione sono

tasso di conversione di A \(\hat{p}_A\) \(=\) conversioni (200) \(\div\) visitatori (10.000)

\(200 \div 10.000 = 0{,}02\ \ (2\%)\)

\(250 \div 10.000 = 0{,}025\ \ (2{,}5\%)\)

L’idea chiave

Il denominatore del tasso di conversione (i visitatori) può essere fatto di clic, sessioni o utenti, ma conta sempre A e B allo stesso modo. Nelle formule le proporzioni sono numeri decimali tra 0 e 1, come \(0{,}02\), e si trasformano in percentuali solo per la visualizzazione. Il simbolo \(\hat{p}\) («p con cappello») significa «il vero tasso di conversione \(p\), stimato dai dati che hai». Anche se 10.000 persone vedono la stessa pagina, il numero di conversioni sale o scende un po’ per caso. Quindi «questa volta è stato il 2%» non vuol dire «il vero tasso di conversione è esattamente il 2%»: è solo una stima vicina. Il test che segue è il modo di trattare correttamente questa oscillazione casuale.

Differenza dei tassi di conversione e incremento relativo

Notazione matematica (la notazione abituale)

\(d\) \(=\) \(\hat{p}_B\) \(-\) \(\hat{p}_A\)

\(L\) \(=\) \(d\) \(\div\) \(\hat{p}_A\) \(\times\) \(100\)

A parole (i simboli sostituiti da parole)

③ \(d\): differenza dei tassi di conversione \(=\) ① \(\hat{p}_B\): tasso di conversione di B \(-\) ② \(\hat{p}_A\): tasso di conversione di A

⑦ \(L\): incremento relativo (%) \(=\) ④ \(d\): differenza dei tassi di conversione \(\div\) ⑤ \(\hat{p}_A\): tasso di conversione di A \(\times\) ⑥ \(100\): base della percentuale

La formula a parole

① Dal \(\hat{p}_B\): tasso di conversione di B ,

② sottrai il \(\hat{p}_A\): tasso di conversione di A e ottieni la

③ \(d\): differenza dei tassi di conversione (mostrata moltiplicata per 100, in punti percentuali).

④ Dividi la \(d\): differenza dei tassi di conversione

⑤ per il \(\hat{p}_A\): tasso di conversione di A ,

⑥ moltiplica per la \(100\): base della percentuale per trasformarlo in percentuale e ottieni l’

⑦ \(L\): incremento relativo (%)

Un esempio semplice

Se il tasso di conversione di A è 0,02 (2%) e quello di B è 0,025 (2,5%), la differenza e l’incremento relativo sono

differenza \(d\) \(=\) tasso di conversione di B (0,025) \(-\) tasso di conversione di A (0,02)

incremento relativo \(L\) (%) \(=\) differenza (0,005) \(\div\) tasso di conversione di A (0,02) \(\times\) \(100\)

\(0{,}025 - 0{,}02 = 0{,}005\ \ (0{,}5\ \mathrm{pp})\)

\(0{,}005 \div 0{,}02 \times 100 = 25\ \ (25\%)\)

L’idea chiave

«Salito dal 2% al 2,5%» è 0,5 punti percentuali come differenza e un aumento del 25% come rapporto. Per evitare confusione, il risultato della sottrazione tra due percentuali si chiama «punti percentuali» (pp) e non «%» (2,5% − 2% = 0,5 punti percentuali). L’incremento relativo mostra «di quanto per cento B aumenta le conversioni rispetto ad A», quindi si collega direttamente alle stime di spesa pubblicitaria e di ricavi ed è molto usato nella pratica. Ma questi due numeri sono la differenza osservata in questo campione; la vera differenza potrebbe non essere esattamente la stessa. Il test che segue lo verifica.

Tasso di conversione combinato (un solo tasso per i due gruppi insieme)

Notazione matematica (la notazione abituale)

\(\hat{p}\) \(=\) \((x_A + x_B)\) \(\div\) \((n_A + n_B)\)

A parole (i simboli sostituiti da parole)

③ \(\hat{p}\): tasso di conversione combinato \(=\) ① \((x_A + x_B)\): conversioni totali \(\div\) ② \((n_A + n_B)\): visitatori totali

La formula a parole

① Prendi le \((x_A + x_B)\): conversioni totali

② dividile per i \((n_A + n_B)\): visitatori totali e ottieni il

③ \(\hat{p}\): tasso di conversione combinato

Un esempio semplice

Se A ha 200 conversioni su 10.000 visitatori e B ne ha 250 su 10.000, il tasso di conversione combinato è

tasso di conversione combinato \(\hat{p}\) \(=\) conversioni totali (200 + 250) \(\div\) visitatori totali (10.000 + 10.000)

\((200 + 250) \div (10.000 + 10.000) = 450 \div 20.000 = 0{,}0225\ \ (2{,}25\%)\)

L’idea chiave

Il test parte dall’ipotesi che «A e B abbiano davvero lo stesso tasso di conversione» (l’ipotesi nulla). Se sono uguali, i dati di entrambi i gruppi vengono da un solo tasso di conversione, quindi si uniscono (si «combinano») i due gruppi per stimarlo. È il tasso di conversione combinato, usato nel calcolo dell’errore standard che viene dopo. «Supponiamo che siano uguali, facciamo i conti, e una differenza così grande non dovrebbe quasi mai capitare»: se scopri questo, cominci a dubitare dell’ipotesi (nessuna differenza). È la logica di un test di ipotesi.

Errore standard e punteggio z (test z per due proporzioni)

Notazione matematica (la notazione abituale)

\(\mathrm{SE}\) \(=\) \(\sqrt{\hat{p}(1-\hat{p})\left(\dfrac{1}{n_A}+\dfrac{1}{n_B}\right)}\)

\(z\) \(=\) \(d\) \(\div\) \(\mathrm{SE}\)

A parole (i simboli sostituiti da parole)

② \(\mathrm{SE}\): errore standard \(=\) ① radice quadrata di: variabilità del tasso combinato \(\hat{p}(1-\hat{p})\) × somma dei reciproci dei visitatori \(\left(\dfrac{1}{n_A}+\dfrac{1}{n_B}\right)\)

⑤ \(z\): punteggio z \(=\) ③ \(d\): differenza dei tassi di conversione \(\div\) ④ \(\mathrm{SE}\): errore standard

La formula a parole

① La radice quadrata della variabilità del tasso combinato \(\hat{p}(1-\hat{p})\) per la somma dei reciproci dei visitatori \(\left(\dfrac{1}{n_A}+\dfrac{1}{n_B}\right)\) è l’

② \(\mathrm{SE}\): errore standard (un riferimento per quanto la differenza oscilla per caso).

③ Dividi la \(d\): differenza dei tassi di conversione

④ per l’ \(\mathrm{SE}\): errore standard e ottieni il

⑤ \(z\): punteggio z (quante volte l’oscillazione casuale è la differenza)

Un esempio semplice

Con un tasso di conversione combinato di 0,0225, 10.000 visitatori per gruppo e una differenza di 0,005, l’errore standard e il punteggio z sono

errore standard \(\mathrm{SE}\) \(=\) radice quadrata di «0,0225 × (1 − 0,0225) × (1/10.000 + 1/10.000)»

punteggio z \(z\) \(=\) differenza (0,005) \(\div\) errore standard (0,002097)

\(0{,}0225 \times (1 - 0{,}0225) \times \left(\dfrac{1}{10.000} + \dfrac{1}{10.000}\right) = 0{,}02199375 \times 0{,}0002 \approx 0{,}0000043988\)

\(\mathrm{SE} = \sqrt{0{,}0000043988} \approx 0{,}002097\)

\(z = 0{,}005 \div 0{,}002097 \approx 2{,}384\)

L’idea chiave

Il punteggio z dice quante volte l’oscillazione casuale (l’errore standard) è la differenza osservata. Quando non c’è differenza, il punteggio z segue la distribuzione normale standard, con media 0 e deviazione standard 1, quindi una differenza con \(|z|\) sopra 2 compare di rado per caso (circa il 5% delle volte o meno) quando non c’è una vera differenza. Il reciproco dei visitatori \(1/n\) sta nella formula dell’errore standard, quindi più visitatori ci sono, più è piccolo l’errore standard e la stessa differenza di 0,5 punti dà un punteggio z più grande (diventa significativa più facilmente). Con pochi visitatori, anche una grande differenza si può definire solo «forse dovuta al caso». Questa formula approssima la variabilità del numero di conversioni (una distribuzione binomiale) con una distribuzione normale. Come riferimento, le conversioni attese \(n\hat{p}\) e le non conversioni attese \(n(1-\hat{p})\) di ciascun gruppo dovrebbero essere tutte almeno 5 (almeno 10 se possibile); altrimenti il risultato mostra un avviso.

p-value (a due code e a una coda)

Notazione matematica (la notazione abituale)

\(p_2\) \(=\) \(2\) \(\times\) \((\) \(1\) \(-\) \(\Phi(|z|)\) \()\)

\(p_1\) \(=\) \(1\) \(-\) \(\Phi(z)\)

A parole (i simboli sostituiti da parole)

④ \(p_2\): p-value a due code \(=\) ③ \(2\): per entrambe le code \(\times\) \((\) ① \(1\): probabilità totale \(-\) ② \(\Phi(|z|)\): probabilità cumulata fino a \(|z|\) \()\)

⑦ \(p_1\): p-value a una coda \(=\) ⑤ \(1\): probabilità totale \(-\) ⑥ \(\Phi(z)\): probabilità cumulata fino a \(z\)

La formula a parole

① Dalla \(1\): probabilità totale ,

② sottrai la \(\Phi(|z|)\): probabilità cumulata fino a \(|z|\) (resta l’area di una coda),

③ moltiplica per \(2\): per entrambe le code e ottieni il

④ \(p_2\): p-value a due code .

⑤ Dalla \(1\): probabilità totale ,

⑥ sottrai la \(\Phi(z)\): probabilità cumulata fino a \(z\) e ottieni il

⑦ \(p_1\): p-value a una coda (per l’ipotesi «B è più alto di A»)

Un esempio semplice

Con un punteggio z di 2,384 (la probabilità cumulata della distribuzione normale standard è \(\Phi(2{,}384) \approx 0{,}99144\)), i p-value a due code e a una coda sono

p-value a due code \(p_2\) \(=\) \(2\) \(\times\) \((\) \(1\) \(-\) \(\Phi(2{,}384)\) (0,99144) \()\)

\(p_2 = 2 \times (1 - 0{,}99144) = 2 \times 0{,}00856 \approx 0{,}0171\)

\(p_1 = 1 - 0{,}99144 \approx 0{,}0086\)

L’idea chiave

Il p-value è «la probabilità che una differenza almeno così grande compaia per caso quando in realtà non c’è differenza». Un p-value a due code di 0,0171 dice che «se non ci fosse differenza, una differenza così grande (in una direzione o nell’altra) comparirebbe solo circa 1,7 volte su 100». È sotto il livello di significatività del 5% (0,05), quindi il verdetto è «statisticamente significativo»; è sopra l’1% (0,01), quindi «non significativo all’1%». Un test a due code chiede «c’è una differenza tra A e B (qualunque sia il più alto)?» e un test a una coda chiede solo «B è più alto di A?». Il p-value a una coda è la metà di quello a due code, quindi diventa significativo più facilmente, ma puoi usarlo solo se hai deciso prima che il test iniziasse di non considerare l’ipotesi che B sia più basso. Passare a una coda dopo aver visto i risultati non è un uso corretto. Per lo stesso motivo, controllare i risultati più e più volte fermandosi appena diventano significativi (interruzione anticipata, o «peeking»), oppure testare insieme molte versioni o molti indicatori e adottare qualsiasi cosa diventi significativa (confronti multipli), rende la probabilità di un risultato «significativo» senza vera differenza molto più grande del 5%. La regola di base è decidere prima del test i visitatori necessari e gli indicatori da guardare, aspettare fino a quel punto e giudicare una sola volta. \(\Phi\) (fi) è la funzione di ripartizione della distribuzione normale standard: la probabilità che il punteggio z sia uguale o minore di quel valore, l’area a sinistra sotto la curva a campana. Ne ricavi i valori da una tabella o dalla funzione DISTRIB.NORM.ST.N di Excel (la calcolatrice di questa pagina li calcola in modo numerico).

Intervallo di confidenza per la differenza dei tassi di conversione

Notazione matematica (la notazione abituale)

\(d_L,\ d_U\) \(=\) \(d\) \(\pm\) \(z_{\alpha/2}\) \(\times\) \(\sqrt{\dfrac{\hat{p}_A(1-\hat{p}_A)}{n_A}+\dfrac{\hat{p}_B(1-\hat{p}_B)}{n_B}}\)

A parole (i simboli sostituiti da parole)

④ \(d_L,\ d_U\): estremo inferiore e superiore dell’intervallo di confidenza \(=\) ① \(d\): differenza dei tassi di conversione \(\pm\) ② \(z_{\alpha/2}\): stabilito dal livello di confidenza \(\times\) ③ \(\mathrm{SE}_d\): errore standard dalla variabilità di ciascun gruppo

La formula a parole

① Intorno alla \(d\): differenza dei tassi di conversione , sali e scendi di

② il \(z_{\alpha/2}\): stabilito dal livello di confidenza (1,96 per il 95%) volte l’

③ \(\mathrm{SE}_d\): errore standard dalla variabilità di ciascun gruppo e ottieni

④ \(d_L,\ d_U\): estremo inferiore e superiore dell’intervallo di confidenza

Un esempio semplice

Se il tasso di conversione di A è 0,02 (10.000 visitatori), quello di B è 0,025 (10.000 visitatori) e la differenza è 0,005, l’intervallo di confidenza al 95% per la differenza è

inferiore \(d_L\), superiore \(d_U\) \(=\) differenza (0,005) \(\pm\) \(z_{\alpha/2}\) (1,96) \(\times\) errore standard (0,002097)

\(\mathrm{SE}_d = \sqrt{\dfrac{0{,}02 \times 0{,}98}{10.000} + \dfrac{0{,}025 \times 0{,}975}{10.000}} = \sqrt{0{,}00000196 + 0{,}0000024375} \approx 0{,}002097\)

\(0{,}005 \pm 1{,}96 \times 0{,}002097 = 0{,}005 \pm 0{,}00411\)

\(0{,}00089 \le d \le 0{,}00911\ \ (\text{da}\ 0{,}09\ \text{a}\ 0{,}91\ \mathrm{pp})\)

L’idea chiave

Un test risponde solo sì o no: «c’è una differenza?». Un intervallo di confidenza dice anche la dimensione: «la vera differenza è probabilmente più o meno in questo intervallo». In questo esempio l’intervallo di confidenza al 95% va da 0,09 a 0,91 punti percentuali. Non comprende lo 0, quindi puoi dire «B è più alto», ma mostra anche che l’intervallo è troppo largo per sostenere che «è salito esattamente di 0,5 punti». Per l’errore standard si usa la variabilità del tasso di conversione di ciascun gruppo, non il valore combinato del test (l’intervallo non presuppone «nessuna differenza»). \(z_{\alpha/2}\) è il valore della normale standard per il livello di confidenza: 1,645 per il 90%, 1,96 per il 95% e 2,576 per il 99%. Se imposti il livello di confidenza a «100 − livello di significatività» (95% per un livello di significatività del 5%), il verdetto a due code e il fatto che l’intervallo comprenda lo 0 coincidono quasi sempre (non corrispondono per un test a una coda; inoltre il test usa l’errore standard combinato e l’intervallo quello di ciascun gruppo, quindi vicino al confine possono, raramente, non coincidere).

Il punteggio z è la differenza dei tassi di conversione divisa per l’oscillazione casuale (l’errore standard) supponendo nessuna differenza, e il p-value è la probabilità che una differenza almeno così grande compaia per caso. Se il p-value è sotto il livello di significatività (per esempio il 5%), il verdetto è «statisticamente significativo» e l’intervallo di confidenza della differenza mostra l’intervallo probabile della vera differenza. Statisticamente significativo dice «difficile da spiegare con il caso»; non dice «l’effetto è certo o grande».

Simboli e termini

Simboli

\(n_A,\ n_B\)	enne con pedice A, enne con pedice B	I visitatori (clic o sessioni) dei gruppi A e B. \(n\) è la prima lettera dell’inglese «number», la lettera usata di solito in statistica per la dimensione del campione.
\(x_A,\ x_B\)	x con pedice A, x con pedice B	Le conversioni dei gruppi A e B. Indicare con \(x\) il numero di successi è l’uso abituale per la distribuzione binomiale.
\(\hat{p}_A,\ \hat{p}_B\)	pi con cappello e pedice A, pi con cappello e pedice B	I tassi di conversione dei gruppi A e B (proporzioni ricavate dal campione). \(p\) è la prima lettera di «proporzione» o «probabilità» e il «\(\hat{}\)» (cappello) in alto indica un valore stimato dal campione per il vero valore \(p\).
\(\hat{p}\)	pi con cappello	Il tasso di conversione combinato. Una sola stima del tasso di conversione ricavata dai due gruppi uniti, supponendo nessuna differenza: \(\hat{p} = (x_A + x_B) \div (n_A + n_B)\).
\(d\)	di	La differenza dei tassi di conversione (\(\hat{p}_B - \hat{p}_A\)), dalla prima lettera dell’inglese «difference». Questa pagina la mostra moltiplicata per 100, in punti percentuali.
\(L\)	elle	L’incremento relativo (%), dalla prima lettera dell’inglese «lift». Di quanto per cento è aumentato il tasso di conversione di B rispetto a quello di A.
\(\mathrm{SE}\)	esse e	L’errore standard (in inglese «standard error»). Un riferimento per quanto un valore ricavato dal campione (qui la differenza dei tassi di conversione) oscilla per caso; è la deviazione standard di quel valore campionario. Il test usa il tasso di conversione combinato e l’intervallo di confidenza usa \(\mathrm{SE}_d\), ricavato dal tasso di conversione di ciascun gruppo.
\(z\)	zeta	Il punteggio z (statistica test). La differenza divisa per l’errore standard: quante volte l’oscillazione casuale è la differenza. Senza differenza segue la distribuzione normale standard (media 0, deviazione standard 1), quindi il p-value dipende da quanto è grande.
\(\|z\|\)	valore assoluto di z	La grandezza del punteggio z senza il segno. Un test a due code non si interessa della direzione della differenza, quindi usa il valore assoluto.
\(\Phi\)	fi maiuscola	La funzione di ripartizione della distribuzione normale standard. \(\Phi(z)\) è la probabilità che un valore della normale standard sia uguale o minore di \(z\), l’area sotto la curva a campana a sinistra di \(z\). La lettera greca fi maiuscola è il simbolo abituale.
\(p_2,\ p_1\)	pi con pedice 2, pi con pedice 1	I p-value a due code e a una coda. I pedici 2 e 1 indicano «due code» e «una coda», una distinzione usata solo in questa pagina; i libri di statistica scrivono semplicemente \(p\).
\(\alpha\)	alfa	Il livello di significatività: la soglia fissata in anticipo per cui «se il p-value è più piccolo, rifiuta l’ipotesi nulla». Il 5% (0,05) è molto usato. Lettera greca alfa; è la probabilità di un errore di primo tipo (dichiarare reale una differenza che non c’è).
\(z_{\alpha/2}\)	zeta alfa mezzi	Il punteggio z di confine (valore critico) che lascia nelle due code una probabilità totale di \(\alpha\). 1,96 per un intervallo di confidenza al 95% (\(\alpha = 0{,}05\)) e 2,576 per il 99%. Per una coda è \(z_\alpha\) (1,645 per il 5%).
\(d_L,\ d_U\)	di con pedice L, di con pedice U	L’estremo inferiore (lower) e superiore (upper) dell’intervallo di confidenza della differenza: i due estremi dell’intervallo in cui è probabile che si trovi la vera differenza.

Termini

test A/B	Un esperimento che mostra ai visitatori, a caso e nello stesso periodo, la versione originale (A) o una versione modificata (B) e ne confronta i risultati. È molto usato per siti, annunci ed email. Dividere a caso fa sì che i fattori diversi dalla versione (giorno della settimana, fonte del traffico e così via) siano uguali nei due gruppi.
tasso di conversione (CVR)	La quota di visite (clic) che hanno portato a un risultato (conversione) come un acquisto o un’iscrizione. Per calcolare o ricavare un singolo tasso di conversione vedi la calcolatrice del tasso di conversione.
ipotesi nulla	L’ipotesi che il test cerca di rifiutare: «A e B hanno davvero lo stesso tasso di conversione» (\(p_A = p_B\)). Il test verifica quanto sarebbe improbabile la differenza osservata se questa fosse vera.
ipotesi alternativa	L’ipotesi che vuoi mostrare, opposta all’ipotesi nulla. In un test a due code è «A e B differiscono» (\(p_A \neq p_B\)); in un test a una coda, «B è più alto di A» (\(p_B > p_A\)).
livello di significatività	La soglia fissata prima del test: se il p-value è più piccolo, si rifiuta l’ipotesi nulla. Il 5% è molto usato; usa l’1% per un test più severo. «Significativo al 5%» dice che «la probabilità di una differenza così grande senza una vera differenza è sotto il 5%».
p-value	La probabilità che una differenza almeno così grande compaia per caso, supponendo vera l’ipotesi nulla (nessuna differenza). Più è piccolo, più è difficile spiegare il risultato con il caso. Attenzione, non è «la probabilità che B sia migliore» (un equivoco frequente).
statisticamente significativo	Il p-value è sotto il livello di significatività, quindi la differenza è giudicata difficile da spiegare con la variabilità casuale. Non promette che la differenza sia grande o l’effetto certo; con un numero enorme di visitatori anche una differenza minima diventa significativa.
statistica test	Un singolo numero calcolato dai dati per il test. In questa pagina è il punteggio z, «differenza ÷ errore standard». Quanto è estremo decide il p-value.
test z per due proporzioni	Un test che usa la distribuzione normale per verificare se le proporzioni (come i tassi di conversione) di due gruppi differiscono. È il modo più semplice per giudicare la significatività di un test A/B. Con un test chi quadro 2×2 si fa quasi la stessa cosa e i p-value a due code coincidono.
errore standard	La deviazione standard di una statistica ricavata da un campione (qui la differenza dei tassi di conversione): quanto oscilla per caso a seconda del campione. Si riduce in proporzione alla radice quadrata dei visitatori, quindi per dimezzare l’errore standard servono 4 volte i visitatori.
stima combinata (pooled)	Unire i dati dei due gruppi in un’unica stima del tasso di conversione, supponendo che non ci sia differenza. L’errore standard del test usa questo valore combinato (in inglese «pooled»).
intervallo di confidenza	L’intervallo in cui è probabile che si trovi la vera differenza. Un intervallo di confidenza al 95% è un modo di costruire intervalli tale che, ripetendo l’esperimento molte volte, il 95% di essi conterrebbe la vera differenza. Se l’intervallo non comprende lo 0, quasi sempre ciò concorda con la significatività in un test a due code al 5%.
test a due code	Un test su «c’è una differenza (qualunque sia il più alto)?». Usalo per un normale test A/B in cui non sai da che parte andrà.
test a una coda	Un test con una direzione fissata, come «B è più alto di A?». Il suo p-value è la metà di quello a due code, quindi diventa significativo più facilmente; usalo solo se hai deciso la direzione prima del test.
regione di rifiuto	La zona di coda della distribuzione normale standard in cui, se cade il punteggio z, si rifiuta l’ipotesi nulla. Per il 5% a due code sono le due code \(z < -1{,}96\) e \(z > 1{,}96\), con area totale 0,05. È la parte colorata del grafico di questa pagina.
valore critico	Il punteggio z al bordo della regione di rifiuto. 1,96 per il 5% a due code, 2,576 per l’1% a due code e 1,645 per il 5% a una coda. Il «margine del punteggio z» nel risultato mostra di quanto questo punteggio z sta sopra (o sotto) il valore critico.
approssimazione normale	Il numero di conversioni in realtà segue una distribuzione binomiale, ma con molti visitatori una distribuzione normale (la curva a campana) la approssima bene. Il test z usa questa approssimazione, quindi, come riferimento, le conversioni attese \(n\hat{p}\) e le non conversioni attese \(n(1-\hat{p})\) di ciascun gruppo dovrebbero essere almeno 5 (almeno 10 se possibile).
potenza del test	La probabilità che il test rilevi come significativa una differenza reale. Con pochi visitatori la potenza è bassa e anche un effetto reale risulta spesso «non significativo». «Non significativo» non dimostra «nessuna differenza».
errore di primo tipo	Dichiarare significativo un risultato quando in realtà non c’è differenza (un falso positivo). Il livello di significatività \(\alpha\) è la probabilità di questo errore che accetti; al 5%, «esegui 100 test senza una vera differenza e circa 5 risulteranno significativi per caso».
confronti multipli	Testare insieme molte versioni o molti indicatori. Anche a un livello di significatività del 5%, se testi 20 indicatori uno risulterà probabilmente «significativo» per caso. Bisogna restringere gli indicatori in anticipo o usare un livello di significatività più severo (correzione di Bonferroni e altre).
interruzione anticipata (peeking)	Controllare i risultati più e più volte durante il test e fermarsi appena sembra significativo. Il p-value sale e scende durante un test, quindi se continui a «fermarti la prima volta che scende sotto il 5%», la probabilità di significatività senza vera differenza va ben oltre il 5%. La regola di base è decidere prima i visitatori necessari e aspettare di raggiungerli.
incremento relativo (lift)	Di quanto per cento è aumentato il tasso di conversione di B rispetto a quello di A: la differenza \(d\) divisa per il tasso di conversione di A, per 100. «Su del 25%» si traduce più facilmente in stime di conversioni e ricavi in più di «su di 0,5 punti».
punto percentuale	L’unità per il risultato della sottrazione tra due percentuali (abbreviata pp). Si usa così: «2,5% − 2% = 0,5 punti percentuali»; scrivere «0,5%» potrebbe essere scambiato per «lo 0,5% del 2%».

Cosa conviene sapere prima

Ecco che cosa conviene sapere per usare il calcolo di questa pagina capendo davvero che cosa fai, e non solo premendo il pulsante.
Se ti blocchi, ripassare questi argomenti è la strada più rapida.

Percentuali (classe 5ª della primaria e scuola secondaria di primo grado, 10-12 anni)	Sapere che una percentuale si trova come «parte ÷ totale» (tasso di conversione = conversioni ÷ visitatori) Saper passare dalle percentuali ai numeri decimali e viceversa (\(2{,}5\% = 0{,}025\)) Sapere che una differenza tra percentuali si esprime in punti percentuali (2,5% − 2% = 0,5 punti percentuali)
Reciproci e radici quadrate (scuola secondaria di primo grado, 11-14 anni)	Saper sommare reciproci, come in \(\dfrac{1}{5000} + \dfrac{1}{5000} = 0{,}0004\) Capire le radici quadrate e saper trovare quelle semplici, come in \(\sqrt{0{,}0001} = 0{,}01\)
La distribuzione normale e la deviazione standard (statistica, scuola secondaria di secondo grado, 14-19 anni)	Sapere che la distribuzione normale standard (media 0, deviazione standard 1) ha la forma a campana e che «la probabilità di essere \(z\) o meno», \(\Phi(z)\), è l’area a sinistra sotto la curva Saper leggere valori approssimati da una tabella della normale, come \(\Phi(1{,}96) \approx 0{,}975\) Avere il senso che «la probabilità di cadere a 2 o più deviazioni standard dalla media è circa il 5%»
La logica del test di ipotesi (statistica, scuola secondaria di secondo grado, 14-19 anni)	Capire il procedimento: si pone l’ipotesi nulla di «nessuna differenza» e si giudica da quanto sarebbe improbabile il risultato osservato sotto di essa Capire come si legano livello di significatività, p-value e regione di rifiuto (il p-value è sotto il livello di significatività ⇔ il punteggio z cade nella regione di rifiuto)
La distribuzione binomiale e la sua approssimazione normale (statistica, scuola secondaria di secondo grado, 14-19 anni)	Sapere che «il numero di successi in \(n\) prove di qualcosa con probabilità \(p\)» segue una distribuzione binomiale e che, per \(n\) grande, una distribuzione normale la approssima

Come calcolarlo con Excel

Copia tutta la tabella qui sotto e incollala nella cella A1 di Excel. Funziona così com’è.

Tabella per trovare ciascun tasso di conversione

Visitatori di A n_A	10000
Conversioni di A x_A	200
Visitatori di B n_B	10000
Conversioni di B x_B	250
Tasso di conversione di A p̂_A	=B2/B1
Tasso di conversione di B p̂_B	=B4/B3

Tabella per trovare la differenza e l’incremento relativo

Tasso di conversione di A p̂_A	0,02
Tasso di conversione di B p̂_B	0,025
Differenza d	=B2-B1
Incremento relativo L (%)	=B3/B1*100

Tabella per trovare il tasso di conversione combinato

Conversioni di A x_A	200
Conversioni di B x_B	250
Visitatori di A n_A	10000
Visitatori di B n_B	10000
Tasso di conversione combinato p̂	=(B1+B2)/(B3+B4)

Tabella per trovare l’errore standard e il punteggio z

Tasso di conversione combinato p̂	0,0225
Visitatori di A n_A	10000
Visitatori di B n_B	10000
Differenza d	0,005
Errore standard SE	=RADQ(B1(1-B1)(1/B2+1/B3))
Punteggio z z	=B4/B5

Tabella per trovare i p-value (a due code e a una coda)

Punteggio z z	2,384
p-value a due code p₂	=2*(1-DISTRIB.NORM.ST.N(ASS(B1);VERO))
p-value a una coda p₁	=1-DISTRIB.NORM.ST.N(B1;VERO)

Tabella per trovare l’intervallo di confidenza della differenza

Tasso di conversione di A p̂_A	0,02
Visitatori di A n_A	10000
Tasso di conversione di B p̂_B	0,025
Visitatori di B n_B	10000
Differenza d	0,005
Livello di confidenza (0,95 = 95%)	0,95
z_(α/2)	=INV.NORM.S(1-(1-B6)/2)
Errore standard SE_d	=RADQ(B1(1-B1)/B2+B3(1-B3)/B4)
Estremo inferiore d_L	=B5-B7*B8
Estremo superiore d_U	=B5+B7*B8

Dopo averle incollate, le righe in alto sono i dati da inserire e le righe con le formule sono calcolate automaticamente. Le proporzioni sono numeri decimali tra 0 e 1, come 0,02; moltiplica per 100 per ottenere una percentuale.
Nella prima tabella B5 mostra il tasso di conversione di A, 0,02, e B6 quello di B, 0,025. La seconda tabella dà una differenza di 0,005 (0,5 punti percentuali) e un lift di 25, la terza un tasso di conversione combinato di 0,0225 e la quarta un errore standard di circa 0,002097 e un punteggio z di circa 2,384.
Nella quinta tabella, DISTRIB.NORM.ST.N(z; VERO) restituisce la probabilità cumulata della normale standard Φ(z); il p-value a due code è circa 0,0171 e quello a una coda circa 0,0086. Nella sesta tabella, INV.NORM.S ricava il punteggio z da una probabilità cumulata (1,96 per un livello di confidenza del 95%), dando un estremo inferiore di circa 0,0009 e uno superiore di circa 0,0091 (da 0,09 a 0,91 punti percentuali).

Come calcolarlo con Fogli Google

Copia tutta la tabella qui sotto e incollala nella cella A1 di Fogli Google. Funziona così com’è.

Tabella per trovare ciascun tasso di conversione

Visitatori di A n_A	10000
Conversioni di A x_A	200
Visitatori di B n_B	10000
Conversioni di B x_B	250
Tasso di conversione di A p̂_A	=B2/B1
Tasso di conversione di B p̂_B	=B4/B3

Tabella per trovare la differenza e l’incremento relativo

Tasso di conversione di A p̂_A	0,02
Tasso di conversione di B p̂_B	0,025
Differenza d	=B2-B1
Incremento relativo L (%)	=B3/B1*100

Tabella per trovare il tasso di conversione combinato

Conversioni di A x_A	200
Conversioni di B x_B	250
Visitatori di A n_A	10000
Visitatori di B n_B	10000
Tasso di conversione combinato p̂	=(B1+B2)/(B3+B4)

Tabella per trovare l’errore standard e il punteggio z

Tasso di conversione combinato p̂	0,0225
Visitatori di A n_A	10000
Visitatori di B n_B	10000
Differenza d	0,005
Errore standard SE	=RADQ(B1(1-B1)(1/B2+1/B3))
Punteggio z z	=B4/B5

Tabella per trovare i p-value (a due code e a una coda)

Punteggio z z	2,384
p-value a due code p₂	=2*(1-DISTRIB.NORM.ST(ASS(B1)))
p-value a una coda p₁	=1-DISTRIB.NORM.ST(B1)

Tabella per trovare l’intervallo di confidenza della differenza

Tasso di conversione di A p̂_A	0,02
Visitatori di A n_A	10000
Tasso di conversione di B p̂_B	0,025
Visitatori di B n_B	10000
Differenza d	0,005
Livello di confidenza (0,95 = 95%)	0,95
z_(α/2)	=INV.NORM.ST(1-(1-B6)/2)
Errore standard SE_d	=RADQ(B1(1-B1)/B2+B3(1-B3)/B4)
Estremo inferiore d_L	=B5-B7*B8
Estremo superiore d_U	=B5+B7*B8

Funzionano quasi le stesse formule di Excel. La probabilità cumulata della normale standard si scrive DISTRIB.NORM.ST(z) e la sua inversa INV.NORM.ST(p) (fanno lo stesso lavoro di DISTRIB.NORM.ST.N e INV.NORM.S di Excel). Copia l’intera tabella, incollala nella cella A1 e sostituisci i dati da inserire con i tuoi numeri.

Come calcolarlo con Python

import math

visits_a, conversions_a = 10000, 200   # visitatori e conversioni di A
visits_b, conversions_b = 10000, 250   # visitatori e conversioni di B
alpha = 0.05                           # livello di significatività (5%)

def normal_cdf(z):
    # funzione di ripartizione della normale standard Φ(z)
    return 0.5 * math.erfc(-z / math.sqrt(2))

def normal_ppf(p):
    # inversa di Φ (bisezione; serve per trovare z_(α/2))
    low, high = -10.0, 10.0
    for _ in range(100):
        mid = (low + high) / 2
        if normal_cdf(mid) < p:
            low = mid
        else:
            high = mid
    return (low + high) / 2

cvr_a = conversions_a / visits_a
cvr_b = conversions_b / visits_b
diff = cvr_b - cvr_a
lift = diff / cvr_a * 100
pooled = (conversions_a + conversions_b) / (visits_a + visits_b)
se_pooled = math.sqrt(pooled * (1 - pooled) * (1 / visits_a + 1 / visits_b))
z = diff / se_pooled
p_two_sided = 2 * (1 - normal_cdf(abs(z)))
p_one_sided = 1 - normal_cdf(z)

se_diff = math.sqrt(cvr_a * (1 - cvr_a) / visits_a + cvr_b * (1 - cvr_b) / visits_b)
z_half = normal_ppf(1 - alpha / 2)
ci_low, ci_high = diff - z_half * se_diff, diff + z_half * se_diff

print(f"Tasso di conversione A: {cvr_a * 100:.2f}%  Tasso di conversione B: {cvr_b * 100:.2f}%")
print(f"Differenza: {diff * 100:.2f} punti percentuali  Incremento relativo: {lift:.1f}%")
print(f"Punteggio z: {z:.3f}  p-value a due code: {p_two_sided:.4f}  p-value a una coda: {p_one_sided:.4f}")
print("Verdetto (due code):", "statisticamente significativo" if p_two_sided < alpha else "non statisticamente significativo")
print(f"Intervallo di confidenza al {(1 - alpha) * 100:.0f}% per la differenza: da {ci_low * 100:.2f} a {ci_high * 100:.2f} punti percentuali")

Funziona solo con la libreria standard (math.erfc dà la probabilità cumulata della normale standard). In questo esempio stampa un punteggio z di 2,384, un p-value a due code di 0,0171, un p-value a una coda di 0,0086, il verdetto «statisticamente significativo» e un intervallo di confidenza al 95% per la differenza da 0,09 a 0,91 punti percentuali (il programma stampa i decimali con il punto, come fa Python). Cambia in cima i quattro numeri e il livello di significatività ed eseguilo. Se hai scipy, puoi usare invece scipy.stats.norm.cdf e norm.ppf.

La formula in LaTeX e in altre notazioni matematiche (da copiare)

Tasso di conversione di ciascun gruppo

p̂_A = x_A ÷ n_A

\hat{p}_A = \dfrac{x_A}{n_A}

<math xmlns="http://www.w3.org/1998/Math/MathML" display="block">
  <mrow>
    <msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>A</mi></msub>
    <mo>=</mo>
    <mfrac>
      <msub><mi>x</mi><mi>A</mi></msub>
      <msub><mi>n</mi><mi>A</mi></msub>
    </mfrac>
  </mrow>
</math>

hat(p)_A = x_A / n_A

xA/nA

pA := xA/nA;

pA = xA/nA;

p̂_A = x_A/n_A

Differenza dei tassi di conversione e incremento relativo

d = p̂_B − p̂_A,  L = d ÷ p̂_A × 100

d = \hat{p}_B - \hat{p}_A, \quad L = \dfrac{d}{\hat{p}_A} \times 100

<math xmlns="http://www.w3.org/1998/Math/MathML" display="block">
  <mrow>
    <mi>d</mi><mo>=</mo>
    <msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>B</mi></msub>
    <mo>&#x2212;</mo>
    <msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>A</mi></msub>
    <mo>,</mo><mspace width="1em"/>
    <mi>L</mi><mo>=</mo>
    <mfrac><mi>d</mi><msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>A</mi></msub></mfrac>
    <mo>&#xD7;</mo><mn>100</mn>
  </mrow>
</math>

d = hat(p)_B - hat(p)_A, L = d / hat(p)_A xx 100

d = pB - pA; d/pA*100

d := pB - pA; L := d/pA*100;

d = pB - pA; L = d/pA*100;

d = p̂_B − p̂_A, L = d/p̂_A × 100

Tasso di conversione combinato (un solo tasso per i due gruppi insieme)

p̂ = (x_A + x_B) ÷ (n_A + n_B)

\hat{p} = \dfrac{x_A + x_B}{n_A + n_B}

<math xmlns="http://www.w3.org/1998/Math/MathML" display="block">
  <mrow>
    <mover accent="true"><mi>p</mi><mo>^</mo></mover>
    <mo>=</mo>
    <mfrac>
      <mrow><msub><mi>x</mi><mi>A</mi></msub><mo>+</mo><msub><mi>x</mi><mi>B</mi></msub></mrow>
      <mrow><msub><mi>n</mi><mi>A</mi></msub><mo>+</mo><msub><mi>n</mi><mi>B</mi></msub></mrow>
    </mfrac>
  </mrow>
</math>

hat(p) = (x_A + x_B) / (n_A + n_B)

(xA + xB)/(nA + nB)

pPool := (xA + xB)/(nA + nB);

pPool = (xA + xB)/(nA + nB);

p̂ = (x_A + x_B)/(n_A + n_B)

Errore standard e punteggio z (test z per due proporzioni)

SE = √(p̂(1 − p̂)(1/n_A + 1/n_B)),  z = d ÷ SE

\mathrm{SE} = \sqrt{\hat{p}(1-\hat{p})\left(\dfrac{1}{n_A}+\dfrac{1}{n_B}\right)}, \quad z = \dfrac{d}{\mathrm{SE}}

<math xmlns="http://www.w3.org/1998/Math/MathML" display="block">
  <mrow>
    <mi>z</mi><mo>=</mo>
    <mfrac>
      <mrow><msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>B</mi></msub><mo>&#x2212;</mo><msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>A</mi></msub></mrow>
      <msqrt>
        <mover accent="true"><mi>p</mi><mo>^</mo></mover>
        <mo>(</mo><mn>1</mn><mo>&#x2212;</mo><mover accent="true"><mi>p</mi><mo>^</mo></mover><mo>)</mo>
        <mo>(</mo>
        <mfrac><mn>1</mn><msub><mi>n</mi><mi>A</mi></msub></mfrac>
        <mo>+</mo>
        <mfrac><mn>1</mn><msub><mi>n</mi><mi>B</mi></msub></mfrac>
        <mo>)</mo>
      </msqrt>
    </mfrac>
  </mrow>
</math>

SE = sqrt(hat(p)(1 - hat(p))(1/n_A + 1/n_B)), z = d / SE

se = Sqrt[pPool*(1 - pPool)*(1/nA + 1/nB)]; z = d/se

SE := sqrt(pPool*(1 - pPool)*(1/nA + 1/nB)); z := d/SE;

SE = sqrt(pPool*(1 - pPool)*(1/nA + 1/nB)); z = d/SE;

SE = √(p̂(1 − p̂)(1/n_A + 1/n_B)), z = d/SE

p-value (a due code e a una coda)

p₂ = 2(1 − Φ(|z|)),  p₁ = 1 − Φ(z)

p_2 = 2\left(1 - \Phi(|z|)\right), \quad p_1 = 1 - \Phi(z)

<math xmlns="http://www.w3.org/1998/Math/MathML" display="block">
  <mrow>
    <msub><mi>p</mi><mn>2</mn></msub><mo>=</mo>
    <mn>2</mn><mo>(</mo><mn>1</mn><mo>&#x2212;</mo>
    <mi>&#x3A6;</mi><mo>(</mo><mo>|</mo><mi>z</mi><mo>|</mo><mo>)</mo><mo>)</mo>
    <mo>,</mo><mspace width="1em"/>
    <msub><mi>p</mi><mn>1</mn></msub><mo>=</mo>
    <mn>1</mn><mo>&#x2212;</mo><mi>&#x3A6;</mi><mo>(</mo><mi>z</mi><mo>)</mo>
  </mrow>
</math>

p_2 = 2(1 - Phi(|z|)), p_1 = 1 - Phi(z)

p2 = 2*(1 - CDF[NormalDistribution[0, 1], Abs[z]]); p1 = 1 - CDF[NormalDistribution[0, 1], z]

p2 := 2*(1 - Statistics:-CDF(Normal(0, 1), abs(z))); p1 := 1 - Statistics:-CDF(Normal(0, 1), z);

p2 = 2*(1 - normcdf(abs(z))); p1 = 1 - normcdf(z);

p_2 = 2(1 − Φ(|z|)), p_1 = 1 − Φ(z)

Intervallo di confidenza per la differenza dei tassi di conversione

d ± z_(α/2) × √(p̂_A(1 − p̂_A)/n_A + p̂_B(1 − p̂_B)/n_B)

d \pm z_{\alpha/2}\sqrt{\dfrac{\hat{p}_A(1-\hat{p}_A)}{n_A}+\dfrac{\hat{p}_B(1-\hat{p}_B)}{n_B}}

<math xmlns="http://www.w3.org/1998/Math/MathML" display="block">
  <mrow>
    <mi>d</mi><mo>&#xB1;</mo>
    <msub><mi>z</mi><mrow><mi>&#x3B1;</mi><mo>/</mo><mn>2</mn></mrow></msub>
    <msqrt>
      <mfrac>
        <mrow><msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>A</mi></msub><mo>(</mo><mn>1</mn><mo>&#x2212;</mo><msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>A</mi></msub><mo>)</mo></mrow>
        <msub><mi>n</mi><mi>A</mi></msub>
      </mfrac>
      <mo>+</mo>
      <mfrac>
        <mrow><msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>B</mi></msub><mo>(</mo><mn>1</mn><mo>&#x2212;</mo><msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>B</mi></msub><mo>)</mo></mrow>
        <msub><mi>n</mi><mi>B</mi></msub>
      </mfrac>
    </msqrt>
  </mrow>
</math>

d +- z_(alpha/2) sqrt((hat(p)_A(1 - hat(p)_A))/n_A + (hat(p)_B(1 - hat(p)_B))/n_B)

seD = Sqrt[pA*(1 - pA)/nA + pB*(1 - pB)/nB]; {d - zHalf*seD, d + zHalf*seD}

seD := sqrt(pA*(1 - pA)/nA + pB*(1 - pB)/nB); [d - zHalf*seD, d + zHalf*seD];

seD = sqrt(pA*(1 - pA)/nA + pB*(1 - pB)/nB); ci = [d - zHalf*seD, d + zHalf*seD];

d ± z_(α/2) √(p̂_A(1 − p̂_A)/n_A + p̂_B(1 − p̂_B)/n_B)

Come chiedere a ChatGPT di fare il calcolo

Sei un assistente per i calcoli di statistica (test di ipotesi). Fai il calcolo seguente eseguendo davvero del codice Python e basa la risposta solo sui numeri del risultato dell’esecuzione (non rispondere con calcoli a mente né a occhio).

I risultati del test A/B sono:
- Gruppo A: 10.000 visitatori, 200 conversioni
- Gruppo B: 10.000 visitatori, 250 conversioni
Trova ognuno dei valori seguenti:
1. Il tasso di conversione di ciascun gruppo (%), la differenza dei tassi di conversione (punti percentuali) e l’incremento relativo (%)
2. Il tasso di conversione combinato e l’errore standard combinato SE = √(p̂(1−p̂)(1/n_A + 1/n_B))
3. Il punteggio z = differenza ÷ SE e i p-value a due code e a una coda (distribuzione normale standard)
4. Se la differenza è statisticamente significativa a un livello di significatività del 5% (due code)
5. L’intervallo di confidenza al 95% per la differenza (con l’errore standard ricavato dal tasso di conversione di ciascun gruppo, √(p̂_A(1−p̂_A)/n_A + p̂_B(1−p̂_B)/n_B))

In Python usa math.erfc (o scipy.stats.norm) e mostra le formule che hai usato e i numeri del risultato dell’esecuzione.

Come si usa

1

Inserisci i numeri

Scrivi nei campi i numeri con cui vuoi fare il calcolo
2

Calcola

Fai clic sul pulsante «Calcola»
3

Guarda il risultato

Il risultato compare subito. Nella stessa pagina trovi anche lo svolgimento del calcolo e la spiegazione della formula