Calculadora de significación estadística de un test A/B (tasas de conversión, valor p e intervalo de confianza)

Introduce las visitas y las conversiones del grupo A (la versión original) y del grupo B (la versión modificada). Junto con cada tasa de conversión, la diferencia y el incremento relativo, hace una prueba z de dos proporciones para obtener el estadístico z y el valor p, y da un veredicto de «significativo / no significativo» con el nivel de significación que elijas.

Visitas en A (clics)

Conversiones en A

Visitas en B (clics)

Conversiones en B

Nivel de significación

Unilateral o bilateral

Las visitas pueden ser clics, sesiones o usuarios, pero cuéntalas igual en los dos grupos. Introduce números enteros. Para el nivel de significación y el contraste unilateral o bilateral, elige lo que decidiste antes de empezar el test (cambiarlos después de ver los resultados no es un uso válido).

Resultado y gráfico

Introduce las visitas y las conversiones de los grupos A y B a la izquierda y haz clic en «Calcular». Aquí aparecerán el veredicto y un gráfico.

Índice

[ Cerrar X ]

Qué puedes hacer en esta página
¿Para qué sirve este cálculo?
Cómo usar
Fórmula
Símbolos y términos
- Símbolos
- Términos
Qué conviene saber de antemano
Cómo calcularlo con Excel
Cómo calcularlo con Hojas de cálculo de Google
Cómo calcularlo con Python
La fórmula en LaTeX y otras notaciones matemáticas (para copiar)
Cómo pedirle a ChatGPT que haga el cálculo
Las ventajas de DataChef
Funciones relacionadas
Todas las calculadoras de NumberChef

Qué puedes hacer en esta página

Introduce las visitas (también valen clics o sesiones) y las conversiones de los grupos A y B, y obtén de una vez cada tasa de conversión, la diferencia entre las tasas de conversión y el incremento relativo
«B parece mejor, pero ¿podría ser solo variación aleatoria?» Una prueba z de dos proporciones lo responde (el estadístico z, los valores p bilateral y unilateral, y un veredicto con un nivel de significación del 5 %, del 1 % o del 10 %)
También da el intervalo de confianza de la diferencia (por ejemplo, del 95 %) y el margen con el que el estadístico z supera (o no alcanza) la línea de significación
Un gráfico de la distribución normal estándar muestra dónde cae tu estadístico z y sombrea la región de rechazo (es significativo si el estadístico z cae ahí)
En esta misma página tienes también una explicación sencilla de las fórmulas y fórmulas para copiar y pegar en Excel, en Hojas de cálculo de Google y en Python

Esta página sirve solo para juzgar si las tasas de conversión (proporciones) de los grupos A y B difieren. Si solo quieres convertir un estadístico z en un valor p, usa la calculadora del valor p; para un intervalo de confianza de una media, la calculadora del intervalo de confianza; y para el número de personas necesarias para estudiar una proporción, la calculadora del tamaño de la muestra. «Estadísticamente significativo» no garantiza que el efecto sea real ni grande (consulta «La idea clave» más abajo y la sección de términos).

¿Para qué sirve este cálculo?

Mejorar páginas de destino y textos de anuncios (marketing online)

«La versión B, con otro color de botón, subió la tasa de conversión del 2,0 % al 2,5 %.» Comprobar que esta diferencia no es solo azar es la significación de un test A/B, algo que se hace cada día en el marketing online. Con 10.000 visitas cada una, el valor p bilateral es de unos 0,017, «significativo al 5 %». Pero con tasas de conversión parecidas en 500 visitas cada una (10 conversiones frente a 12 o 13), el valor p es de unos 0,5 a 0,7, y solo puedes decir «puede ser azar».
Si cambias porque «B parece mejor», es frecuente que los resultados vuelvan atrás el mes siguiente. Decidir primero el número de visitas y juzgar con un nivel de significación evita esto (suponiendo que las visitas se reparten al azar).

Probar asuntos y horas de envío de correos (email marketing)

Envía el mismo correo con dos asuntos distintos a la mitad de la lista cada uno y compara unas tasas de apertura del 48 % y del 52 %. Es también un contraste de la diferencia entre dos proporciones. Con 5000 correos cada uno, la diferencia de 4 puntos tiene un estadístico z de alrededor de 4, una diferencia difícil de explicar por azar.
Las proporciones grandes, como las tasas de apertura, son más fáciles de juzgar con el mismo número de correos que las pequeñas, como las tasas de conversión (la diferencia tiende a ser grande en comparación con el error típico). Esta fórmula te da una idea de cómo la métrica que comparas cambia el número de envíos que necesitas.

Comparar las tasas de respuesta de tratamientos (investigación médica)

Comparar las tasas de mejoría entre dos grupos, como «el 60 % mejoró con el tratamiento estándar y el 70 % con el nuevo», es un contraste básico en los estudios clínicos (los estudios reales usan diseños estrictos, como la aleatorización y el doble ciego).
Los artículos que hay detrás de las aprobaciones de fármacos y de las guías de tratamiento informan siempre de valores p e intervalos de confianza. Cuando entiendes esta fórmula, no te dejas llevar por la palabra «significativo»; puedes leer también «¿de qué tamaño es la diferencia?» y «¿había suficientes pacientes?».

Comparar las tasas de defectos de una línea de producción (control de calidad)

Cuando un proceso nuevo B parece reducir la tasa de defectos del 1,5 % al 1,0 %, el veredicto cambia con el volumen: con 2000 unidades cada uno es «dentro del azar», y con 20.000 unidades cada uno es «una mejora significativa». Este cálculo evita que las decisiones sobre equipos y cambios de proceso se dejen llevar por el azar en muestras pequeñas.
Para proporciones pequeñas como las tasas de defectos, la aproximación normal se vuelve tosca cuando el número esperado de defectos (unidades × tasa de defectos) baja de 5, así que se elige un contraste exacto que use directamente la distribución binomial (como la prueba exacta de Fisher).

Medir el efecto de materiales y métodos de enseñanza (educación)

El mismo contraste sirve para comparaciones como «las clases que usaron el libro de texto nuevo tuvieron un 75 % de aprobados, frente al 65 % con el antiguo». Pero si asignas los libros por clase, los alumnos no se repartieron al azar, y las diferencias entre profesores y alumnos se mezclan con el resultado.
En la investigación educativa y social, además de comprobar la significación con esta fórmula, importa el diseño: ¿se repartieron los grupos al azar?, ¿cambió alguien la forma de hacer la comparación después de ver los resultados? Conocer los supuestos que hay detrás de la fórmula es lo que evita que los números te engañen.

Fórmula

Tasa de conversión de cada grupo

Notación matemática (la notación habitual)

\(\hat{p}_A\) \(=\) \(x_A\) \(\div\) \(n_A\)

En palabras (los símbolos sustituidos por palabras)

③ \(\hat{p}_A\): tasa de conversión de A \(=\) ① \(x_A\): conversiones en A \(\div\) ② \(n_A\): visitas en A

La fórmula en palabras

① Toma las \(x_A\): conversiones en A

② divídelas entre las \(n_A\): visitas en A , y obtienes la

③ \(\hat{p}_A\): tasa de conversión de A (la misma fórmula para B, \(\hat{p}_B = x_B \div n_B\))

Un ejemplo sencillo

Si A tiene 200 conversiones de 10.000 visitas y B tiene 250 conversiones de 10.000 visitas, las tasas de conversión son

tasa de conversión de A \(\hat{p}_A\) \(=\) conversiones (200) \(\div\) visitas (10.000)

\(200 \div 10.000 = 0{,}02\ \ (2\,\%)\)

\(250 \div 10.000 = 0{,}025\ \ (2{,}5\,\%)\)

La idea clave

El denominador de la tasa de conversión (las visitas) puede ser clics, sesiones o usuarios, pero cuenta siempre A y B de la misma manera. En las fórmulas, las proporciones son decimales entre 0 y 1, como \(0{,}02\), y solo se pasan a porcentaje para mostrarlas. El símbolo \(\hat{p}\) (p con sombrero) significa «la tasa de conversión real \(p\), estimada a partir de los datos que tienes». Aunque 10.000 personas vean la misma página, el número de conversiones sube o baja un poco por azar. Así que «esta vez fue el 2 %» no es «la tasa de conversión real es exactamente el 2 %»; es solo una estimación cercana. El contraste que sigue es la forma de tratar bien esta oscilación aleatoria.

Diferencia de tasas de conversión e incremento relativo

Notación matemática (la notación habitual)

\(d\) \(=\) \(\hat{p}_B\) \(-\) \(\hat{p}_A\)

\(L\) \(=\) \(d\) \(\div\) \(\hat{p}_A\) \(\times\) \(100\)

En palabras (los símbolos sustituidos por palabras)

③ \(d\): diferencia de tasas de conversión \(=\) ① \(\hat{p}_B\): tasa de conversión de B \(-\) ② \(\hat{p}_A\): tasa de conversión de A

⑦ \(L\): incremento relativo (%) \(=\) ④ \(d\): diferencia de tasas de conversión \(\div\) ⑤ \(\hat{p}_A\): tasa de conversión de A \(\times\) ⑥ \(100\): para pasar a porcentaje

La fórmula en palabras

① A la \(\hat{p}_B\): tasa de conversión de B ,

② réstale la \(\hat{p}_A\): tasa de conversión de A , y obtienes la

③ \(d\): diferencia de tasas de conversión (se muestra multiplicada por 100, en puntos porcentuales).

④ Divide la \(d\): diferencia de tasas de conversión

⑤ entre la \(\hat{p}_A\): tasa de conversión de A ,

⑥ multiplica por \(100\): para pasar a porcentaje para pasarlo a porcentaje, y obtienes el

⑦ \(L\): incremento relativo (%)

Un ejemplo sencillo

Si la tasa de conversión de A es 0,02 (2 %) y la de B es 0,025 (2,5 %), la diferencia y el incremento relativo son

diferencia \(d\) \(=\) tasa de conversión de B (0,025) \(-\) tasa de conversión de A (0,02)

incremento relativo \(L\) (%) \(=\) diferencia (0,005) \(\div\) tasa de conversión de A (0,02) \(\times\) \(100\)

\(0{,}025 - 0{,}02 = 0{,}005\ \ (0{,}5\ \mathrm{pp})\)

\(0{,}005 \div 0{,}02 \times 100 = 25\ \ (25\,\%)\)

La idea clave

«Sube del 2 % al 2,5 %» son 0,5 puntos porcentuales como diferencia, y un 25 % más como proporción. Para evitar confusiones, el resultado de restar un porcentaje de otro se llama «puntos porcentuales» (pp), no «%» (2,5 % − 2 % = 0,5 puntos porcentuales). El incremento relativo muestra «en qué % aumenta B las conversiones respecto a A», así que se vincula directamente con las estimaciones de inversión publicitaria e ingresos y se usa mucho en la práctica. Pero estos dos números son la diferencia observada en esta muestra; la diferencia real puede no ser exactamente la misma. El contraste que sigue lo comprueba.

Tasa de conversión conjunta (una sola tasa para los dos grupos juntos)

Notación matemática (la notación habitual)

\(\hat{p}\) \(=\) \((x_A + x_B)\) \(\div\) \((n_A + n_B)\)

En palabras (los símbolos sustituidos por palabras)

③ \(\hat{p}\): tasa de conversión conjunta \(=\) ① \((x_A + x_B)\): conversiones totales \(\div\) ② \((n_A + n_B)\): visitas totales

La fórmula en palabras

① Toma las \((x_A + x_B)\): conversiones totales

② divídelas entre las \((n_A + n_B)\): visitas totales , y obtienes la

③ \(\hat{p}\): tasa de conversión conjunta

Un ejemplo sencillo

Si A tiene 200 conversiones de 10.000 visitas y B tiene 250 de 10.000, la tasa de conversión conjunta es

tasa de conversión conjunta \(\hat{p}\) \(=\) conversiones totales (200 + 250) \(\div\) visitas totales (10.000 + 10.000)

\((200 + 250) \div (10.000 + 10.000) = 450 \div 20.000 = 0{,}0225\ \ (2{,}25\,\%)\)

La idea clave

El contraste parte de la hipótesis de que «A y B tienen en realidad la misma tasa de conversión» (la hipótesis nula). Si son iguales, los datos de los dos grupos vienen de una sola tasa de conversión, así que combinas (agrupas) los dos grupos para estimarla. Esta es la tasa de conversión conjunta, que se usa en el cálculo del error típico que viene a continuación. «Supón que son iguales, haz la cuenta, y una diferencia tan grande casi nunca debería ocurrir»: si eso es lo que encuentras, empiezas a dudar de la suposición (no hay diferencia). Esa es la lógica de un contraste de hipótesis.

Error típico y estadístico z (prueba z de dos proporciones)

Notación matemática (la notación habitual)

\(\mathrm{SE}\) \(=\) \(\sqrt{\hat{p}(1-\hat{p})\left(\dfrac{1}{n_A}+\dfrac{1}{n_B}\right)}\)

\(z\) \(=\) \(d\) \(\div\) \(\mathrm{SE}\)

En palabras (los símbolos sustituidos por palabras)

② \(\mathrm{SE}\): error típico \(=\) ① raíz cuadrada de: la dispersión de la tasa conjunta \(\hat{p}(1-\hat{p})\) × la suma de los inversos de las visitas \(\left(\dfrac{1}{n_A}+\dfrac{1}{n_B}\right)\)

⑤ \(z\): estadístico z \(=\) ③ \(d\): diferencia de tasas de conversión \(\div\) ④ \(\mathrm{SE}\): error típico

La fórmula en palabras

① La raíz cuadrada de la dispersión de la tasa conjunta \(\hat{p}(1-\hat{p})\) por la suma de los inversos de las visitas \(\left(\dfrac{1}{n_A}+\dfrac{1}{n_B}\right)\) es el

② \(\mathrm{SE}\): error típico (una guía de cuánto se mueve la diferencia por azar).

③ Divide la \(d\): diferencia de tasas de conversión

④ entre el \(\mathrm{SE}\): error típico , y obtienes el

⑤ \(z\): estadístico z (cuántas veces la oscilación por azar es la diferencia)

Un ejemplo sencillo

Con una tasa de conversión conjunta de 0,0225, 10.000 visitas en cada grupo y una diferencia de 0,005, el error típico y el estadístico z son

error típico \(\mathrm{SE}\) \(=\) raíz cuadrada de «0,0225 × (1 − 0,0225) × (1/10.000 + 1/10.000)»

estadístico z \(z\) \(=\) diferencia (0,005) \(\div\) error típico (0,002097)

\(0{,}0225 \times (1 - 0{,}0225) \times \left(\dfrac{1}{10.000} + \dfrac{1}{10.000}\right) = 0{,}02199375 \times 0{,}0002 \approx 0{,}0000043988\)

\(\mathrm{SE} = \sqrt{0{,}0000043988} \approx 0{,}002097\)

\(z = 0{,}005 \div 0{,}002097 \approx 2{,}384\)

La idea clave

El estadístico z te dice cuántas veces la oscilación por azar (el error típico) es la diferencia observada. Cuando no hay diferencia, el estadístico z sigue la distribución normal estándar con media 0 y desviación típica 1, así que una diferencia con \(|z|\) por encima de 2 rara vez (alrededor del 5 % de las veces o menos) aparece por azar cuando no hay diferencia real. El inverso de las visitas \(1/n\) está en la fórmula del error típico, así que cuantas más visitas, menor es el error típico, y la misma diferencia de 0,5 puntos da un estadístico z mayor (se vuelve significativa con más facilidad). Con pocas visitas, incluso una diferencia grande solo puede llamarse «quizá azar». Esta fórmula aproxima la dispersión del número de conversiones (una distribución binomial) con una distribución normal. Como orientación, las conversiones esperadas \(n\hat{p}\) y las no conversiones esperadas \(n(1-\hat{p})\) de cada grupo deberían ser todas 5 o más (10 o más si es posible); si no, el resultado muestra una advertencia.

Valores p (bilateral y unilateral)

Notación matemática (la notación habitual)

\(p_2\) \(=\) \(2\) \(\times\) \((\) \(1\) \(-\) \(\Phi(|z|)\) \()\)

\(p_1\) \(=\) \(1\) \(-\) \(\Phi(z)\)

En palabras (los símbolos sustituidos por palabras)

④ \(p_2\): valor p bilateral \(=\) ③ \(2\): para las dos colas \(\times\) \((\) ① \(1\): probabilidad total \(-\) ② \(\Phi(|z|)\): probabilidad acumulada hasta \(|z|\) \()\)

⑦ \(p_1\): valor p unilateral \(=\) ⑤ \(1\): probabilidad total \(-\) ⑥ \(\Phi(z)\): probabilidad acumulada hasta \(z\)

La fórmula en palabras

① A la \(1\): probabilidad total ,

② réstale la \(\Phi(|z|)\): probabilidad acumulada hasta \(|z|\) (esto deja el área de una cola),

③ multiplica por \(2\): para las dos colas , y obtienes el

④ \(p_2\): valor p bilateral .

⑤ A la \(1\): probabilidad total ,

⑥ réstale la \(\Phi(z)\): probabilidad acumulada hasta \(z\) , y obtienes el

⑦ \(p_1\): valor p unilateral (para la hipótesis «B es mayor que A»)

Un ejemplo sencillo

Con un estadístico z de 2,384 (la probabilidad acumulada de la distribución normal estándar es \(\Phi(2{,}384) \approx 0{,}99144\)), los valores p bilateral y unilateral son

valor p bilateral \(p_2\) \(=\) \(2\) \(\times\) \((\) \(1\) \(-\) \(\Phi(2{,}384)\) (0,99144) \()\)

\(p_2 = 2 \times (1 - 0{,}99144) = 2 \times 0{,}00856 \approx 0{,}0171\)

\(p_1 = 1 - 0{,}99144 \approx 0{,}0086\)

La idea clave

El valor p es «la probabilidad de que salga por azar una diferencia al menos así de grande cuando en realidad no hay diferencia». Un valor p bilateral de 0,0171 dice «si no hubiera diferencia, una diferencia tan grande (en cualquier sentido) aparecería solo unas 1,7 veces de cada 100». Es menor que el nivel de significación del 5 % (0,05), así que el veredicto es «estadísticamente significativo»; es mayor que el 1 % (0,01), así que es «no significativo al 1 %». Un contraste bilateral pregunta «¿hay diferencia entre A y B (sea cual sea la mayor)?», y un contraste unilateral pregunta solo «¿es B mayor que A?». El valor p unilateral es la mitad del bilateral, así que se vuelve significativo con más facilidad, pero solo puedes usarlo si decidiste **antes de empezar el test** que no ibas a considerar que B fuera menor. Cambiar a unilateral después de ver los resultados no es un uso válido. Por la misma razón, mirar los resultados una y otra vez y parar en cuanto se vuelve significativo (detención anticipada), o contrastar muchas versiones o métricas a la vez y adoptar cualquiera que salga significativa (comparaciones múltiples), hace que la probabilidad de un resultado «significativo» sin diferencia real sea mucho mayor que el 5 %. La regla básica es decidir antes del test las visitas necesarias y las métricas que vas a mirar, esperar hasta entonces y juzgar solo una vez. \(\Phi\) (fi) es la función de distribución de la distribución normal estándar: la probabilidad de que el estadístico z sea ese valor o menor, el área a la izquierda bajo la campana. Puedes obtener sus valores de una tabla o de la función DISTR.NORM.ESTAND.N de Excel (la calculadora de esta página los calcula numéricamente).

Intervalo de confianza de la diferencia de tasas de conversión

Notación matemática (la notación habitual)

\(d_L,\ d_U\) \(=\) \(d\) \(\pm\) \(z_{\alpha/2}\) \(\times\) \(\sqrt{\dfrac{\hat{p}_A(1-\hat{p}_A)}{n_A}+\dfrac{\hat{p}_B(1-\hat{p}_B)}{n_B}}\)

En palabras (los símbolos sustituidos por palabras)

④ \(d_L,\ d_U\): límites inferior y superior del intervalo de confianza \(=\) ① \(d\): diferencia de tasas de conversión \(\pm\) ② \(z_{\alpha/2}\): fijado por el nivel de confianza \(\times\) ③ \(\mathrm{SE}_d\): error típico a partir de la dispersión de cada grupo

La fórmula en palabras

① Alrededor de la \(d\): diferencia de tasas de conversión , sube y baja

② el \(z_{\alpha/2}\): fijado por el nivel de confianza (1,96 para el 95 %) por el

③ \(\mathrm{SE}_d\): error típico a partir de la dispersión de cada grupo , y obtienes los

④ \(d_L,\ d_U\): límites inferior y superior del intervalo de confianza

Un ejemplo sencillo

Si la tasa de conversión de A es 0,02 (10.000 visitas), la de B es 0,025 (10.000 visitas) y la diferencia es 0,005, el intervalo de confianza del 95 % de la diferencia es

inferior \(d_L\), superior \(d_U\) \(=\) diferencia (0,005) \(\pm\) \(z_{\alpha/2}\) (1,96) \(\times\) error típico (0,002097)

\(\mathrm{SE}_d = \sqrt{\dfrac{0{,}02 \times 0{,}98}{10.000} + \dfrac{0{,}025 \times 0{,}975}{10.000}} = \sqrt{0{,}00000196 + 0{,}0000024375} \approx 0{,}002097\)

\(0{,}005 \pm 1{,}96 \times 0{,}002097 = 0{,}005 \pm 0{,}00411\)

\(0{,}00089 \le d \le 0{,}00911\ \ (0{,}09\ \text{a}\ 0{,}91\ \mathrm{pp})\)

La idea clave

Un contraste solo responde sí o no: «¿hay diferencia?». Un intervalo de confianza te dice además el tamaño: «la diferencia real está probablemente en más o menos este rango». En este ejemplo, el intervalo de confianza del 95 % va de 0,09 a 0,91 puntos porcentuales. No incluye el 0, así que puedes decir «B es mayor», pero también muestra que el rango es demasiado ancho para afirmar «subió exactamente 0,5 puntos». Para el error típico, usa la dispersión de la tasa de conversión de cada grupo, no el valor conjunto del contraste (el intervalo no supone «no hay diferencia»). \(z_{\alpha/2}\) es el valor de la normal estándar para el nivel de confianza: 1,645 para el 90 %, 1,96 para el 95 % y 2,576 para el 99 %. Si fijas el nivel de confianza en «100 − nivel de significación» (el 95 % para un nivel de significación del 5 %), el veredicto bilateral y que el intervalo incluya o no el 0 casi siempre coinciden (no se corresponden en un contraste unilateral; además, el contraste usa el error típico conjunto y el intervalo usa el de cada grupo, así que rara vez pueden discrepar cerca del límite).

El estadístico z es la diferencia de tasas de conversión dividida entre la oscilación por azar (el error típico) suponiendo que no hay diferencia, y el valor p es la probabilidad de que salga por azar una diferencia al menos así de grande. Si el valor p es menor que el nivel de significación (como el 5 %), el veredicto es «estadísticamente significativo», y el intervalo de confianza de la diferencia muestra el rango probable de la diferencia real. «Estadísticamente significativo» dice «difícil de explicar por azar»; no dice «el efecto es seguro o grande».

Símbolos y términos

Símbolos

\(n_A,\ n_B\)	ene sub a, ene sub be	Las visitas (clics o sesiones) de los grupos A y B. \(n\) es la primera letra de «número», la letra habitual en estadística para el tamaño de la muestra.
\(x_A,\ x_B\)	equis sub a, equis sub be	Las conversiones de los grupos A y B. Usar \(x\) para el número de éxitos es lo habitual en la distribución binomial.
\(\hat{p}_A,\ \hat{p}_B\)	pe con sombrero sub a, pe con sombrero sub be	Las tasas de conversión de los grupos A y B (proporciones de la muestra). \(p\) es la primera letra de «proporción» o de «probabilidad», y el «\(\hat{}\)» (sombrero) de arriba marca un valor estimado a partir de la muestra para el valor real \(p\).
\(\hat{p}\)	pe con sombrero	La tasa de conversión conjunta. Una estimación de la tasa de conversión con los dos grupos juntos, suponiendo que no hay diferencia: \(\hat{p} = (x_A + x_B) \div (n_A + n_B)\).
\(d\)	de	La diferencia de tasas de conversión (\(\hat{p}_B - \hat{p}_A\)), de la primera letra de «difference» (diferencia en inglés). Esta página la muestra multiplicada por 100, en puntos porcentuales.
\(L\)	ele	El incremento relativo (%), de la primera letra de «lift». En qué % ha aumentado la tasa de conversión de B respecto a la de A.
\(\mathrm{SE}\)	ese e	El error típico (standard error). Una guía de cuánto se mueve por azar un valor de la muestra (aquí, la diferencia de tasas de conversión); es la desviación típica de ese valor de la muestra. El contraste usa la tasa de conversión conjunta, y el intervalo de confianza usa \(\mathrm{SE}_d\), a partir de la tasa de conversión de cada grupo.
\(z\)	zeta	El estadístico z (estadístico de contraste). La diferencia dividida entre el error típico: cuántas veces la oscilación por azar es la diferencia. Sin diferencia sigue la distribución normal estándar (media 0, desviación típica 1), así que el valor p sale de lo grande que sea.
\(\|z\|\)	valor absoluto de zeta	El tamaño del estadístico z sin su signo. Un contraste bilateral no se fija en el sentido de la diferencia, así que usa el valor absoluto.
\(\Phi\)	fi (mayúscula)	La función de distribución de la distribución normal estándar. \(\Phi(z)\) es la probabilidad de que un valor de la normal estándar sea \(z\) o menor, el área bajo la campana a la izquierda de \(z\). La letra griega fi mayúscula es su símbolo habitual.
\(p_2,\ p_1\)	pe sub 2, pe sub 1	Los valores p bilateral y unilateral. Los subíndices 2 y 1 significan «dos colas» y «una cola», una rotulación solo de esta página; los libros de estadística escriben simplemente \(p\).
\(\alpha\)	alfa	El nivel de significación: la línea fijada de antemano en la que «si el valor p es menor, se rechaza la hipótesis nula». El 5 % (0,05) es lo habitual. Letra griega alfa; es la probabilidad de un error de tipo I (dar por real una diferencia que no existe).
\(z_{\alpha/2}\)	zeta sub alfa medios	El valor z frontera (valor crítico) que deja una probabilidad total de \(\alpha\) en las dos colas. 1,96 para un intervalo de confianza del 95 % (\(\alpha = 0{,}05\)) y 2,576 para el 99 %. Para una cola es \(z_\alpha\) (1,645 para el 5 %).
\(d_L,\ d_U\)	de sub ele, de sub u	Los límites inferior y superior del intervalo de confianza de la diferencia: los dos extremos del rango donde probablemente está la diferencia real.

Términos

test A/B	Un experimento que muestra a los visitantes la versión original (A) o una versión modificada (B) al azar durante el mismo periodo y compara los resultados. Muy usado en sitios web, anuncios y correo electrónico. Repartir al azar hace que los factores distintos de la versión (el día de la semana, el origen del tráfico, etc.) sean iguales en los dos grupos.
tasa de conversión (CVR)	El porcentaje de visitas (clics) que llegaron a un resultado (conversión) como una compra o un registro. Para calcular o despejar una sola tasa de conversión, consulta la calculadora de tasa de conversión.
hipótesis nula	La hipótesis que el contraste intenta rechazar: «A y B tienen en realidad la misma tasa de conversión» (\(p_A = p_B\)). El contraste comprueba lo improbable que sería la diferencia observada si esto fuera cierto.
hipótesis alternativa	La hipótesis que quieres mostrar, opuesta a la hipótesis nula. En un contraste bilateral es «A y B difieren» (\(p_A \neq p_B\)); en un contraste unilateral, «B es mayor que A» (\(p_B > p_A\)).
nivel de significación	La línea fijada antes del test: si el valor p es menor, se rechaza la hipótesis nula. El 5 % es lo habitual; usa el 1 % para un contraste más estricto. «Significativo al 5 %» dice «la probabilidad de una diferencia tan grande sin diferencia real es menor del 5 %».
valor p	La probabilidad de que salga por azar una diferencia al menos así de grande, suponiendo que la hipótesis nula (no hay diferencia) es cierta. Cuanto menor es, más difícil de explicar por azar es el resultado. Ojo: no es «la probabilidad de que B sea mejor» (un malentendido habitual).
estadísticamente significativo	El valor p es menor que el nivel de significación, así que se juzga que la diferencia es difícil de explicar por variación aleatoria. No promete que la diferencia sea grande ni el efecto seguro; con un número enorme de visitas, hasta una diferencia diminuta se vuelve significativa.
estadístico de contraste	Un único número calculado a partir de los datos para el contraste. En esta página es el estadístico z, «diferencia ÷ error típico». Lo extremo que sea decide el valor p.
prueba z de dos proporciones	Un contraste que usa la distribución normal para comprobar si difieren las proporciones (como las tasas de conversión) de dos grupos. Es la forma más básica de juzgar la significación de un test A/B. Casi lo mismo se puede hacer con una prueba de chi-cuadrado de 2×2, y los valores p bilaterales coinciden.
error típico	La desviación típica de un estadístico de una muestra (aquí, la diferencia de tasas de conversión): cuánto se mueve por azar según la muestra. Se reduce en proporción a la raíz cuadrada de las visitas, así que reducir a la mitad el error típico exige 4 veces más visitas.
agrupación de datos (pooling)	Combinar los datos de los dos grupos en una sola estimación de la tasa de conversión, suponiendo que no hay diferencia. El error típico del contraste usa este valor conjunto.
intervalo de confianza	El rango donde probablemente está la diferencia real. Un intervalo de confianza del 95 % es una forma de construir intervalos de modo que, si repitieras el experimento muchas veces, el 95 % de ellos contendría la diferencia real. Si el intervalo no incluye el 0, casi siempre coincide con la significación en un contraste bilateral al 5 %.
contraste bilateral	Un contraste de «¿hay diferencia (sea cual sea la mayor)?». Úsalo en un test A/B normal en el que no sabes hacia dónde irá.
contraste unilateral	Un contraste con un sentido fijado, como «¿es B mayor que A?». Su valor p es la mitad del bilateral, así que se vuelve significativo con más facilidad; úsalo solo si decidiste el sentido antes del test.
región de rechazo	La zona de la cola de la distribución normal estándar en la que, si cae el estadístico z, se rechaza la hipótesis nula. Para el 5 % bilateral son las dos colas \(z < -1{,}96\) y \(z > 1{,}96\), con un área total de 0,05. Es la parte sombreada del gráfico de esta página.
valor crítico	El valor z en el borde de la región de rechazo. 1,96 para el 5 % bilateral, 2,576 para el 1 % bilateral y 1,645 para el 5 % unilateral. El «margen del estadístico z» del resultado muestra cuánto por encima (o por debajo) del valor crítico está este valor.
aproximación normal	El número de conversiones sigue en realidad una distribución binomial, pero con muchas visitas una distribución normal (curva de campana) lo aproxima bien. La prueba z usa esta aproximación, así que, como orientación, las conversiones esperadas \(n\hat{p}\) y las no conversiones esperadas \(n(1-\hat{p})\) de cada grupo deberían ser 5 o más (10 o más si es posible).
potencia estadística	La probabilidad de que el contraste detecte como significativa una diferencia real. Con pocas visitas, la potencia es baja, y hasta un efecto real sale a menudo «no significativo». «No significativo» no prueba «no hay diferencia».
error de tipo I	Llamar significativo a un resultado cuando en realidad no hay diferencia (un falso positivo). El nivel de significación \(\alpha\) es la probabilidad de este error que aceptas; al 5 %, «haz 100 contrastes sin diferencia real y unos 5 saldrán significativos por azar».
comparaciones múltiples	Contrastar muchas versiones o métricas a la vez. Incluso con un nivel de significación del 5 %, si contrastas 20 métricas, probablemente una saldrá «significativa» por azar. Hay que reducir las métricas de antemano o usar un nivel de significación más estricto (la corrección de Bonferroni y otras).
detención anticipada (peeking)	Mirar los resultados una y otra vez durante el test y pararlo en cuanto parece significativo. El valor p sube y baja durante un test, así que si sigues «parando la primera vez que baja del 5 %», la probabilidad de significación sin diferencia real supera con mucho el 5 %. La regla básica es decidir primero las visitas necesarias y esperar hasta alcanzarlas.
incremento relativo (lift)	En qué % ha aumentado la tasa de conversión de B respecto a la de A: la diferencia \(d\) dividida entre la tasa de conversión de A, por 100. «Sube un 25 %» es más fácil de convertir en estimaciones de conversiones e ingresos adicionales que «sube 0,5 puntos».
puntos porcentuales	La unidad del resultado de restar un porcentaje de otro (abreviada pp). Se usa como en «2,5 % − 2 % = 0,5 puntos porcentuales»; escribir «0,5 %» podría confundirse con «el 0,5 % del 2 %».

Qué conviene saber de antemano

Esto es lo que te ayuda a usar el cálculo de esta página entendiendo lo que haces, y no solo pulsando el botón.
Si te atascas, volver sobre estos temas es el camino más rápido.

Porcentajes (5.º–6.º de Primaria y 1.º de ESO, 10-13 años)	Saber que un porcentaje se halla como «parte ÷ base» (tasa de conversión = conversiones ÷ visitas) Saber pasar de porcentajes a decimales y al revés (\(2{,}5\,\% = 0{,}025\)) Saber que una diferencia entre porcentajes se expresa en puntos porcentuales (2,5 % − 2 % = 0,5 puntos porcentuales)
Inversos y raíces cuadradas (6.º de Primaria a 3.º de ESO, 11-15 años)	Saber sumar inversos, como en \(\dfrac{1}{5000} + \dfrac{1}{5000} = 0{,}0004\) Entender las raíces cuadradas y hallar las sencillas, como en \(\sqrt{0{,}0001} = 0{,}01\)
La distribución normal y la desviación típica (2.º de Bachillerato, 17-18 años)	Saber que la distribución normal estándar (media 0, desviación típica 1) tiene forma de campana, y que «la probabilidad de \(z\) o menos», \(\Phi(z)\), es el área a la izquierda bajo la curva Saber leer valores aproximados en una tabla de la normal, como \(\Phi(1{,}96) \approx 0{,}975\) Tener intuición de que «la probabilidad de caer a 2 o más desviaciones típicas de la media es de alrededor del 5 %»
La lógica del contraste de hipótesis (2.º de Bachillerato, 17-18 años)	Entender el flujo de plantear una hipótesis nula de «no hay diferencia» y juzgar por lo improbable que sería el resultado observado si fuera cierta Entender cómo se relacionan el nivel de significación, el valor p y la región de rechazo (el valor p es menor que el nivel de significación ⇔ el estadístico z cae en la región de rechazo)
La distribución binomial y su aproximación normal (2.º de Bachillerato, 17-18 años)	Saber que «el número de éxitos en \(n\) intentos de algo con probabilidad \(p\)» sigue una distribución binomial, y que para \(n\) grande una distribución normal la aproxima

Cómo calcularlo con Excel

Copia toda la tabla de abajo y pégala en la celda A1 de Excel. Funciona tal cual.

Tabla para hallar cada tasa de conversión

Visitas en A n_A	10000
Conversiones en A x_A	200
Visitas en B n_B	10000
Conversiones en B x_B	250
Tasa de conversión de A p̂_A	=B2/B1
Tasa de conversión de B p̂_B	=B4/B3

Tabla para hallar la diferencia y el incremento relativo

Tasa de conversión de A p̂_A	0,02
Tasa de conversión de B p̂_B	0,025
Diferencia d	=B2-B1
Incremento relativo L (%)	=B3/B1*100

Tabla para hallar la tasa de conversión conjunta

Conversiones en A x_A	200
Conversiones en B x_B	250
Visitas en A n_A	10000
Visitas en B n_B	10000
Tasa de conversión conjunta p̂	=(B1+B2)/(B3+B4)

Tabla para hallar el error típico y el estadístico z

Tasa de conversión conjunta p̂	0,0225
Visitas en A n_A	10000
Visitas en B n_B	10000
Diferencia d	0,005
Error típico SE	=RAIZ(B1(1-B1)(1/B2+1/B3))
Estadístico z z	=B4/B5

Tabla para hallar los valores p (bilateral y unilateral)

Estadístico z z	2,384
Valor p bilateral p₂	=2*(1-DISTR.NORM.ESTAND.N(ABS(B1);VERDADERO))
Valor p unilateral p₁	=1-DISTR.NORM.ESTAND.N(B1;VERDADERO)

Tabla para hallar el intervalo de confianza de la diferencia

Tasa de conversión de A p̂_A	0,02
Visitas en A n_A	10000
Tasa de conversión de B p̂_B	0,025
Visitas en B n_B	10000
Diferencia d	0,005
Nivel de confianza (0,95 = 95 %)	0,95
z_(α/2)	=INV.NORM.ESTAND(1-(1-B6)/2)
Error típico SE_d	=RAIZ(B1(1-B1)/B2+B3(1-B3)/B4)
Límite inferior d_L	=B5-B7*B8
Límite superior d_U	=B5+B7*B8

Al pegarla, las filas de arriba son tus datos y las filas con fórmulas se calculan automáticamente. Las proporciones son decimales entre 0 y 1, como 0,02; multiplica por 100 para obtener un porcentaje.
En la primera tabla, B5 muestra la tasa de conversión de A, 0,02, y B6 la de B, 0,025. La segunda tabla da una diferencia de 0,005 (0,5 puntos porcentuales) y un lift de 25, la tercera una tasa de conversión conjunta de 0,0225, y la cuarta un error típico de unos 0,002097 y un estadístico z de unos 2,384.
En la quinta tabla, DISTR.NORM.ESTAND.N(z; VERDADERO) devuelve la probabilidad acumulada de la normal estándar Φ(z); el valor p bilateral es de unos 0,0171 y el unilateral de unos 0,0086. En la sexta tabla, INV.NORM.ESTAND halla el valor z a partir de una probabilidad acumulada (1,96 para un nivel de confianza del 95 %), y da un límite inferior de unos 0,0009 y un límite superior de unos 0,0091 (0,09 a 0,91 puntos porcentuales).

Cómo calcularlo con Hojas de cálculo de Google

Copia toda la tabla de abajo y pégala en la celda A1 de Hojas de cálculo de Google. Funciona tal cual.

Tabla para hallar cada tasa de conversión

Visitas en A n_A	10000
Conversiones en A x_A	200
Visitas en B n_B	10000
Conversiones en B x_B	250
Tasa de conversión de A p̂_A	=B2/B1
Tasa de conversión de B p̂_B	=B4/B3

Tabla para hallar la diferencia y el incremento relativo

Tasa de conversión de A p̂_A	0,02
Tasa de conversión de B p̂_B	0,025
Diferencia d	=B2-B1
Incremento relativo L (%)	=B3/B1*100

Tabla para hallar la tasa de conversión conjunta

Conversiones en A x_A	200
Conversiones en B x_B	250
Visitas en A n_A	10000
Visitas en B n_B	10000
Tasa de conversión conjunta p̂	=(B1+B2)/(B3+B4)

Tabla para hallar el error típico y el estadístico z

Tasa de conversión conjunta p̂	0,0225
Visitas en A n_A	10000
Visitas en B n_B	10000
Diferencia d	0,005
Error típico SE	=RAIZ(B1(1-B1)(1/B2+1/B3))
Estadístico z z	=B4/B5

Tabla para hallar los valores p (bilateral y unilateral)

Estadístico z z	2,384
Valor p bilateral p₂	=2*(1-DISTR.NORM.ESTAND(ABS(B1)))
Valor p unilateral p₁	=1-DISTR.NORM.ESTAND(B1)

Tabla para hallar el intervalo de confianza de la diferencia

Tasa de conversión de A p̂_A	0,02
Visitas en A n_A	10000
Tasa de conversión de B p̂_B	0,025
Visitas en B n_B	10000
Diferencia d	0,005
Nivel de confianza (0,95 = 95 %)	0,95
z_(α/2)	=DISTR.NORM.ESTAND.INV(1-(1-B6)/2)
Error típico SE_d	=RAIZ(B1(1-B1)/B2+B3(1-B3)/B4)
Límite inferior d_L	=B5-B7*B8
Límite superior d_U	=B5+B7*B8

Funcionan casi las mismas fórmulas que en Excel. Escribe la probabilidad acumulada de la normal estándar como DISTR.NORM.ESTAND(z) y su inversa como DISTR.NORM.ESTAND.INV(p) (hacen lo mismo que DISTR.NORM.ESTAND.N e INV.NORM.ESTAND de Excel). Copia la tabla entera, pégala en la celda A1 y cambia los datos por tus propios números.

Cómo calcularlo con Python

import math

visits_a, conversions_a = 10000, 200   # visitas y conversiones de A
visits_b, conversions_b = 10000, 250   # visitas y conversiones de B
alpha = 0.05                           # nivel de significación (5 %)

def normal_cdf(z):
    # función de distribución de la normal estándar Φ(z)
    return 0.5 * math.erfc(-z / math.sqrt(2))

def normal_ppf(p):
    # inversa de Φ (bisección; sirve para hallar z_(α/2))
    low, high = -10.0, 10.0
    for _ in range(100):
        mid = (low + high) / 2
        if normal_cdf(mid) < p:
            low = mid
        else:
            high = mid
    return (low + high) / 2

cvr_a = conversions_a / visits_a
cvr_b = conversions_b / visits_b
diff = cvr_b - cvr_a
lift = diff / cvr_a * 100
pooled = (conversions_a + conversions_b) / (visits_a + visits_b)
se_pooled = math.sqrt(pooled * (1 - pooled) * (1 / visits_a + 1 / visits_b))
z = diff / se_pooled
p_two_sided = 2 * (1 - normal_cdf(abs(z)))
p_one_sided = 1 - normal_cdf(z)

se_diff = math.sqrt(cvr_a * (1 - cvr_a) / visits_a + cvr_b * (1 - cvr_b) / visits_b)
z_half = normal_ppf(1 - alpha / 2)
ci_low, ci_high = diff - z_half * se_diff, diff + z_half * se_diff

print(f"Tasa de conversión A: {cvr_a * 100:.2f} %  Tasa de conversión B: {cvr_b * 100:.2f} %")
print(f"Diferencia: {diff * 100:.2f} puntos porcentuales  Incremento relativo: {lift:.1f} %")
print(f"Estadístico z: {z:.3f}  valor p bilateral: {p_two_sided:.4f}  valor p unilateral: {p_one_sided:.4f}")
print("Veredicto (bilateral):", "estadísticamente significativo" if p_two_sided < alpha else "no significativo")
print(f"Intervalo de confianza del {(1 - alpha) * 100:.0f} % de la diferencia: {ci_low * 100:.2f} a {ci_high * 100:.2f} puntos porcentuales")

Funciona solo con la biblioteca estándar (math.erfc da la probabilidad acumulada de la normal estándar). En este ejemplo muestra un estadístico z de 2,384, un valor p bilateral de 0,0171, un valor p unilateral de 0,0086, el veredicto «estadísticamente significativo» y un intervalo de confianza del 95 % de la diferencia de 0,09 a 0,91 puntos porcentuales (Python escribe los decimales con punto). Cambia los cuatro números y el nivel de significación de las primeras líneas y ejecútalo. Si tienes scipy, puedes usar en su lugar scipy.stats.norm.cdf y norm.ppf.

La fórmula en LaTeX y otras notaciones matemáticas (para copiar)

Tasa de conversión de cada grupo

p̂_A = x_A ÷ n_A

\hat{p}_A = \dfrac{x_A}{n_A}

<math xmlns="http://www.w3.org/1998/Math/MathML" display="block">
  <mrow>
    <msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>A</mi></msub>
    <mo>=</mo>
    <mfrac>
      <msub><mi>x</mi><mi>A</mi></msub>
      <msub><mi>n</mi><mi>A</mi></msub>
    </mfrac>
  </mrow>
</math>

hat(p)_A = x_A / n_A

xA/nA

pA := xA/nA;

pA = xA/nA;

p̂_A = x_A/n_A

Diferencia de tasas de conversión e incremento relativo

d = p̂_B − p̂_A,  L = d ÷ p̂_A × 100

d = \hat{p}_B - \hat{p}_A, \quad L = \dfrac{d}{\hat{p}_A} \times 100

<math xmlns="http://www.w3.org/1998/Math/MathML" display="block">
  <mrow>
    <mi>d</mi><mo>=</mo>
    <msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>B</mi></msub>
    <mo>&#x2212;</mo>
    <msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>A</mi></msub>
    <mo>,</mo><mspace width="1em"/>
    <mi>L</mi><mo>=</mo>
    <mfrac><mi>d</mi><msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>A</mi></msub></mfrac>
    <mo>&#xD7;</mo><mn>100</mn>
  </mrow>
</math>

d = hat(p)_B - hat(p)_A, L = d / hat(p)_A xx 100

d = pB - pA; d/pA*100

d := pB - pA; L := d/pA*100;

d = pB - pA; L = d/pA*100;

d = p̂_B − p̂_A, L = d/p̂_A × 100

Tasa de conversión conjunta (una sola tasa para los dos grupos juntos)

p̂ = (x_A + x_B) ÷ (n_A + n_B)

\hat{p} = \dfrac{x_A + x_B}{n_A + n_B}

<math xmlns="http://www.w3.org/1998/Math/MathML" display="block">
  <mrow>
    <mover accent="true"><mi>p</mi><mo>^</mo></mover>
    <mo>=</mo>
    <mfrac>
      <mrow><msub><mi>x</mi><mi>A</mi></msub><mo>+</mo><msub><mi>x</mi><mi>B</mi></msub></mrow>
      <mrow><msub><mi>n</mi><mi>A</mi></msub><mo>+</mo><msub><mi>n</mi><mi>B</mi></msub></mrow>
    </mfrac>
  </mrow>
</math>

hat(p) = (x_A + x_B) / (n_A + n_B)

(xA + xB)/(nA + nB)

pPool := (xA + xB)/(nA + nB);

pPool = (xA + xB)/(nA + nB);

p̂ = (x_A + x_B)/(n_A + n_B)

Error típico y estadístico z (prueba z de dos proporciones)

SE = √(p̂(1 − p̂)(1/n_A + 1/n_B)),  z = d ÷ SE

\mathrm{SE} = \sqrt{\hat{p}(1-\hat{p})\left(\dfrac{1}{n_A}+\dfrac{1}{n_B}\right)}, \quad z = \dfrac{d}{\mathrm{SE}}

<math xmlns="http://www.w3.org/1998/Math/MathML" display="block">
  <mrow>
    <mi>z</mi><mo>=</mo>
    <mfrac>
      <mrow><msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>B</mi></msub><mo>&#x2212;</mo><msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>A</mi></msub></mrow>
      <msqrt>
        <mover accent="true"><mi>p</mi><mo>^</mo></mover>
        <mo>(</mo><mn>1</mn><mo>&#x2212;</mo><mover accent="true"><mi>p</mi><mo>^</mo></mover><mo>)</mo>
        <mo>(</mo>
        <mfrac><mn>1</mn><msub><mi>n</mi><mi>A</mi></msub></mfrac>
        <mo>+</mo>
        <mfrac><mn>1</mn><msub><mi>n</mi><mi>B</mi></msub></mfrac>
        <mo>)</mo>
      </msqrt>
    </mfrac>
  </mrow>
</math>

SE = sqrt(hat(p)(1 - hat(p))(1/n_A + 1/n_B)), z = d / SE

se = Sqrt[pPool*(1 - pPool)*(1/nA + 1/nB)]; z = d/se

SE := sqrt(pPool*(1 - pPool)*(1/nA + 1/nB)); z := d/SE;

SE = sqrt(pPool*(1 - pPool)*(1/nA + 1/nB)); z = d/SE;

SE = √(p̂(1 − p̂)(1/n_A + 1/n_B)), z = d/SE

Valores p (bilateral y unilateral)

p₂ = 2(1 − Φ(|z|)),  p₁ = 1 − Φ(z)

p_2 = 2\left(1 - \Phi(|z|)\right), \quad p_1 = 1 - \Phi(z)

<math xmlns="http://www.w3.org/1998/Math/MathML" display="block">
  <mrow>
    <msub><mi>p</mi><mn>2</mn></msub><mo>=</mo>
    <mn>2</mn><mo>(</mo><mn>1</mn><mo>&#x2212;</mo>
    <mi>&#x3A6;</mi><mo>(</mo><mo>|</mo><mi>z</mi><mo>|</mo><mo>)</mo><mo>)</mo>
    <mo>,</mo><mspace width="1em"/>
    <msub><mi>p</mi><mn>1</mn></msub><mo>=</mo>
    <mn>1</mn><mo>&#x2212;</mo><mi>&#x3A6;</mi><mo>(</mo><mi>z</mi><mo>)</mo>
  </mrow>
</math>

p_2 = 2(1 - Phi(|z|)), p_1 = 1 - Phi(z)

p2 = 2*(1 - CDF[NormalDistribution[0, 1], Abs[z]]); p1 = 1 - CDF[NormalDistribution[0, 1], z]

p2 := 2*(1 - Statistics:-CDF(Normal(0, 1), abs(z))); p1 := 1 - Statistics:-CDF(Normal(0, 1), z);

p2 = 2*(1 - normcdf(abs(z))); p1 = 1 - normcdf(z);

p_2 = 2(1 − Φ(|z|)), p_1 = 1 − Φ(z)

Intervalo de confianza de la diferencia de tasas de conversión

d ± z_(α/2) × √(p̂_A(1 − p̂_A)/n_A + p̂_B(1 − p̂_B)/n_B)

d \pm z_{\alpha/2}\sqrt{\dfrac{\hat{p}_A(1-\hat{p}_A)}{n_A}+\dfrac{\hat{p}_B(1-\hat{p}_B)}{n_B}}

<math xmlns="http://www.w3.org/1998/Math/MathML" display="block">
  <mrow>
    <mi>d</mi><mo>&#xB1;</mo>
    <msub><mi>z</mi><mrow><mi>&#x3B1;</mi><mo>/</mo><mn>2</mn></mrow></msub>
    <msqrt>
      <mfrac>
        <mrow><msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>A</mi></msub><mo>(</mo><mn>1</mn><mo>&#x2212;</mo><msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>A</mi></msub><mo>)</mo></mrow>
        <msub><mi>n</mi><mi>A</mi></msub>
      </mfrac>
      <mo>+</mo>
      <mfrac>
        <mrow><msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>B</mi></msub><mo>(</mo><mn>1</mn><mo>&#x2212;</mo><msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>B</mi></msub><mo>)</mo></mrow>
        <msub><mi>n</mi><mi>B</mi></msub>
      </mfrac>
    </msqrt>
  </mrow>
</math>

d +- z_(alpha/2) sqrt((hat(p)_A(1 - hat(p)_A))/n_A + (hat(p)_B(1 - hat(p)_B))/n_B)

seD = Sqrt[pA*(1 - pA)/nA + pB*(1 - pB)/nB]; {d - zHalf*seD, d + zHalf*seD}

seD := sqrt(pA*(1 - pA)/nA + pB*(1 - pB)/nB); [d - zHalf*seD, d + zHalf*seD];

seD = sqrt(pA*(1 - pA)/nA + pB*(1 - pB)/nB); ci = [d - zHalf*seD, d + zHalf*seD];

d ± z_(α/2) √(p̂_A(1 − p̂_A)/n_A + p̂_B(1 − p̂_B)/n_B)

Cómo pedirle a ChatGPT que haga el cálculo

Eres un asistente de cálculo de estadística (contraste de hipótesis). Haz el siguiente cálculo ejecutando realmente código Python y basa tu respuesta únicamente en los números del resultado de la ejecución (no respondas con cálculo mental ni a ojo).

Los resultados del test A/B son:
- Grupo A: 10000 visitas, 200 conversiones
- Grupo B: 10000 visitas, 250 conversiones
Halla cada uno de los siguientes valores:
1. La tasa de conversión de cada grupo (%), la diferencia de tasas de conversión (puntos porcentuales) y el incremento relativo (%)
2. La tasa de conversión conjunta y el error típico conjunto SE = √(p̂(1−p̂)(1/n_A + 1/n_B))
3. El estadístico z = diferencia ÷ SE, y los valores p bilateral y unilateral (distribución normal estándar)
4. Si la diferencia es estadísticamente significativa con un nivel de significación del 5 % (bilateral)
5. El intervalo de confianza del 95 % de la diferencia (con el error típico a partir de la tasa de conversión de cada grupo, √(p̂_A(1−p̂_A)/n_A + p̂_B(1−p̂_B)/n_B))

En Python, usa math.erfc (o scipy.stats.norm) y muestra las fórmulas que has usado y los números del resultado de la ejecución.

Cómo usar

1

Introduce los números

Escribe en los campos los números con los que quieres calcular
2

Calcula

Haz clic en el botón «Calcular»
3

Consulta el resultado

El resultado aparece al instante. En la misma página también encontrarás el desarrollo del cálculo y la explicación de la fórmula