Calculadora del tamaño de la muestra de un test A/B (MDE, significación, potencia y duración del test)

Para hallar el tamaño de muestra, introduce el CVR base, el MDE, el nivel de significación y la potencia, y haz clic en «Calcular». Obtienes el tamaño de muestra por grupo para A y B (redondeado hacia arriba) y el total, además de los días necesarios si introduces tus visitas diarias. Cambia «Qué se calcula» a potencia para fijar el tamaño de muestra por grupo y hallar en su lugar la potencia 1 − β.

Qué se calcula

CVR base (versión A actual, %)

Tipo de MDE

Efecto mínimo detectable (MDE)

Nivel de significación α

Bilateral o unilateral

Potencia 1−β

Tamaño de muestra por grupo (cada uno de A y B)

Visitas diarias (total de A + B, opcional)

Introduce el CVR y el MDE como porcentajes (para el 3 %, escribe «3»; para un incremento del 10 %, escribe «10»). El MDE puede ser un % relativo (del 3 % al 3,3 % es el 10 %) o estar en puntos porcentuales, pp (del 3 % al 3,3 % son 0,3). En las visitas diarias, introduce el total de A y B juntos (todas las visitas a la página que se prueba).

Resultado y gráfico

Rellena los campos de la izquierda y haz clic en «Calcular». Aquí aparecerán el resultado y un gráfico del MDE frente al tamaño de muestra necesario.

Índice

[ Cerrar X ]

Qué puedes hacer en esta página
¿Para qué sirve este cálculo?
Cómo usar
Fórmulas y figuras
Símbolos y términos
- Símbolos
- Términos
Qué conviene saber de antemano
Cómo calcularlo con Excel
Cómo calcularlo con Hojas de cálculo de Google
Cómo calcularlo con Python
La fórmula en LaTeX y otras notaciones matemáticas (para copiar)
Cómo pedirle a ChatGPT que haga el cálculo
Las ventajas de DataChef
Funciones relacionadas
Todas las calculadoras de NumberChef

Qué puedes hacer en esta página

Introduce el CVR base (la tasa de conversión de tu versión A actual), el efecto mínimo detectable (MDE, como % relativo o en puntos porcentuales), el nivel de significación \(\alpha\) (bilateral o unilateral) y la potencia \(1-\beta\). Obtienes el tamaño de muestra que necesita cada grupo de tu test A/B (redondeado hacia arriba) y el total
«Mi página convierte al 3 %. ¿Cuántas visitas necesitan A y B cada una para detectar un incremento del 10 % (del 3 % al 3,3 %)?» Esta página responde a la pregunta más importante antes de empezar un test
Introduce tus visitas diarias (opcional) para ver también cuántos días se tarda en alcanzar ese tamaño de muestra (redondeado hacia arriba)
Si solo puedes conseguir un número fijo de visitas por grupo, fija el tamaño de muestra y calcula la potencia \(1-\beta\) (la probabilidad de encontrar una diferencia cuando de verdad la hay)
Un gráfico de cómo cambia el tamaño de muestra con el MDE, una explicación sencilla de las fórmulas y fórmulas para copiar y pegar en Excel, en Hojas de cálculo de Google y en Python están en esta misma página

Esta página sirve solo para tests A/B que comprueban si las versiones A y B difieren en el CVR (tasa de conversión). Usa la fórmula estándar de una prueba z de dos proporciones. Para hallar cuántas personas necesita una encuesta para medir con precisión un solo porcentaje, usa la «calculadora del tamaño de la muestra». Para leer el valor p de resultados que ya has recogido, usa la «calculadora del valor p». Alcanzar el tamaño de muestra necesario no demuestra por sí solo que un resultado significativo sea un efecto real. Lee también las precauciones de la explicación de la fórmula.

¿Para qué sirve este cálculo?

Planificar un test A/B del botón «Comprar» de una tienda online

Imagina que la página de producto de una tienda online convierte al 2 %, y quieres detectar un incremento relativo del 10 % (del 2 % al 2,2 %) con un texto de botón nuevo. Con un nivel de significación del 5 % (bilateral) y una potencia del 80 %, necesitas unas 80.682 visitas por grupo, unas 161.364 en total.
Comparar unas pocas decenas o cientos de visitas («B lo hizo mejor la semana pasada») no permite distinguir una diferencia por azar de una real. Calcular el tamaño de muestra antes de empezar evita gastar semanas en un test que no puede dar una respuesta.

Decidir cuántos días probar una página de destino de un SaaS B2B

Una página de destino recibe solicitudes de demostración con un CVR del 5 %. Para detectar un incremento de 1 punto (del 5 % al 6 %), necesitas 8158 visitas por grupo, 16.316 en total. Con 300 visitas al día, son \(16.316 \div 300 \approx 54{,}4\), es decir, 55 días, u 8 semanas si quieres igualar los días de la semana.
Si alguien pide resultados en 2 semanas, este cálculo te permite explicar con números: «En 2 semanas (4200 visitas, 2100 por grupo), necesitaríamos un MDE mucho mayor, de alrededor de 3 puntos (del 5 % al 8 %, que necesita 1059 por grupo)».

Probar los asuntos de un boletín de correo (tasas de apertura)

Si tu boletín tiene una tasa de apertura del 20 % y quieres detectar un incremento de 2 puntos (del 20 % al 22 %) con un asunto nuevo, necesitas enviarlo a 6510 personas por grupo, 13.020 en total (nivel de significación del 5 %, potencia del 80 %).
Una métrica con una tasa alta, como la tasa de apertura, necesita menos gente para mostrar una diferencia que un CVR de unos pocos puntos. Esto se debe a que la parte \(p(1-p)\) de la fórmula es distinta: los mismos «2 puntos» necesitan un tamaño de muestra distinto para cada métrica.

Comprobar la potencia antes de concluir «no hay diferencia»

Imagina que un test dirigido a un incremento relativo del 10 % en una página con un CVR del 3 % se ejecutó con 5000 visitas por grupo y mostró «ninguna diferencia significativa». Despejar la potencia da solo un 13,5 % aproximadamente. El test estaba montado para perderse una mejora real más de 8 veces de cada 10.
La conclusión correcta aquí no es «no tuvo efecto», sino «este tamaño de muestra no podía saberlo». Calcular la potencia evita que interpretes mal un test y descartes una buena idea.

Comparar la retención tras un tutorial nuevo de una aplicación

Una aplicación tiene una retención al día siguiente del 40 %. Para detectar un incremento relativo del 10 % (del 40 % al 44 %) con un tutorial nuevo, bastan unos 2389 usuarios nuevos por grupo, unos 4778 en total (nivel de significación del 5 %, potencia del 80 %).
Una métrica cercana al 50 %, como la retención, tiene una dispersión grande, pero la diferencia de tasas (4 puntos) también es grande, así que los resultados llegan más rápido que en un test sobre un CVR de unos pocos puntos. Estimar el tamaño de muestra de cada métrica también te ayuda a decidir qué mejora abordar primero.

Usar una potencia del 90 % en los tests que no puedes permitirte perder

En un test en el que perder una buena idea saldría caro, como un cambio en la forma de mostrar los precios, puedes subir la potencia del 80 % al 90 %. Para un CVR del 3 % y un incremento relativo del 10 %, el tamaño de muestra por grupo sube de 53.211 a 71.233 (unas 1,34 veces).
Este cálculo muestra exactamente cuántas visitas más hacen falta para reducir a la mitad las pérdidas (del 20 % al 10 %), así que puedes ajustar el tamaño de muestra y la duración del test a la importancia del test.

Fórmulas y figuras

Fórmula del CVR objetivo (el CVR que esperas que alcance la versión B)

Notación matemática (la notación habitual)

\(p_2\) \(=\) \(p_1\) \(\times\) \(\left(1 + \dfrac{r}{100}\right)\)

\(p_2\) \(=\) \(p_1\) \(+\) \(d\)

En palabras (los símbolos sustituidos por palabras)

③ \(p_2\): CVR objetivo \(=\) ① \(p_1\): CVR base \(\times\) ② \(1 +\) incremento relativo \(r \div 100\)

\(p_2\): CVR objetivo \(=\) \(p_1\): CVR base \(+\) ④ \(d\): MDE en puntos porcentuales

La fórmula en palabras

① Toma el \(p_1\): CVR base

② multiplícalo por \(1 +\) incremento relativo \(r \div 100\)

③ y obtienes el \(p_2\): CVR objetivo

④ (Si das el MDE en puntos porcentuales, suma el \(d\): MDE en puntos porcentuales directamente al CVR base \(p_1\) para obtener el CVR objetivo.)

Un ejemplo sencillo

Con un CVR base del 3 % (0,03) y un incremento relativo del 10 % que detectar, el CVR objetivo es

\(p_2\): CVR objetivo \(=\) CVR base (3 %) \(\times\) \(1 + 10 \div 100\)

\(3 \times (1 + 10 \div 100) = 3 \times 1{,}1 = 3{,}3\ \ (3{,}3\,\%)\)

La idea clave

Ojo: «una mejora del 10 %» se puede leer de dos maneras. Como % relativo, es «el 3 % más una décima parte del 3 % = 3,3 %». En puntos porcentuales, es «3 % + 10 puntos = 13 %». Las dos dan tamaños de muestra completamente distintos. En marketing, «un incremento del 10 % del CVR» suele referirse al % relativo, y ese es también el valor por defecto de esta página. El CVR objetivo \(p_2\) no es una previsión de lo que hará de verdad la versión B. Es la diferencia más pequeña que no quieres perderte (el MDE). Si la diferencia real es menor que esta, el test probablemente no mostrará una diferencia significativa, ni siquiera con el tamaño de muestra completo.

Fórmula del tamaño de muestra por grupo (prueba z de dos proporciones)

Figura

Notación matemática (la notación habitual)

\(n\) \(=\) \(\bigl(\) \(z_{\alpha/2}\sqrt{2\bar{p}(1-\bar{p})}\) \(+\) \(z_{\beta}\sqrt{p_1(1-p_1)+p_2(1-p_2)}\) \(\bigr)^2\) \(\div\) \((p_2 - p_1)^2\)

En palabras (los símbolos sustituidos por palabras)

④ \(n\): tamaño de muestra por grupo \(=\) \(\bigl(\) ① \(z_{\alpha/2}\sqrt{2\bar{p}(1-\bar{p})}\): término de significación \(+\) ② \(z_{\beta}\sqrt{p_1(1-p_1)+p_2(1-p_2)}\): término de potencia \(\bigr)^2\) \(\div\) ③ \((p_2 - p_1)^2\): la diferencia que quieres detectar, elevada al cuadrado

La fórmula en palabras

① Suma el término de significación (el \(z_{\alpha/2}\) del nivel de significación × la dispersión cuando no hay diferencia, \(\sqrt{2\bar{p}(1-\bar{p})}\))

② y el término de potencia (el \(z_{\beta}\) de la potencia × la dispersión cuando hay diferencia, \(\sqrt{p_1(1-p_1)+p_2(1-p_2)}\)) y eleva la suma al cuadrado,

③ divídela entre el cuadrado de la diferencia que quieres detectar, \((p_2 - p_1)^2\)

④ y obtienes el \(n\): tamaño de muestra por grupo (redondea hacia arriba cualquier fracción)

Un ejemplo sencillo

Con un CVR base del 3 % (0,03), un objetivo del 3,3 % (0,033), un contraste bilateral con un nivel de significación del 5 % (\(z_{\alpha/2} = 1{,}9600\)) y una potencia del 80 % (\(z_{\beta} = 0{,}8416\)), el tamaño de muestra por grupo es

\(n\): tamaño de muestra por grupo \(=\) \(\bigl(\) \(1{,}9600 \times \sqrt{2 \times 0{,}0315 \times 0{,}9685}\) \(+\) \(0{,}8416 \times \sqrt{0{,}03 \times 0{,}97 + 0{,}033 \times 0{,}967}\) \(\bigr)^2\) \(\div\) \((0{,}033 - 0{,}03)^2\)

\(\bar{p} = (0{,}03 + 0{,}033) \div 2 = 0{,}0315\)

\(1{,}9600 \times \sqrt{2 \times 0{,}0315 \times 0{,}9685} = 1{,}9600 \times 0{,}24701 \approx 0{,}48414\)

\(0{,}8416 \times \sqrt{0{,}03 \times 0{,}97 + 0{,}033 \times 0{,}967} = 0{,}8416 \times 0{,}24700 \approx 0{,}20788\)

\((0{,}48414 + 0{,}20788)^2 \div (0{,}033 - 0{,}03)^2 = 0{,}47889 \div 0{,}000009 \approx 53.210{,}3 \rightarrow 53.211\)

La idea clave

\(\bar{p}\) es la media de los dos CVR, \((p_1 + p_2) \div 2\): el CVR compartido que supones cuando no hay diferencia. \(\sqrt{2\bar{p}(1-\bar{p})}\) y \(\sqrt{p_1(1-p_1)+p_2(1-p_2)}\) miden ambos cuánto rebota por azar la diferencia de CVR. La primera es para «no hay diferencia» y la segunda para «hay una diferencia real». Fíjate en la fórmula: el tamaño de muestra se divide entre el cuadrado de la diferencia que quieres detectar. Así que reducir el MDE a la mitad hace el tamaño de muestra unas 4 veces mayor, y reducirlo a un tercio lo hace unas 9 veces mayor. Por eso el número de visitas se dispara cuando quieres captar incluso incrementos pequeños. El valor z del nivel de significación es \(z_{\alpha/2}\) para un contraste bilateral (1,9600 al 5 %, 2,5758 al 1 %, 1,6449 al 10 %) y \(z_{\alpha}\) para un contraste unilateral (1,6449 al 5 %, 2,3263 al 1 %, 1,2816 al 10 %). El valor z de la potencia, \(z_{\beta}\), es 0,8416 al 80 % y 1,2816 al 90 %. Algunos libros y otras herramientas usan una fórmula simplificada que funde las dos dispersiones en la única \(\sqrt{2\bar{p}(1-\bar{p})}\): \(n \approx 2\bar{p}(1-\bar{p})(z_{\alpha/2}+z_{\beta})^2 \div (p_2-p_1)^2\). Esta calculadora usa la fórmula de la tarjeta de arriba (con dos dispersiones separadas) y muestra también en el resultado el valor simplificado como referencia. Cuando el CVR es pequeño, apenas difieren (53.211 frente a 53.212 en el ejemplo anterior). Alcanzar el tamaño de muestra necesario no convierte un resultado significativo en un efecto seguro. La fórmula solo vale si los visitantes se asignan al azar, si no sigues mirando los resultados y parando pronto (detención anticipada), y si usas un límite más estricto cuando comparas varias métricas o varias versiones B a la vez (comparaciones múltiples).

Fórmula de los días necesarios (a partir de las visitas diarias)

Notación matemática (la notación habitual)

\(D\) \(=\) \(\lceil\) \(2n\) \(\div\) \(V\) \(\rceil\)

En palabras (los símbolos sustituidos por palabras)

③ \(D\): días necesarios \(=\) \(\lceil\) ① \(2n\): tamaño de muestra total de A y B \(\div\) ② \(V\): visitas diarias \(\rceil\)

La fórmula en palabras

① Toma el \(2n\): tamaño de muestra total de A y B (el doble del tamaño de muestra por grupo \(n\))

② divídelo entre las \(V\): visitas diarias y redondea hacia arriba cualquier fracción (\(\lceil\ \rceil\) es el símbolo del redondeo hacia arriba),

③ y obtienes los \(D\): días necesarios

Un ejemplo sencillo

Si el tamaño de muestra por grupo es de 53.211 y la página que se prueba recibe 2000 visitas al día, los días necesarios son

\(D\): días necesarios \(=\) \(\lceil\) \(2 \times 53.211\) \(\div\) 2000 visitas \(\rceil\)

\(2 \times 53.211 \div 2000 = 106.422 \div 2000 = 53{,}211 \rightarrow 54\)

La idea clave

\(\lceil\ \rceil\) es el símbolo del redondeo hacia arriba (la función techo), así que 53,211 días pasan a ser 54 días. Las visitas se reparten por mitades entre A y B, así que introduce las visitas diarias de A y B juntos (todas las visitas a la página que se prueba). Aunque las cuentas digan 54 días, los tests reales suelen ejecutarse en semanas enteras. El CVR cambia según el día de la semana (los visitantes de entre semana y los del fin de semana difieren), así que ejecutarlo 7, 14, ... días reparte por igual el efecto del día de la semana entre los dos grupos. En este ejemplo, 8 semanas (56 días) es un buen plan. Si los días necesarios llegan a varios meses, es más realista elegir un MDE mayor o probar en una página con más tráfico.

Fórmula de la potencia (con un tamaño de muestra por grupo fijo)

Figura

Notación matemática (la notación habitual)

\(z_{1-\beta}\) \(=\) \(\bigl(\) \(|p_2 - p_1|\sqrt{n}\) \(-\) \(z_{\alpha/2}\sqrt{2\bar{p}(1-\bar{p})}\) \(\bigr)\) \(\div\) \(\sqrt{p_1(1-p_1)+p_2(1-p_2)}\)

\(1-\beta\) \(=\) \(\Phi\bigl(\) \(z_{1-\beta}\) \(\bigr)\)

En palabras (los símbolos sustituidos por palabras)

④ \(z_{1-\beta}\): valor z de la potencia \(=\) \(\bigl(\) ① \(|p_2 - p_1|\sqrt{n}\): diferencia que quieres detectar × \(\sqrt{\text{tamaño de muestra por grupo}}\) \(-\) ② \(z_{\alpha/2}\sqrt{2\bar{p}(1-\bar{p})}\): término de significación \(\bigr)\) \(\div\) ③ \(\sqrt{p_1(1-p_1)+p_2(1-p_2)}\): dispersión cuando hay diferencia

⑥ \(1-\beta\): potencia \(=\) \(\Phi\bigl(\) ⑤ \(z_{1-\beta}\): valor z de la potencia \(\bigr)\)

La fórmula en palabras

① Toma la diferencia que quieres detectar \(|p_2 - p_1|\) por la raíz cuadrada del tamaño de muestra por grupo, \(\sqrt{n}\)

② réstale el \(z_{\alpha/2}\sqrt{2\bar{p}(1-\bar{p})}\): término de significación

③ divide entre la \(\sqrt{p_1(1-p_1)+p_2(1-p_2)}\): dispersión cuando hay diferencia

④ y obtienes el \(z_{1-\beta}\): valor z de la potencia

⑤ Con la función de distribución \(\Phi\) de la distribución normal estándar, halla la probabilidad de un valor igual o menor que ese \(z_{1-\beta}\): valor z de la potencia

⑥ y obtienes la \(1-\beta\): potencia

Un ejemplo sencillo

Con un CVR base del 3 %, un objetivo del 3,3 % y un contraste bilateral con un nivel de significación del 5 % (\(z_{\alpha/2} = 1{,}9600\)), si solo puedes conseguir 30.000 visitas por grupo, la potencia es

\(z_{1-\beta}\): valor z de la potencia \(=\) \(\bigl(\) \(0{,}003 \times \sqrt{30.000}\) \(-\) \(1{,}9600 \times 0{,}24701\) \(\bigr)\) \(\div\) \(0{,}24700\)

\(0{,}003 \times \sqrt{30.000} = 0{,}003 \times 173{,}205 \approx 0{,}51962\)

\((0{,}51962 - 0{,}48414) \div 0{,}24700 \approx 0{,}1436\)

\(1 - \beta = \Phi(0{,}1436) \approx 0{,}5571\ \ (55{,}71\,\%)\)

La idea clave

Es la fórmula del «tamaño de muestra por grupo» despejada de nuevo para \(z_{\beta}\). \(\Phi\) (fi) es la función de distribución de la distribución normal estándar. Devuelve la probabilidad de que un valor z sea igual o menor que un valor dado (\(\Phi(0{,}8416) \approx 0{,}80\), \(\Phi(1{,}2816) \approx 0{,}90\)). En el ejemplo anterior, la potencia es de solo el 56 % aproximadamente. Así que, aunque la versión B llegue de verdad al 3,3 %, un test con 30.000 visitas por grupo lo dará por «sin diferencia» casi la mitad de las veces. Un test con una potencia por debajo del 80 % se pierde a menudo efectos reales. Concluir «no había diferencia» a partir de un test de potencia baja es sacar conclusiones precipitadas. Hablando con rigor, un contraste bilateral debería sumar también la otra cola (la probabilidad de que B salga significativamente peor). Ese valor es minúsculo, así que esta calculadora sigue la práctica habitual y lo deja fuera.

El tamaño de muestra por grupo de un test A/B es «(término de significación + término de potencia) al cuadrado ÷ (diferencia que quieres detectar) al cuadrado», redondeado hacia arriba. Reducir el MDE a la mitad hace el tamaño de muestra unas 4 veces mayor, así que el truco es decidir primero qué tamaño de incremento quieres captar (el MDE). Divide entre las visitas diarias para obtener los días necesarios, o fija el tamaño de muestra y despeja de nuevo la fórmula para obtener la potencia.

Símbolos y términos

Símbolos

\(p_1\)	pe uno	El CVR base (la tasa de conversión de la versión A actual). \(p\) significa proporción o probabilidad. En las fórmulas, el 3 % se escribe como el decimal 0,03.
\(p_2\)	pe dos	El CVR objetivo (la tasa de conversión que esperas que alcance la versión B). Es \(p_1 (1 + r/100)\) para un % relativo y \(p_1 + d\) para puntos porcentuales.
\(\bar{p}\)	pe barra	La media de los dos CVR, \((p_1 + p_2) \div 2\). Es el CVR compartido que supones cuando no hay diferencia. En estadística, la barra de arriba marca una media.
\(r\)	erre	El MDE dado como % relativo. La r es de «ratio» (razón) e indica en qué porcentaje mejora el CVR base (del 3 % al 3,3 % da \(r = 10\)).
\(d\)	de	El MDE dado en puntos porcentuales. La d es de «difference» (diferencia) y es la diferencia simple de CVR (del 3 % al 3,3 % da \(d = 0{,}3\) puntos).
\(p_2 - p_1\)	pe dos menos pe uno	La diferencia que quieres detectar, en puntos porcentuales escritos como decimal (0,3 puntos es 0,003). El tamaño de muestra se divide entre su cuadrado, así que cuanto menor es la diferencia, más deprisa crece el tamaño de muestra.
\(\alpha\)	alfa	El nivel de significación: la probabilidad de dar por real una diferencia cuando no la hay (la probabilidad de un error de tipo I). El 5 % (0,05) es la elección habitual. Alfa es la primera letra griega, y en estadística se usa para la probabilidad del «primer» tipo de error.
\(\beta\)	beta	La probabilidad de no ver una diferencia que de verdad existe (la probabilidad de un error de tipo II). Beta es la segunda letra griega, que se usa para la probabilidad del «segundo» tipo de error.
\(1-\beta\)	uno menos beta	La potencia: la probabilidad de encontrar una diferencia cuando de verdad la hay. Lo habitual es el 80 % o el 90 %.
\(z_{\alpha/2}\)	zeta sub alfa medios	El valor z del nivel de significación \(\alpha\) en un contraste bilateral (el punto que deja \(\alpha/2\) de la distribución normal estándar por encima). Es 1,9600 al 5 %, 2,5758 al 1 % y 1,6449 al 10 %. Un contraste unilateral usa en su lugar \(z_{\alpha}\) (1,6449 al 5 %).
\(z_{\beta}\)	zeta sub beta	El valor z de la potencia \(1-\beta\) (el punto que deja por debajo una probabilidad \(1-\beta\) de la distribución normal estándar). Es 0,8416 al 80 % y 1,2816 al 90 %.
\(z_{1-\beta}\)	zeta sub uno menos beta	En la fórmula de la potencia, el valor z despejado a partir del tamaño de muestra. Introdúcelo en \(\Phi\) y obtienes la potencia. (Es lo mismo que \(z_{\beta}\), escrito desde el lado del valor que se despeja.)
\(\Phi\)	fi mayúscula	La función de distribución de la distribución normal estándar. Devuelve la probabilidad de que un valor z sea igual o menor que un valor dado: \(\Phi(1{,}96) \approx 0{,}975\) y \(\Phi(0{,}8416) \approx 0{,}80\). La letra griega fi mayúscula es el símbolo habitual de esta función.
\(n\)	ene	El tamaño de muestra por grupo (para cada una de las versiones A y B). La n es de «número». El total de A y B es \(2n\).
\(\sqrt{\ \ }\)	raíz cuadrada	La raíz cuadrada: el número positivo que da el número de dentro al elevarse al cuadrado, por ejemplo \(\sqrt{30.000} \approx 173{,}205\). Aparece al hallar la dispersión (desviación típica) de un CVR.
\(V\)	uve	Las visitas diarias (todas las visitas a la página que se prueba, A y B juntos). La V es de «visitas».
\(D\)	de	Los días necesarios. La D es de «días».
\(\lceil\ \rceil\)	techo (redondeo hacia arriba)	El símbolo del redondeo hacia arriba (la función techo). Da el menor número entero mayor o igual que el número de dentro (\(\lceil 53{,}211 \rceil = 54\)).

Términos

test A/B	Un experimento que reparte a los visitantes al azar entre la versión actual (A) y una versión nueva (B) durante el mismo periodo, para ver cuál rinde mejor (por ejemplo, tiene un CVR más alto). Sirve para comprobar con datos, y no con corazonadas, si un cambio como el color de un botón, un titular, la forma de mostrar un precio o el diseño de una página de destino ayuda de verdad.
CVR (tasa de conversión)	La proporción de visitantes o clics que acaban en una acción objetivo (una conversión), como una compra o un registro. En las fórmulas de esta página, el CVR de la versión A es \(p_1\) y el de la versión B es \(p_2\).
MDE (efecto mínimo detectable)	El incremento más pequeño que quieres poder detectar. Es el primer valor que hay que decidir al planificar un test A/B. Cuanto menor es, más deprisa crece el tamaño de muestra (es inversamente proporcional al cuadrado de la diferencia), así que elige el incremento más pequeño que importaría a tu negocio.
nivel de significación	La probabilidad \(\alpha\) del error que estás dispuesto a aceptar: ver una diferencia por azar y darla por real cuando no hay diferencia. El 5 % es lo habitual, lo que permite una falsa alarma una vez de cada 20. Un nivel más estricto (1 %) necesita un tamaño de muestra mayor.
potencia estadística	La probabilidad \(1-\beta\) de encontrar una diferencia cuando de verdad la hay. El 80 % es lo habitual, lo que acepta perder un incremento real una vez de cada 5. Si un test de potencia baja dice «no hay diferencia», eso no es prueba de que no la haya.
error de tipo I	El error de dar por real una diferencia cuando no la hay (un falso positivo). La probabilidad que permites para él es el nivel de significación \(\alpha\). Es la otra cara de un error de tipo II (no verla): bajar uno tiende a subir el otro. La forma más básica de reducir los dos es un tamaño de muestra mayor.
error de tipo II	El error de no ver una diferencia que de verdad existe (un falso negativo). Su probabilidad es \(\beta\), y \(1-\beta\) es la potencia. Es la otra cara de un error de tipo I (una falsa alarma): bajar uno tiende a subir el otro. La forma más básica de reducir los dos es un tamaño de muestra mayor.
hipótesis nula	La hipótesis «las versiones A y B tienen el mismo CVR», que el contraste intenta rechazar. El contraste pregunta cuán raros serían los datos si la hipótesis nula fuera cierta. Si son lo bastante raros, se rechaza la hipótesis nula y el resultado es «una diferencia».
hipótesis alternativa	La hipótesis «las versiones A y B tienen CVR distintos», que el contraste intenta mostrar. Se acepta cuando se rechaza la hipótesis nula (no hay diferencia).
contraste bilateral	Un contraste que cuenta como diferencia tanto «B es mayor» como «B es menor». Se usa en un test A/B normal, en el que no sabes hacia dónde irá. Necesita un tamaño de muestra mayor que un contraste unilateral, pero también detecta que B lo haga peor.
contraste unilateral	Un contraste que solo busca «B es mayor». Necesita un tamaño de muestra menor que un contraste bilateral, pero no puede detectar que B lo haga peor, así que hay que elegirlo antes de empezar el test. (Cambiar a unilateral después de ver los resultados no es válido.)
prueba z de dos proporciones	Un contraste que comprueba si dos grupos difieren en una proporción (como el CVR), con un valor z (la diferencia estandarizada) y la distribución normal estándar. Las fórmulas de esta página hallan el tamaño de muestra para este contraste. La aproximación normal funciona cuando cada grupo tiene suficientes conversiones (como regla práctica, al menos 5 a 10).
distribución normal estándar	La distribución normal de media 0 y desviación típica 1 (una campana simétrica). Un valor z es un punto de su eje horizontal, y cada valor z corresponde a una probabilidad, como en «el área a la derecha de 1,96 es el 2,5 %».
función de distribución	Una función que devuelve la probabilidad de obtener un valor dado o menor. La de la distribución normal estándar se escribe \(\Phi\) y aparece al final de la fórmula de la potencia. En Excel es DISTR.NORM.ESTAND.N (con VERDADERO como segundo argumento), y en Python es NormalDist().cdf.
desviación típica (dispersión)	Cuán dispersos están los datos. La dispersión de una proporción \(p\) es proporcional a \(\sqrt{p(1-p)}\). \(\sqrt{2\bar{p}(1-\bar{p})}\) y \(\sqrt{p_1(1-p_1)+p_2(1-p_2)}\) en las fórmulas son la dispersión de la diferencia entre los CVR de los dos grupos.
comparaciones múltiples	Comparar varias versiones B o varias métricas a la vez. Cuantas más comparaciones haces, más probable es que al menos una parezca significativa por azar, así que hace falta un ajuste, como dividir el nivel de significación entre el número de comparaciones (la corrección de Bonferroni).
detención anticipada (peeking)	Mirar los resultados una y otra vez antes de alcanzar el tamaño de muestra necesario y parar en cuanto el resultado parece significativo. Facilita captar diferencias por azar, así que un test pensado para un nivel de significación del 5 % en realidad se equivoca con mucha más frecuencia. Las fórmulas de esta página suponen que fijas primero el tamaño de muestra y esperas hasta alcanzarlo.

Qué conviene saber de antemano

Esto es lo que te ayuda a usar el cálculo de esta página entendiendo lo que haces, y no solo pulsando el botón.
Si te atascas, volver sobre estos temas es el camino más rápido.

Porcentajes (5.º–6.º de Primaria, 10-12 años)	Saber pasar de porcentajes a decimales y al revés (\(3\,\% = 0{,}03\), \(0{,}033 = 3{,}3\,\%\)) Conocer la diferencia entre un aumento en % relativo (el 3 % subido una décima es el 3,3 %) y un aumento en puntos porcentuales (3 % + 0,3 puntos = 3,3 %)
Raíces cuadradas (2.º–3.º de ESO, 13-15 años)	Saber que \(\sqrt{a}\) es el número positivo que da \(a\) al elevarse al cuadrado, y saber hallar con la calculadora valores como \(\sqrt{30.000} \approx 173{,}2\) Saber que al dividir entre un cuadrado, reducir a la mitad el divisor hace la respuesta 4 veces mayor (\((1/2)^2 = 1/4\))
Probabilidad básica (2.º de ESO a 1.º de Bachillerato, 13-17 años)	Saber tratar una tasa como «30 compras de 1000 visitas» como una probabilidad (un número de 0 a 1) Tener intuición de que una diferencia puede aparecer por azar cuando no la hay (sacar 7 caras en 10 lanzamientos de una moneda no es raro)
La distribución normal y los valores z (2.º de Bachillerato, 17-18 años)	Saber que la distribución normal es una campana simétrica y que alrededor del 95 % queda a menos de 1,96 desviaciones típicas de la media Saber que un valor z indica a cuántas desviaciones típicas de la media está un valor
La lógica del contraste de hipótesis (2.º de Bachillerato, 17-18 años)	Saber cómo funciona un contraste: planteas la hipótesis nula «no hay diferencia», y si los datos serían raros bajo ella, concluyes «hay una diferencia» Saber que el nivel de significación \(\alpha\) (la probabilidad de dar por real una diferencia cuando no la hay) y la potencia \(1-\beta\) (la probabilidad de encontrar una diferencia real) son dos errores distintos
Redondeo hacia arriba (3.º–4.º de Primaria, 8-10 años)	Saber por qué los números de personas y de días se redondean hacia arriba a números enteros, como 53.210,3 visitas que pasan a 53.211 y 53,211 días que pasan a 54

Cómo calcularlo con Excel

Copia toda la tabla de abajo y pégala en la celda A1 de Excel. Funciona tal cual.

Tabla para hallar el CVR objetivo (% relativo)

CVR base p1 (%)	3
Incremento relativo r (%)	10
CVR objetivo p2 (%)	=B1*(1+B2/100)

Tabla para hallar el tamaño de muestra por grupo

CVR base p1 (%)	3
CVR objetivo p2 (%)	3,3
Nivel de significación α (%, bilateral)	5
Potencia 1−β (%)	80
z_α/2	=INV.NORM.ESTAND(1-B3/100/2)
z_β	=INV.NORM.ESTAND(B4/100)
CVR medio p̄	=(B1+B2)/2/100
Tamaño de muestra por grupo n (redondeado hacia arriba)	=REDONDEAR.MAS((B5RAIZ(2B7(1-B7))+B6RAIZ(B1/100(1-B1/100)+B2/100(1-B2/100)))^2/((B2-B1)/100)^2;0)

Tabla para hallar los días necesarios

Tamaño de muestra por grupo n	53211
Visitas diarias V (total de A + B)	2000
Días necesarios D (redondeados hacia arriba)	=REDONDEAR.MAS(2*B1/B2;0)

Tabla para hallar la potencia (tamaño de muestra por grupo fijo)

CVR base p1 (%)	3
CVR objetivo p2 (%)	3,3
Nivel de significación α (%, bilateral)	5
Tamaño de muestra por grupo n	30000
z_α/2	=INV.NORM.ESTAND(1-B3/100/2)
CVR medio p̄	=(B1+B2)/2/100
z_1−β	=(ABS(B2-B1)/100RAIZ(B4)-B5RAIZ(2B6(1-B6)))/RAIZ(B1/100(1-B1/100)+B2/100(1-B2/100))
Potencia 1−β (%)	=DISTR.NORM.ESTAND.N(B7;VERDADERO)*100

Al pegarla, las filas de arriba son tus datos y la última fila se calcula automáticamente.
La primera tabla muestra 3,3 en B3 (un CVR objetivo del 3,3 %), la segunda muestra 53211 en B8 (el tamaño de muestra por grupo), la tercera muestra 54 en B3 (los días necesarios) y la cuarta muestra unos 55,71 en B8 (una potencia del 55,71 %).
INV.NORM.ESTAND convierte una probabilidad en un valor z, y DISTR.NORM.ESTAND.N (con VERDADERO como segundo argumento) convierte un valor z en una probabilidad. Para un contraste unilateral, borra el «/2» de la fórmula de z_α/2 para que quede =INV.NORM.ESTAND(1-B3/100). REDONDEAR.MAS(…;0) redondea hacia arriba.

Cómo calcularlo con Hojas de cálculo de Google

Copia toda la tabla de abajo y pégala en la celda A1 de Hojas de cálculo de Google. Funciona tal cual.

Tabla para hallar el CVR objetivo (% relativo)

CVR base p1 (%)	3
Incremento relativo r (%)	10
CVR objetivo p2 (%)	=B1*(1+B2/100)

Tabla para hallar el tamaño de muestra por grupo

CVR base p1 (%)	3
CVR objetivo p2 (%)	3,3
Nivel de significación α (%, bilateral)	5
Potencia 1−β (%)	80
z_α/2	=INV.NORM.ESTAND(1-B3/100/2)
z_β	=INV.NORM.ESTAND(B4/100)
CVR medio p̄	=(B1+B2)/2/100
Tamaño de muestra por grupo n (redondeado hacia arriba)	=REDONDEAR.MAS((B5RAIZ(2B7(1-B7))+B6RAIZ(B1/100(1-B1/100)+B2/100(1-B2/100)))^2/((B2-B1)/100)^2;0)

Tabla para hallar los días necesarios

Tamaño de muestra por grupo n	53211
Visitas diarias V (total de A + B)	2000
Días necesarios D (redondeados hacia arriba)	=REDONDEAR.MAS(2*B1/B2;0)

Tabla para hallar la potencia (tamaño de muestra por grupo fijo)

CVR base p1 (%)	3
CVR objetivo p2 (%)	3,3
Nivel de significación α (%, bilateral)	5
Tamaño de muestra por grupo n	30000
z_α/2	=INV.NORM.ESTAND(1-B3/100/2)
CVR medio p̄	=(B1+B2)/2/100
z_1−β	=(ABS(B2-B1)/100RAIZ(B4)-B5RAIZ(2B6(1-B6)))/RAIZ(B1/100(1-B1/100)+B2/100(1-B2/100))
Potencia 1−β (%)	=DISTR.NORM.ESTAND.N(B7;VERDADERO)*100

Las mismas fórmulas que en Excel funcionan tal cual (Hojas de cálculo de Google también tiene INV.NORM.ESTAND, DISTR.NORM.ESTAND.N y REDONDEAR.MAS). Copia la tabla entera, pégala en la celda A1 y cambia los datos de la columna B por tus propios números.

Cómo calcularlo con Python

from math import sqrt, ceil
from statistics import NormalDist

base_cvr = 3.0          # CVR base (%)
relative_mde = 10.0     # MDE que detectar (% relativo)
alpha = 0.05            # nivel de significación (bilateral)
power = 0.80            # potencia
daily_visits = 2000     # visitas diarias (total de A + B)

p1 = base_cvr / 100
p2 = p1 * (1 + relative_mde / 100)          # CVR objetivo
z_alpha = NormalDist().inv_cdf(1 - alpha / 2)  # para un contraste unilateral, usa 1 - alpha
z_beta = NormalDist().inv_cdf(power)
p_bar = (p1 + p2) / 2

n_exact = (z_alpha * sqrt(2 * p_bar * (1 - p_bar))
           + z_beta * sqrt(p1 * (1 - p1) + p2 * (1 - p2))) ** 2 / (p2 - p1) ** 2
n_per_group = ceil(n_exact)                  # tamaño de muestra por grupo (redondeado hacia arriba)
days = ceil(2 * n_per_group / daily_visits)  # días necesarios

print(f"CVR objetivo: {p2 * 100:.4g} %")
print(f"Tamaño de muestra por grupo: {n_per_group} (total {2 * n_per_group})")
print(f"Días necesarios: {days}")

# Despejando al revés: potencia con 30.000 visitas por grupo
n_fixed = 30000
z_power = (abs(p2 - p1) * sqrt(n_fixed) - z_alpha * sqrt(2 * p_bar * (1 - p_bar))) \
          / sqrt(p1 * (1 - p1) + p2 * (1 - p2))
print(f"Potencia con {n_fixed} por grupo: {NormalDist().cdf(z_power) * 100:.2f} %")

Funciona solo con la biblioteca estándar (statistics.NormalDist necesita Python 3.8 o posterior). En este ejemplo, el CVR objetivo es del 3,3 %, el tamaño de muestra por grupo es de 53211 (106422 en total), los días necesarios son 54, y la potencia con 30.000 visitas por grupo es de alrededor del 55,71 %. Cambia los valores de las primeras líneas y ejecútalo.

La fórmula en LaTeX y otras notaciones matemáticas (para copiar)

Fórmula del CVR objetivo (el CVR que esperas que alcance la versión B)

p₂ = p₁ × (1 + r/100)

p_2 = p_1 \left(1 + \dfrac{r}{100}\right)

<math xmlns="http://www.w3.org/1998/Math/MathML" display="block">
  <mrow>
    <msub><mi>p</mi><mn>2</mn></msub>
    <mo>=</mo>
    <msub><mi>p</mi><mn>1</mn></msub>
    <mo>(</mo><mn>1</mn><mo>+</mo><mfrac><mi>r</mi><mn>100</mn></mfrac><mo>)</mo>
  </mrow>
</math>

p_2 = p_1 (1 + r/100)

p1*(1 + r/100)

p2 := p1*(1 + r/100);

p2 = p1*(1 + r/100);

p_2 = p_1 (1 + r/100)

Fórmula del tamaño de muestra por grupo (prueba z de dos proporciones)

n = (z_α/2 √(2p̄(1 − p̄)) + z_β √(p₁(1 − p₁) + p₂(1 − p₂)))² ÷ (p₂ − p₁)²

n = \dfrac{\left( z_{\alpha/2}\sqrt{2\bar{p}(1-\bar{p})} + z_{\beta}\sqrt{p_1(1-p_1)+p_2(1-p_2)} \right)^2}{(p_2 - p_1)^2}

<math xmlns="http://www.w3.org/1998/Math/MathML" display="block">
  <mrow>
    <mi>n</mi>
    <mo>=</mo>
    <mfrac>
      <msup>
        <mrow>
          <mo>(</mo>
          <msub><mi>z</mi><mrow><mi>&#x3B1;</mi><mo>/</mo><mn>2</mn></mrow></msub>
          <msqrt><mn>2</mn><mover><mi>p</mi><mo>&#xAF;</mo></mover><mo>(</mo><mn>1</mn><mo>&#x2212;</mo><mover><mi>p</mi><mo>&#xAF;</mo></mover><mo>)</mo></msqrt>
          <mo>+</mo>
          <msub><mi>z</mi><mi>&#x3B2;</mi></msub>
          <msqrt>
            <msub><mi>p</mi><mn>1</mn></msub><mo>(</mo><mn>1</mn><mo>&#x2212;</mo><msub><mi>p</mi><mn>1</mn></msub><mo>)</mo>
            <mo>+</mo>
            <msub><mi>p</mi><mn>2</mn></msub><mo>(</mo><mn>1</mn><mo>&#x2212;</mo><msub><mi>p</mi><mn>2</mn></msub><mo>)</mo>
          </msqrt>
          <mo>)</mo>
        </mrow>
        <mn>2</mn>
      </msup>
      <msup>
        <mrow><mo>(</mo><msub><mi>p</mi><mn>2</mn></msub><mo>&#x2212;</mo><msub><mi>p</mi><mn>1</mn></msub><mo>)</mo></mrow>
        <mn>2</mn>
      </msup>
    </mfrac>
  </mrow>
</math>

n = (z_(alpha/2) sqrt(2 bar p (1 - bar p)) + z_beta sqrt(p_1(1 - p_1) + p_2(1 - p_2)))^2 / (p_2 - p_1)^2

Ceiling[(za*Sqrt[2*pbar*(1 - pbar)] + zb*Sqrt[p1*(1 - p1) + p2*(1 - p2)])^2/(p2 - p1)^2]

n := ceil((za*sqrt(2*pbar*(1 - pbar)) + zb*sqrt(p1*(1 - p1) + p2*(1 - p2)))^2/(p2 - p1)^2);

n = ceil((za*sqrt(2*pbar*(1 - pbar)) + zb*sqrt(p1*(1 - p1) + p2*(1 - p2)))^2/(p2 - p1)^2);

n = (z_(α/2) √(2p̄(1 − p̄)) + z_β √(p_1(1 − p_1) + p_2(1 − p_2)))^2/(p_2 − p_1)^2

Fórmula de los días necesarios (a partir de las visitas diarias)

D = ⌈2n ÷ V⌉

D = \left\lceil \dfrac{2n}{V} \right\rceil

<math xmlns="http://www.w3.org/1998/Math/MathML" display="block">
  <mrow>
    <mi>D</mi>
    <mo>=</mo>
    <mo>&#x2308;</mo>
    <mfrac><mrow><mn>2</mn><mi>n</mi></mrow><mi>V</mi></mfrac>
    <mo>&#x2309;</mo>
  </mrow>
</math>

D = |~ (2n)/V ~|

Ceiling[2*n/v]

days := ceil(2*n/V);

D = ceil(2*n/V);

D = ⌈2n/V⌉

Fórmula de la potencia (con un tamaño de muestra por grupo fijo)

1 − β = Φ((|p₂ − p₁|√n − z_α/2 √(2p̄(1 − p̄))) ÷ √(p₁(1 − p₁) + p₂(1 − p₂)))

1 - \beta = \Phi\left( \dfrac{|p_2 - p_1|\sqrt{n} - z_{\alpha/2}\sqrt{2\bar{p}(1-\bar{p})}}{\sqrt{p_1(1-p_1)+p_2(1-p_2)}} \right)

<math xmlns="http://www.w3.org/1998/Math/MathML" display="block">
  <mrow>
    <mn>1</mn><mo>&#x2212;</mo><mi>&#x3B2;</mi>
    <mo>=</mo>
    <mi>&#x3A6;</mi>
    <mo>(</mo>
    <mfrac>
      <mrow>
        <mo>|</mo><msub><mi>p</mi><mn>2</mn></msub><mo>&#x2212;</mo><msub><mi>p</mi><mn>1</mn></msub><mo>|</mo>
        <msqrt><mi>n</mi></msqrt>
        <mo>&#x2212;</mo>
        <msub><mi>z</mi><mrow><mi>&#x3B1;</mi><mo>/</mo><mn>2</mn></mrow></msub>
        <msqrt><mn>2</mn><mover><mi>p</mi><mo>&#xAF;</mo></mover><mo>(</mo><mn>1</mn><mo>&#x2212;</mo><mover><mi>p</mi><mo>&#xAF;</mo></mover><mo>)</mo></msqrt>
      </mrow>
      <msqrt>
        <msub><mi>p</mi><mn>1</mn></msub><mo>(</mo><mn>1</mn><mo>&#x2212;</mo><msub><mi>p</mi><mn>1</mn></msub><mo>)</mo>
        <mo>+</mo>
        <msub><mi>p</mi><mn>2</mn></msub><mo>(</mo><mn>1</mn><mo>&#x2212;</mo><msub><mi>p</mi><mn>2</mn></msub><mo>)</mo>
      </msqrt>
    </mfrac>
    <mo>)</mo>
  </mrow>
</math>

1 - beta = Phi((|p_2 - p_1| sqrt(n) - z_(alpha/2) sqrt(2 bar p (1 - bar p))) / sqrt(p_1(1 - p_1) + p_2(1 - p_2)))

CDF[NormalDistribution[0, 1], (Abs[p2 - p1]*Sqrt[n] - za*Sqrt[2*pbar*(1 - pbar)])/Sqrt[p1*(1 - p1) + p2*(1 - p2)]]

power := Statistics[CDF](Normal(0, 1), (abs(p2 - p1)*sqrt(n) - za*sqrt(2*pbar*(1 - pbar)))/sqrt(p1*(1 - p1) + p2*(1 - p2)));

power = normcdf((abs(p2 - p1)*sqrt(n) - za*sqrt(2*pbar*(1 - pbar)))/sqrt(p1*(1 - p1) + p2*(1 - p2)));

1 − β = Φ((|p_2 − p_1| √n − z_(α/2) √(2p̄(1 − p̄)))/√(p_1(1 − p_1) + p_2(1 − p_2)))

Cómo pedirle a ChatGPT que haga el cálculo

Eres un asistente para planificar tests A/B. Haz el siguiente cálculo ejecutando realmente código Python y basa tu respuesta únicamente en los números del resultado de la ejecución (no respondas con cálculo mental ni a ojo).

El CVR de la página actual (el CVR base) es del 3 %. Quiero poder detectar un incremento relativo del 10 % con la versión B (un CVR del 3,3 %).
Con un nivel de significación del 5 % (contraste bilateral) y una potencia del 80 %, halla cada uno de los siguientes valores:
1. El CVR objetivo p2 (p2 = p1 × (1 + 10/100))
2. El tamaño de muestra por grupo n (fórmula de la prueba z de dos proporciones: n = (z_{α/2}·√(2p̄(1−p̄)) + z_β·√(p1(1−p1)+p2(1−p2)))² ÷ (p2−p1)², con p̄ = (p1+p2)/2, redondeado hacia arriba) y el tamaño de muestra total de A y B
3. Los días necesarios (redondeados hacia arriba) con 2000 visitas diarias (A y B juntos)
4. La potencia si solo hay 30.000 visitas por grupo (1−β = Φ((|p2−p1|·√n − z_{α/2}·√(2p̄(1−p̄))) ÷ √(p1(1−p1)+p2(1−p2))))

Usa statistics.NormalDist para los valores z y la función de distribución, y muestra las fórmulas que has usado y los números del resultado de la ejecución.

Cómo usar

1

Introduce los números

Escribe en los campos los números con los que quieres calcular
2

Calcula

Haz clic en el botón «Calcular»
3

Consulta el resultado

El resultado aparece al instante. En la misma página también encontrarás el desarrollo del cálculo y la explicación de la fórmula