Marcadores    
nCr y nPr    
Frecuencias    
Puntuación z    
Porcentajes    
Proporciones    
Descuentos    
Velocidad    
Densidad    
Molaridad    
Masa molar    
Ley de Ohm    
Divisiones    
Divisores    
Fracciones    
Redondeo    
Ecuaciones    
Sistemas 2x2    
Inecuaciones    
Potencias    
Logaritmos    
Semivida    
Forma polar    
De Moivre    
Pendiente    
Distancia GPS    
Cónicas    
Fibonacci    
Recurrencias    
Vectores    
Matrices    
Determinantes    
sen, cos, tg    
Triángulos    
Círculo    
Calcular edad    
Sumar horas    
Valor actual    
Valor futuro    
Payback    
Tráfico SEO    
Punto muerto    
Calcular CAGR    
Peso ideal    
Masa magra    
Talla diana    
Wind chill    
kWh a euros    
Consumo real    
Papel pintado    
Agujero guía    
m³ de madera    
   Agregar
Probabilidad y números aleatorios: calculadoras
Dos sucesos (y, o)
Dos sucesos (y, o)
Hallar P(A) y P(B)
Hallar P(A) y P(B)
Al menos una vez
Al menos una vez
Teorema de Bayes
Teorema de Bayes
Valor esperado
Valor esperado
Binomial B(n, p)
Binomial B(n, p)
nCr y nPr
nCr y nPr
Perm. circulares
Perm. circulares
Con repetición
Con repetición
Números aleatorios
Números aleatorios
Medias y estadística: calculadoras
Calcular la media
Calcular la media
Media, moda, rango
Media, moda, rango
Desviación típica
Desviación típica
Cuartiles e IQR
Cuartiles e IQR
Frecuencias
Frecuencias
Correlación (r)
Correlación (r)
Campana de Gauss
Campana de Gauss
Puntuación z
Puntuación z
IC de la media
IC de la media
Tamaño muestral
Tamaño muestral
Captura-recaptura
Captura-recaptura
Calcular p-valor
Calcular p-valor
Porcentajes y proporciones: calculadoras
Porcentajes
Porcentajes
Variación en %
Variación en %
Diferencia en %
Diferencia en %
Error relativo
Error relativo
Proporciones
Proporciones
Descuentos
Descuentos
Calculadora de IVA
Calculadora de IVA
Calcular margen
Calcular margen
Velocidad: calculadoras
Velocidad
Velocidad
Densidad y concentración: calculadoras
Densidad
Densidad
Molaridad
Molaridad
Masa molar
Masa molar
Física y electricidad: calculadoras
Ley de Ohm
Ley de Ohm
Vatios a amperios
Vatios a amperios
Código de colores
Código de colores
Caída de tensión
Caída de tensión
Conversión de unidades: calculadoras
Conversor de peso
Conversor de peso
Tallas de zapatos
Tallas de zapatos
Números enteros y con signo: calculadoras
Divisiones
Divisiones
Calculadora MCM
Calculadora MCM
Calculadora MCD
Calculadora MCD
Números enteros
Números enteros
Factores primos
Factores primos
Ec. diofánticas
Ec. diofánticas
Calculadora mod
Calculadora mod
Divisores
Divisores
Números romanos
Números romanos
Fracciones, decimales y redondeo: calculadoras
Fracciones
Fracciones
Números mixtos
Números mixtos
Simplificación
Simplificación
Fracción a decimal
Fracción a decimal
Decimal a fracción
Decimal a fracción
Redondeo
Redondeo
Ecuaciones e inecuaciones: calculadoras
Ecuaciones
Ecuaciones
Sistemas 2x2
Sistemas 2x2
Ecuación 2.º grado
Ecuación 2.º grado
Valor absoluto
Valor absoluto
Inecuaciones
Inecuaciones
Polinomios: calculadoras
Binomio de Newton
Binomio de Newton
Raíces cuadradas y raíces n-ésimas: calculadoras
Simplificar raíces
Simplificar raíces
Calcular raíces
Calcular raíces
Potencias y logaritmos: calculadoras
Potencias
Potencias
Logaritmos
Logaritmos
Número de cifras
Número de cifras
Notación ×10ⁿ
Notación ×10ⁿ
Operar ×10ⁿ
Operar ×10ⁿ
Semivida
Semivida
Números complejos: calculadoras
Números complejos
Números complejos
Forma polar
Forma polar
De Moivre
De Moivre
Funciones y gráficas: calculadoras
Pendiente
Pendiente
Ecuación recta
Ecuación recta
Proporcionalidad
Proporcionalidad
Función y = ax²
Función y = ax²
Distancia 2 puntos
Distancia 2 puntos
Distancia en 3D
Distancia en 3D
Dividir segmento
Dividir segmento
Distancia a recta
Distancia a recta
Distancia GPS
Distancia GPS
Completar cuadrado
Completar cuadrado
Circunferencia
Circunferencia
Cónicas
Cónicas
Coord. polares
Coord. polares
Sucesiones: calculadoras
Prog. aritmética
Prog. aritmética
Prog. geométrica
Prog. geométrica
Fibonacci
Fibonacci
Recurrencias
Recurrencias
Vectores: calculadoras
Vectores
Vectores
Producto vectorial
Producto vectorial
Matrices: calculadoras
Matrices
Matrices
Determinantes
Determinantes
Matriz inversa
Matriz inversa
Geometría plana: calculadoras
sen, cos, tg
sen, cos, tg
Grados ⇔ radianes
Grados ⇔ radianes
a sen θ + b cos θ
a sen θ + b cos θ
Triángulos
Triángulos
Área del triángulo
Área del triángulo
Resolver triángulo
Resolver triángulo
Teorema Pitágoras
Teorema Pitágoras
Ángulos polígono
Ángulos polígono
Razón semejanza
Razón semejanza
Rectas paralelas
Rectas paralelas
Área rectángulo
Área rectángulo
Área paralelogramo
Área paralelogramo
Área del trapecio
Área del trapecio
Círculo
Círculo
Sector circular
Sector circular
Ángulo inscrito
Ángulo inscrito
Área de la elipse
Área de la elipse
Geometría del espacio: calculadoras
Volumen del cubo
Volumen del cubo
Área del cubo
Área del cubo
Volumen ortoedro
Volumen ortoedro
Área del ortoedro
Área del ortoedro
Volumen cilindro
Volumen cilindro
Área del cilindro
Área del cilindro
Volumen de esfera
Volumen de esfera
Área de la esfera
Área de la esfera
Vol. del casquete
Vol. del casquete
Área del casquete
Área del casquete
Vol. del elipsoide
Vol. del elipsoide
Área del elipsoide
Área del elipsoide
Volumen pirámide
Volumen pirámide
Área pirámide
Área pirámide
Volumen del cono
Volumen del cono
Área del cono
Área del cono
Tronco de cono
Tronco de cono
Área tronco de cono
Área tronco de cono
Volumen de un tubo
Volumen de un tubo
Volumen cápsula
Volumen cápsula
Área de la cápsula
Área de la cápsula
Fechas y horas: calculadoras
Calcular edad
Calcular edad
Días entre fechas
Días entre fechas
Sumar días a fecha
Sumar días a fecha
Dentro de X horas
Dentro de X horas
Día de la semana
Día de la semana
Sumar horas
Sumar horas
Diferencia horaria
Diferencia horaria
Horas trabajadas
Horas trabajadas
Tiempo entre horas
Tiempo entre horas
Horas trabajadas
Horas trabajadas
Finanzas y economía: calculadoras
Interés compuesto
Interés compuesto
Interés simple
Interés simple
Ahorro e intereses
Ahorro e intereses
Calculadora TVM
Calculadora TVM
Valor actual
Valor actual
Valor futuro
Valor futuro
Calculadora de ROI
Calculadora de ROI
Calculadora de TIR
Calculadora de TIR
Payback
Payback
Rentabilidad media
Rentabilidad media
Calcular el PIB
Calcular el PIB
Marketing online y métricas publicitarias: calculadoras
Calcular el CTR
Calcular el CTR
Tasa de conversión
Tasa de conversión
CPC, CPM y CPA
CPC, CPM y CPA
Calcular el ROAS
Calcular el ROAS
CPA de equilibrio
CPA de equilibrio
Calcular el LTV
Calcular el LTV
Calcular el CAC
Calcular el CAC
Calcular el churn
Calcular el churn
Significación A/B
Significación A/B
Muestra test A/B
Muestra test A/B
Tráfico SEO
Tráfico SEO
Punto muerto
Punto muerto
Margen y markup
Margen y markup
Calcular CAGR
Calcular CAGR
Salud y forma física: calculadoras
Calculadora IMC
Calculadora IMC
Ciclos de sueño
Ciclos de sueño
Calorías diarias
Calorías diarias
Metabolismo basal
Metabolismo basal
Calculadora TDEE
Calculadora TDEE
Peso ideal
Peso ideal
Grasa corporal
Grasa corporal
Masa magra
Masa magra
Calorías quemadas
Calorías quemadas
Proteínas al día
Proteínas al día
Calcular macros
Calcular macros
Hidratos al día
Hidratos al día
Grasas al día
Grasas al día
Talla diana
Talla diana
Deporte: calculadoras
Hándicap de golf
Hándicap de golf
Calcular ritmo
Calcular ritmo
Calculadora 1RM
Calculadora 1RM
Zonas de pulso
Zonas de pulso
Meteorología: calculadoras
Índice de calor
Índice de calor
Wind chill
Wind chill
Punto de rocío
Punto de rocío
Informática: calculadoras
Cambio de base
Cambio de base
Calcular subredes
Calcular subredes
Tiempo de descarga
Tiempo de descarga
Energía del hogar y presupuesto: calculadoras
Consumo eléctrico
Consumo eléctrico
kWh a euros
kWh a euros
kWh/año a euros
kWh/año a euros
Frigorías por m²
Frigorías por m²
Gasto del aire
Gasto del aire
Gasto calefacción
Gasto calefacción
Gas o electricidad
Gas o electricidad
Ahorro con LED
Ahorro con LED
Calculadora sueldo
Calculadora sueldo
Presupuesto hogar
Presupuesto hogar
Coche: calculadoras
Gasto de gasolina
Gasto de gasolina
Coste de recarga
Coste de recarga
VE vs gasolina
VE vs gasolina
Consumo real
Consumo real
Medida neumático
Medida neumático
Energía solar y baterías: calculadoras
Producción solar
Producción solar
Número de placas
Número de placas
Amortización solar
Amortización solar
Batería doméstica
Batería doméstica
Casa y bricolaje: calculadoras
Calcular baldosas
Calcular baldosas
Calcular escalera
Calcular escalera
Calcular hormigón
Calcular hormigón
m² de paredes
m² de paredes
Papel pintado
Papel pintado
Calcular pintura
Calcular pintura
Suelo laminado
Suelo laminado
m² de fachada
m² de fachada
Calcular grava
Calcular grava
Mortero y hormigón
Mortero y hormigón
Calcular pendiente
Calcular pendiente
Despiece de madera
Despiece de madera
Edificabilidad
Edificabilidad
Vinílico en rollo
Vinílico en rollo
Calcular aislante
Calcular aislante
Medir cortinas
Medir cortinas
Pulgadas de TV
Pulgadas de TV
Calcular sustrato
Calcular sustrato
Césped en rollo
Césped en rollo
Calcular bloques
Calcular bloques
Calcular ladrillos
Calcular ladrillos
Tarima exterior
Tarima exterior
Longitud de rampa
Longitud de rampa
Agujero guía
Agujero guía
Renovaciones/hora
Renovaciones/hora
Diluir pintura
Diluir pintura
Calcular rodapié
Calcular rodapié
Medir un estor
Medir un estor
Colgar cuadros
Colgar cuadros
Pendiente desagüe
Pendiente desagüe
Calcular tornillos
Calcular tornillos
m³ de madera
m³ de madera
Calcular valla
Calcular valla
Contracción madera
Contracción madera
Calcular silicona
Calcular silicona
Pérdidas de calor
Pérdidas de calor
¿Cabe el mueble?
¿Cabe el mueble?
Cajas de mudanza
Cajas de mudanza
Capacidad armario
Capacidad armario
Despiece tableros
Despiece tableros
Flecha de baldas
Flecha de baldas

Calculadora del tamaño de muestra para test A/B (MDE, nivel de significación, potencia y duración)

Para calcular la muestra, introduce la CVR de partida, el MDE, el nivel de significación y la potencia, y pulsa «Calcular». Obtienes la muestra por grupo para A y B (redondeada hacia arriba) y el total, y también los días necesarios si introduces las visitas diarias. Cambia «Qué calcular» a potencia para fijar la muestra por grupo y obtener en su lugar la potencia 1 − β.

Escribe la CVR y el MDE como porcentajes (para un 3 %, escribe «3»; para una mejora del 10 %, «10»). El MDE puede ir en % relativo (del 3 % al 3,3 % es un 10 %) o en puntos porcentuales (del 3 % al 3,3 % son 0,3). En las visitas diarias, pon el total de A y B juntos (todas las visitas de la página que se prueba).
Resultado y gráfica
Rellena las casillas de la izquierda y pulsa «Calcular». Aquí aparecerán el resultado y una gráfica de la muestra necesaria según el MDE.

Qué puedes hacer en esta página

  • Con solo introducir la CVR de partida (la tasa de conversión de tu versión A actual), el efecto mínimo detectable (MDE, en % relativo o en puntos porcentuales), el nivel de significación \(\alpha\) (bilateral o unilateral) y la potencia \(1-\beta\), calcula el tamaño de muestra que necesita cada grupo de tu test A/B (redondeado hacia arriba) y el total
  • «Mi página convierte al 3 %. ¿Cuántas visitas necesitan A y B para detectar una mejora del 10 % (del 3 % al 3,3 %)?». Esta página responde a la pregunta más importante antes de empezar un test
  • Si introduces las visitas diarias (opcional), también verás cuántos días tardas en reunir esa muestra (redondeado hacia arriba)
  • Si solo puedes conseguir un número fijo de visitas por grupo, fija la muestra y calcula al revés la potencia \(1-\beta\) (la probabilidad de encontrar una diferencia cuando existe de verdad)
  • En esta página tienes además una gráfica de cómo cambia la muestra según el MDE, una explicación sencilla de las fórmulas y fórmulas para copiar y pegar en Excel, Hojas de cálculo de Google y Python
Esta página es solo para tests A/B que comprueban si las versiones A y B tienen distinta CVR (tasa de conversión). Usa la fórmula estándar del contraste z de dos proporciones. Para saber cuántas personas necesita una encuesta para medir con precisión un porcentaje, usa la «Calculadora del tamaño de la muestra». Para leer el p-valor de unos resultados que ya tienes, usa la «Calculadora de p-valor». Llegar a la muestra necesaria no demuestra por sí solo que un resultado significativo sea un efecto real. Lee también las advertencias de la explicación de las fórmulas.

¿Para qué sirve este cálculo?

Planificar un test A/B del botón «Comprar» de una tienda online

Supongamos que la página de producto de una tienda online convierte al 2 % y quieres detectar una mejora relativa del 10 % (del 2 % al 2,2 %) con un nuevo texto en el botón. Con un nivel de significación del 5 % (bilateral) y una potencia del 80 %, necesitas unas 80.682 visitas por grupo, unas 161.364 en total.
Comparar unas decenas o unos cientos de visitas («la semana pasada B fue mejor») no permite distinguir una diferencia casual de una real. Calcular la muestra antes de empezar evita pasarte semanas con un test que no puede dar una respuesta.

Decidir cuántos días probar la landing page de un SaaS B2B

Una landing page consigue solicitudes de demo con una CVR del 5 %. Para detectar una mejora de 1 punto (del 5 % al 6 %), necesitas 8158 visitas por grupo, 16.316 en total. Con 300 visitas al día son \(16316 \div 300 \approx 54{,}4\), es decir, 55 días, u 8 semanas si quieres igualar los días de la semana.
Si alguien te pide resultados en 2 semanas, este cálculo te permite explicarlo con números: «En 2 semanas (4200 visitas, 2100 por grupo) necesitaríamos un MDE mucho mayor, de unos 3 puntos (del 5 % al 8 %, que necesita 1059 por grupo)».

Probar asuntos de una newsletter (tasas de apertura)

Si tu newsletter tiene una tasa de apertura del 20 % y quieres detectar una mejora de 2 puntos (del 20 % al 22 %) con un asunto nuevo, necesitas enviarla a 6510 personas por grupo, 13.020 en total (nivel de significación del 5 %, potencia del 80 %).
Una métrica con una tasa alta, como la de apertura, necesita menos personas para mostrar una diferencia que una CVR de pocos puntos. Se debe a que la parte \(p(1-p)\) de la fórmula es distinta: los mismos «2 puntos» necesitan una muestra distinta según la métrica.

Comprobar la potencia antes de concluir «no hay diferencia»

Supongamos que un test que buscaba una mejora relativa del 10 % en una página con una CVR del 3 % se hizo con 5000 visitas por grupo y mostró «ninguna diferencia significativa». Si calculas al revés la potencia, sale solo de un 13,5 % aproximadamente. El test estaba montado para dejar escapar una mejora real más de 8 veces de cada 10.
La conclusión correcta aquí no es «no ha servido de nada», sino «con esta muestra no se podía saber». Calcular la potencia al revés evita malinterpretar un test y tirar a la basura una buena idea.

Comparar la retención tras un nuevo tutorial en una app

Una app tiene una retención al día siguiente del 40 %. Para detectar una mejora relativa del 10 % (del 40 % al 44 %) con un nuevo tutorial, bastan unos 2389 usuarios nuevos por grupo, unos 4778 en total (nivel de significación del 5 %, potencia del 80 %).
Una métrica cercana al 50 %, como la retención, tiene mucha dispersión, pero la diferencia de tasas (4 puntos) también es grande, así que los resultados llegan antes que en un test sobre una CVR de pocos puntos. Estimar la muestra de cada métrica también te ayuda a decidir qué mejora abordar primero.

Usar una potencia del 90 % en los tests que no te puedes permitir fallar

En un test en el que dejar escapar una buena idea saldría caro, como un cambio en la forma de mostrar los precios, puedes subir la potencia del 80 % al 90 %. Con una CVR del 3 % y una mejora relativa del 10 %, la muestra por grupo pasa de 53.211 a 71.233 (unas 1,34 veces).
Este cálculo muestra exactamente cuántas visitas más hacen falta para reducir a la mitad lo que se te escapa (del 20 % al 10 %), así que puedes ajustar la muestra y la duración del test a lo importante que sea.

Fórmulas y figuras

Fórmula de la CVR objetivo (la CVR que esperas que alcance la versión B)
Notación matemática (la forma habitual)
\(p_2\) \(=\) \(p_1\) \(\times\) \(\left(1 + \dfrac{r}{100}\right)\)
\(p_2\) \(=\) \(p_1\) \(+\) \(d\)
En palabras (los símbolos cambiados por palabras)
③ \(p_2\): CVR objetivo \(=\) ① \(p_1\): CVR de partida \(\times\) ② \(1 +\) mejora relativa \(r \div 100\)
\(p_2\): CVR objetivo \(=\) \(p_1\): CVR de partida \(+\) ④ \(d\): MDE en puntos porcentuales
La fórmula en palabras
① Si tomas la \(p_1\): CVR de partida
② y la multiplicas por \(1 +\) mejora relativa \(r \div 100\)
③ obtienes la \(p_2\): CVR objetivo
④ (Si das el MDE en puntos porcentuales, suma el \(d\): MDE en puntos porcentuales directamente a la CVR de partida \(p_1\) para obtener la CVR objetivo).
Ejemplo rápido
Con una CVR de partida del 3 % y una mejora relativa del 10 % que detectar, la CVR objetivo es
\(p_2\): CVR objetivo \(=\) CVR de partida (3 %) \(\times\) \(1 + 10 \div 100\)
\(3 \times (1 + 10 \div 100) = 3 \times 1{,}1 = 3{,}3\ \ (3{,}3\ \%)\)
La idea clave
Cuidado: «una mejora del 10 %» se puede entender de dos maneras. En % relativo, es «el 3 % más una décima parte del 3 % = 3,3 %». En puntos porcentuales, es «3 % + 10 puntos = 13 %». Las dos dan tamaños de muestra completamente distintos. En marketing, «una mejora del 10 % en la CVR» suele referirse al % relativo, y es también la opción por defecto de esta página. La CVR objetivo \(p_2\) no es una previsión de lo que hará la versión B. Es la diferencia más pequeña que no quieres que se te escape (el MDE). Si la diferencia real es menor, lo más probable es que el test no muestre una diferencia significativa, aunque llegues a la muestra completa.
Fórmula de la muestra por grupo (contraste z de dos proporciones)
Figura
Notación matemática (la forma habitual)
\(n\) \(=\) \(\bigl(\) \(z_{\alpha/2}\sqrt{2\bar{p}(1-\bar{p})}\) \(+\) \(z_{\beta}\sqrt{p_1(1-p_1)+p_2(1-p_2)}\) \(\bigr)^2\) \(\div\) \((p_2 - p_1)^2\)
En palabras (los símbolos cambiados por palabras)
④ \(n\): muestra por grupo \(=\) \(\bigl(\) ① \(z_{\alpha/2}\sqrt{2\bar{p}(1-\bar{p})}\): término de significación \(+\) ② \(z_{\beta}\sqrt{p_1(1-p_1)+p_2(1-p_2)}\): término de potencia \(\bigr)^2\) \(\div\) ③ \((p_2 - p_1)^2\): la diferencia que detectar, al cuadrado
La fórmula en palabras
① Suma el término de significación (el \(z_{\alpha/2}\) del nivel de significación × la dispersión cuando no hay diferencia, \(\sqrt{2\bar{p}(1-\bar{p})}\))
② y el término de potencia (el \(z_{\beta}\) de la potencia × la dispersión cuando hay diferencia, \(\sqrt{p_1(1-p_1)+p_2(1-p_2)}\)) y eleva la suma al cuadrado;
③ divídelo entre el cuadrado de la diferencia que detectar, \((p_2 - p_1)^2\)
④ y obtienes la \(n\): muestra por grupo (si hay decimales, se redondea hacia arriba)
Ejemplo rápido
Con una CVR de partida del 3 % (0,03), un objetivo del 3,3 % (0,033), un contraste bilateral con un nivel de significación del 5 % (\(z_{\alpha/2} = 1{,}9600\)) y una potencia del 80 % (\(z_{\beta} = 0{,}8416\)), la muestra por grupo es
\(n\): muestra por grupo \(=\) \(\bigl(\) \(1{,}9600 \times \sqrt{2 \times 0{,}0315 \times 0{,}9685}\) \(+\) \(0{,}8416 \times \sqrt{0{,}03 \times 0{,}97 + 0{,}033 \times 0{,}967}\) \(\bigr)^2\) \(\div\) \((0{,}033 - 0{,}03)^2\)
\(\bar{p} = (0{,}03 + 0{,}033) \div 2 = 0{,}0315\)
\(1{,}9600 \times \sqrt{2 \times 0{,}0315 \times 0{,}9685} = 1{,}9600 \times 0{,}24701 \approx 0{,}48414\)
\(0{,}8416 \times \sqrt{0{,}03 \times 0{,}97 + 0{,}033 \times 0{,}967} = 0{,}8416 \times 0{,}24700 \approx 0{,}20788\)
\((0{,}48414 + 0{,}20788)^2 \div (0{,}033 - 0{,}03)^2 = 0{,}47889 \div 0{,}000009 \approx 53210{,}3 \rightarrow 53211\)
La idea clave
\(\bar{p}\) es la media de las dos CVR, \((p_1 + p_2) \div 2\): la CVR común que se supone cuando no hay diferencia. \(\sqrt{2\bar{p}(1-\bar{p})}\) y \(\sqrt{p_1(1-p_1)+p_2(1-p_2)}\) miden cuánto se mueve por azar la diferencia de CVR. La primera es para «sin diferencia» y la segunda para «con diferencia real». Fíjate en la fórmula: la muestra se divide entre el cuadrado de la diferencia que quieres detectar. Por eso, reducir el MDE a la mitad multiplica la muestra por 4 aproximadamente, y reducirlo a un tercio la multiplica por 9. Esa es la razón de que las visitas necesarias se disparen cuando quieres detectar mejoras pequeñas. El valor z del nivel de significación es \(z_{\alpha/2}\) en un contraste bilateral (1,9600 al 5 %, 2,5758 al 1 %, 1,6449 al 10 %) y \(z_{\alpha}\) en uno unilateral (1,6449 al 5 %, 2,3263 al 1 %, 1,2816 al 10 %). El valor z de la potencia, \(z_{\beta}\), es 0,8416 al 80 % y 1,2816 al 90 %. Algunos libros y herramientas usan una fórmula simplificada que junta las dos dispersiones en una sola, \(\sqrt{2\bar{p}(1-\bar{p})}\): \(n \approx 2\bar{p}(1-\bar{p})(z_{\alpha/2}+z_{\beta})^2 \div (p_2-p_1)^2\). Esta calculadora usa la fórmula de la tarjeta de arriba (con las dos dispersiones por separado) y muestra también el valor simplificado como referencia. Con CVR pequeñas apenas se diferencian (53.211 frente a 53.212 en el ejemplo de arriba). Llegar a la muestra necesaria no convierte un resultado significativo en un efecto seguro. La fórmula solo vale si las visitas se asignan al azar, si no haces peeking (mirar los resultados una y otra vez y parar antes de tiempo) y si usas un límite más exigente cuando comparas a la vez varias métricas o varias versiones B (comparaciones múltiples).
Fórmula de los días necesarios (con las visitas diarias)
Notación matemática (la forma habitual)
\(D\) \(=\) \(\lceil\) \(2n\) \(\div\) \(V\) \(\rceil\)
En palabras (los símbolos cambiados por palabras)
③ \(D\): días necesarios \(=\) \(\lceil\) ① \(2n\): muestra total de A y B \(\div\) ② \(V\): visitas diarias \(\rceil\)
La fórmula en palabras
① Si tomas la \(2n\): muestra total de A y B (el doble de la muestra por grupo \(n\))
② la divides entre las \(V\): visitas diarias y redondeas hacia arriba los decimales (\(\lceil\ \rceil\) es el símbolo de redondear hacia arriba),
③ obtienes los \(D\): días necesarios
Ejemplo rápido
Si la muestra por grupo es de 53.211 y la página que se prueba recibe 2000 visitas al día, los días necesarios son
\(D\): días necesarios \(=\) \(\lceil\) \(2 \times 53211\) \(\div\) 2000 visitas \(\rceil\)
\(2 \times 53211 \div 2000 = 106422 \div 2000 = 53{,}211 \rightarrow 54\)
La idea clave
\(\lceil\ \rceil\) es el símbolo de redondear hacia arriba (la función techo), así que 53,211 días pasan a ser 54 días. Las visitas se reparten a partes iguales entre A y B, así que introduce las visitas diarias de A y B juntos (todas las visitas de la página que se prueba). Aunque las cuentas digan 54 días, los tests reales suelen durar semanas completas. La CVR cambia según el día de la semana (no visita la misma gente entre semana que el fin de semana), así que con 7, 14… días el efecto del día de la semana se reparte por igual entre los dos grupos. En este ejemplo, lo sensato es planificar 8 semanas (56 días). Si los días necesarios se van a varios meses, es más realista elegir un MDE mayor o probar en una página con más tráfico.
Fórmula de la potencia (con una muestra por grupo fija)
Figura
Notación matemática (la forma habitual)
\(z_{1-\beta}\) \(=\) \(\bigl(\) \(|p_2 - p_1|\sqrt{n}\) \(-\) \(z_{\alpha/2}\sqrt{2\bar{p}(1-\bar{p})}\) \(\bigr)\) \(\div\) \(\sqrt{p_1(1-p_1)+p_2(1-p_2)}\)
\(1-\beta\) \(=\) \(\Phi\bigl(\) \(z_{1-\beta}\) \(\bigr)\)
En palabras (los símbolos cambiados por palabras)
④ \(z_{1-\beta}\): valor z de la potencia \(=\) \(\bigl(\) ① \(|p_2 - p_1|\sqrt{n}\): diferencia que detectar × \(\sqrt{\text{muestra por grupo}}\) \(-\) ② \(z_{\alpha/2}\sqrt{2\bar{p}(1-\bar{p})}\): término de significación \(\bigr)\) \(\div\) ③ \(\sqrt{p_1(1-p_1)+p_2(1-p_2)}\): dispersión cuando hay diferencia
⑥ \(1-\beta\): potencia \(=\) \(\Phi\bigl(\) ⑤ \(z_{1-\beta}\): valor z de la potencia \(\bigr)\)
La fórmula en palabras
① Toma la diferencia que detectar \(|p_2 - p_1|\) multiplicada por la raíz cuadrada de la muestra por grupo, \(\sqrt{n}\)
② réstale el \(z_{\alpha/2}\sqrt{2\bar{p}(1-\bar{p})}\): término de significación
③ divide entre la \(\sqrt{p_1(1-p_1)+p_2(1-p_2)}\): dispersión cuando hay diferencia
④ y obtienes el \(z_{1-\beta}\): valor z de la potencia
⑤ Con la función de distribución \(\Phi\) de la distribución normal estándar, calcula la probabilidad de un valor igual o menor que ese \(z_{1-\beta}\): valor z de la potencia
⑥ y obtienes la \(1-\beta\): potencia
Ejemplo rápido
Con una CVR de partida del 3 %, un objetivo del 3,3 % y un contraste bilateral con un nivel de significación del 5 % (\(z_{\alpha/2} = 1{,}9600\)), si solo puedes conseguir 30.000 visitas por grupo, la potencia es
\(z_{1-\beta}\): valor z de la potencia \(=\) \(\bigl(\) \(0{,}003 \times \sqrt{30000}\) \(-\) \(1{,}9600 \times 0{,}24701\) \(\bigr)\) \(\div\) \(0{,}24700\)
\(0{,}003 \times \sqrt{30000} = 0{,}003 \times 173{,}205 \approx 0{,}51962\)
\((0{,}51962 - 0{,}48414) \div 0{,}24700 \approx 0{,}1436\)
\(1 - \beta = \Phi(0{,}1436) \approx 0{,}5571\ \ (55{,}71\ \%)\)
La idea clave
Es la fórmula de la muestra por grupo despejando \(z_{\beta}\). \(\Phi\) (fi mayúscula) es la función de distribución de la distribución normal estándar: devuelve la probabilidad de que un valor z sea igual o menor que un valor dado (\(\Phi(0{,}8416) \approx 0{,}80\), \(\Phi(1{,}2816) \approx 0{,}90\)). En el ejemplo de arriba, la potencia es solo de un 56 % aproximadamente. Es decir, aunque la versión B llegue de verdad al 3,3 %, un test con 30.000 visitas por grupo dirá «no hay diferencia» casi la mitad de las veces. Un test con una potencia inferior al 80 % deja escapar a menudo efectos reales. Concluir «no hubo diferencia» con un test de poca potencia es precipitarse. En sentido estricto, en un contraste bilateral habría que sumar también la otra cola (la probabilidad de que B salga significativamente peor). Ese valor es minúsculo, así que esta calculadora sigue la práctica habitual y no lo incluye.
La muestra por grupo de un test A/B es «(término de significación + término de potencia) al cuadrado ÷ (diferencia que detectar) al cuadrado», redondeada hacia arriba. Reducir el MDE a la mitad multiplica la muestra por 4 aproximadamente, así que la clave es decidir primero qué mejora quieres detectar (el MDE). Divide entre las visitas diarias para obtener los días necesarios, o fija la muestra y vuelve a despejar la fórmula para obtener la potencia.

Símbolos y términos

Símbolos

\(p_1\) p subíndice 1 La CVR de partida (la tasa de conversión de la versión A actual). \(p\) viene de «proporción» o «probabilidad». En las fórmulas, el 3 % se escribe como el decimal 0,03.
\(p_2\) p subíndice 2 La CVR objetivo (la tasa de conversión que esperas que alcance la versión B). Es \(p_1 (1 + r/100)\) en % relativo y \(p_1 + d\) en puntos porcentuales.
\(\bar{p}\) p barra La media de las dos CVR, \((p_1 + p_2) \div 2\). Es la CVR común que se supone cuando no hay diferencia. En estadística, la barra de arriba indica una media.
\(r\) erre El MDE dado en % relativo. Viene de «ratio» e indica en qué porcentaje mejora la CVR de partida (del 3 % al 3,3 %, \(r = 10\)).
\(d\) de El MDE dado en puntos porcentuales. Viene de «diferencia» y es la diferencia de CVR tal cual (del 3 % al 3,3 %, \(d = 0{,}3\) puntos).
\(p_2 - p_1\) p subíndice 2 menos p subíndice 1 La diferencia que detectar, en puntos porcentuales escritos como decimal (0,3 puntos son 0,003). La muestra se divide entre su cuadrado, así que cuanto menor es la diferencia, más rápido crece la muestra.
\(\alpha\) alfa El nivel de significación: la probabilidad de dar por real una diferencia que no existe (la probabilidad de un error de tipo I). Lo habitual es un 5 % (0,05). Alfa es la primera letra griega, y en estadística se usa para la probabilidad del «primer» tipo de error.
\(\beta\) beta La probabilidad de no ver una diferencia que sí existe (la probabilidad de un error de tipo II). Beta es la segunda letra griega y se usa para la probabilidad del «segundo» tipo de error.
\(1-\beta\) uno menos beta La potencia: la probabilidad de encontrar una diferencia cuando existe de verdad. Lo habitual es un 80 % o un 90 %.
\(z_{\alpha/2}\) zeta subíndice alfa medios El valor z del nivel de significación \(\alpha\) en un contraste bilateral (el punto que deja por encima \(\alpha/2\) de la distribución normal estándar). Es 1,9600 al 5 %, 2,5758 al 1 % y 1,6449 al 10 %. Un contraste unilateral usa \(z_{\alpha}\) (1,6449 al 5 %).
\(z_{\beta}\) zeta subíndice beta El valor z de la potencia \(1-\beta\) (el punto que deja por debajo una probabilidad \(1-\beta\) de la distribución normal estándar). Es 0,8416 al 80 % y 1,2816 al 90 %.
\(z_{1-\beta}\) zeta subíndice uno menos beta En la fórmula de la potencia, el valor z obtenido al revés a partir de la muestra. Si lo metes en \(\Phi\), obtienes la potencia. (Es lo mismo que \(z_{\beta}\), escrito desde el lado del valor que se calcula).
\(\Phi\) fi mayúscula La función de distribución de la distribución normal estándar. Devuelve la probabilidad de que un valor z sea igual o menor que un valor dado: \(\Phi(1{,}96) \approx 0{,}975\) y \(\Phi(0{,}8416) \approx 0{,}80\). La letra griega fi mayúscula es el símbolo habitual de esta función.
\(n\) ene La muestra por grupo (para cada una de las versiones A y B). Viene de «número». El total de A y B es \(2n\).
\(\sqrt{\ \ }\) raíz cuadrada La raíz cuadrada: el número positivo que, elevado al cuadrado, da el número de dentro; por ejemplo, \(\sqrt{30000} \approx 173{,}205\). Aparece al calcular la dispersión (desviación típica) de una CVR.
\(V\) uve Las visitas diarias (todas las visitas de la página que se prueba, A y B juntos). Viene de «visitas».
\(D\) de Los días necesarios. Viene de «días».
\(\lceil\ \rceil\) función techo El símbolo de redondear hacia arriba (la función techo). Da el menor número entero mayor o igual que el número de dentro (\(\lceil 53{,}211 \rceil = 54\)).

Términos

test A/B Experimento que reparte al azar a los visitantes entre la versión actual (A) y una nueva (B) durante el mismo periodo, para ver cuál funciona mejor (por ejemplo, cuál tiene mayor CVR). Sirve para comprobar con datos, y no por intuición, si un cambio como el color de un botón, un titular, la forma de mostrar un precio o el diseño de una landing page ayuda de verdad.
CVR (tasa de conversión) La proporción de visitantes o clics que terminan en una acción objetivo (una conversión), como una compra o un alta. Son las siglas del inglés conversion rate. En las fórmulas de esta página, la CVR de la versión A es \(p_1\) y la de la B, \(p_2\).
MDE (efecto mínimo detectable) La mejora más pequeña que quieres poder detectar (en inglés, minimum detectable effect). Es lo primero que hay que decidir al planificar un test A/B. Cuanto más pequeño, más rápido crece la muestra (es inversamente proporcional al cuadrado de la diferencia), así que elige la mejora más pequeña que de verdad importe para tu negocio.
nivel de significación La probabilidad \(\alpha\) del error que estás dispuesto a aceptar: ver una diferencia casual y darla por real cuando no hay diferencia. Lo habitual es un 5 %, que permite una falsa alarma más o menos 1 vez de cada 20. Un nivel más exigente (1 %) necesita una muestra mayor.
potencia estadística La probabilidad \(1-\beta\) de encontrar una diferencia cuando existe de verdad (también, potencia del contraste). Lo habitual es un 80 %, que acepta que se escape una mejora real más o menos 1 vez de cada 5. Si un test de poca potencia dice «no hay diferencia», eso no demuestra que no la haya.
error de tipo I El error de dar por real una diferencia que no existe (un falso positivo). La probabilidad que admites para él es el nivel de significación \(\alpha\). Es la otra cara del error de tipo II (no ver una diferencia): si bajas uno, el otro tiende a subir. La forma más básica de reducir los dos es una muestra mayor.
error de tipo II El error de no ver una diferencia que sí existe (un falso negativo). Su probabilidad es \(\beta\), y \(1-\beta\) es la potencia. Es la otra cara del error de tipo I (una falsa alarma): si bajas uno, el otro tiende a subir. La forma más básica de reducir los dos es una muestra mayor.
hipótesis nula La hipótesis «las versiones A y B tienen la misma CVR» que el contraste intenta rechazar. El contraste se pregunta lo raros que serían los datos si la hipótesis nula fuera cierta. Si son lo bastante raros, se rechaza y el resultado es «hay diferencia».
hipótesis alternativa La hipótesis «las versiones A y B tienen distinta CVR» que el contraste intenta demostrar. Se acepta cuando se rechaza la hipótesis nula (no hay diferencia).
contraste bilateral Contraste que cuenta como diferencia tanto «B es mayor» como «B es menor». Es el de un test A/B normal, en el que no sabes hacia dónde irá. Necesita una muestra mayor que un contraste unilateral, pero también detecta que B empeore.
contraste unilateral Contraste que solo busca «B es mayor». Necesita una muestra menor que un contraste bilateral, pero no detecta que B empeore, así que hay que elegirlo antes de empezar el test. (Pasar a unilateral después de ver los resultados no es válido).
contraste z de dos proporciones Contraste que comprueba si dos grupos tienen distinta proporción (por ejemplo, distinta CVR) usando un valor z (la diferencia tipificada) y la distribución normal estándar. Las fórmulas de esta página calculan la muestra para este contraste. La aproximación normal funciona cuando cada grupo tiene suficientes conversiones (como regla práctica, al menos de 5 a 10).
distribución normal estándar La distribución normal de media 0 y desviación típica 1 (una campana simétrica). Un valor z es un punto de su eje horizontal, y cada valor z corresponde a una probabilidad, como en «el área a la derecha de 1,96 es un 2,5 %».
función de distribución Función que devuelve la probabilidad de obtener un valor dado o menos. La de la distribución normal estándar se escribe \(\Phi\) y aparece al final de la fórmula de la potencia. En Excel es DISTR.NORM.ESTAND.N (con VERDADERO como segundo argumento), y en Python, NormalDist().cdf.
desviación típica Mide lo dispersos que están los datos (su dispersión). La dispersión de una proporción \(p\) es proporcional a \(\sqrt{p(1-p)}\). Las expresiones \(\sqrt{2\bar{p}(1-\bar{p})}\) y \(\sqrt{p_1(1-p_1)+p_2(1-p_2)}\) de las fórmulas son la dispersión de la diferencia entre las CVR de los dos grupos.
comparaciones múltiples Comparar a la vez varias versiones B o varias métricas. Cuantas más comparaciones, más probable es que al menos una parezca significativa por azar, así que hace falta un ajuste, como dividir el nivel de significación entre el número de comparaciones (la corrección de Bonferroni).
peeking Mirar los resultados una y otra vez antes de llegar a la muestra necesaria y parar el test en cuanto parece significativo (parar antes de tiempo). Así es fácil quedarse con diferencias casuales, y un test pensado con un nivel de significación del 5 % se equivoca en realidad mucho más a menudo. Las fórmulas de esta página suponen que fijas la muestra de antemano y esperas a alcanzarla.

Conviene saber antes de empezar

Esto es lo que te ayuda a usar el cálculo de esta página entendiendo lo que haces, no solo pulsando el botón.
Si te atascas, repasar estos temas es el camino más rápido.

Porcentajes (5.º y 6.º de Primaria, 10-12 años)
  • Pasar de porcentajes a decimales y al revés (\(3\ \% = 0{,}03\), \(0{,}033 = 3{,}3\ \%\))
  • Distinguir un aumento en % relativo (el 3 % más una décima parte es el 3,3 %) de un aumento en puntos porcentuales (3 % + 0,3 puntos = 3,3 %)
Raíces cuadradas (1.º y 2.º de ESO, 12-14 años)
  • Saber que \(\sqrt{a}\) es el número positivo que, elevado al cuadrado, da \(a\), y calcular con la calculadora valores como \(\sqrt{30000} \approx 173{,}2\)
  • Saber que, cuando divides entre un cuadrado, si el divisor se reduce a la mitad, el resultado se multiplica por 4 (\((1/2)^2 = 1/4\))
Probabilidad básica (2.º a 4.º de ESO, 13-16 años)
  • Tratar una tasa como «30 compras de cada 1000 visitas» como una probabilidad (un número entre 0 y 1)
  • Intuir que puede aparecer una diferencia por azar aunque no la haya (sacar 7 caras en 10 lanzamientos de una moneda no es raro)
La distribución normal y la puntuación z (1.º y 2.º de Bachillerato, 16-18 años)
  • Saber que la distribución normal es una campana simétrica y que alrededor del 95 % queda a menos de 1,96 desviaciones típicas de la media
  • Saber que una puntuación z indica a cuántas desviaciones típicas de la media está un valor
La idea del contraste de hipótesis (Bachillerato o primeros cursos de universidad, 17 años o más)
  • Entender cómo funciona un contraste: planteas la hipótesis nula «no hay diferencia» y, si los datos serían raros con ella, concluyes «hay diferencia»
  • Saber que el nivel de significación \(\alpha\) (la probabilidad de dar por real una diferencia que no existe) y la potencia \(1-\beta\) (la probabilidad de encontrar una diferencia real) se refieren a dos errores distintos
Redondear hacia arriba (4.º de Primaria, 9-10 años)
  • Entender por qué las personas y los días se redondean hacia arriba a números enteros, como 53.210,3 visitas que pasan a ser 53.211 y 53,211 días que pasan a ser 54

Cómo calcularlo en Excel

Copia la tabla entera y pégala en la celda A1 de Excel. Funciona tal cual.
Tabla para calcular la CVR objetivo (% relativo)
CVR de partida p1 (%) 3
Mejora relativa r (%) 10
CVR objetivo p2 (%) =B1*(1+B2/100)
Tabla para calcular la muestra por grupo
CVR de partida p1 (%) 3
CVR objetivo p2 (%) 3,3
Nivel de significación α (%, bilateral) 5
Potencia 1−β (%) 80
z_α/2 =INV.NORM.ESTAND(1-B3/100/2)
z_β =INV.NORM.ESTAND(B4/100)
CVR media p̄ =(B1+B2)/2/100
Muestra por grupo n (redondeada hacia arriba) =REDONDEAR.MAS((B5*RAIZ(2*B7*(1-B7))+B6*RAIZ(B1/100*(1-B1/100)+B2/100*(1-B2/100)))^2/((B2-B1)/100)^2;0)
Tabla para calcular los días necesarios
Muestra por grupo n 53211
Visitas diarias V (total A + B) 2000
Días necesarios D (redondeado hacia arriba) =REDONDEAR.MAS(2*B1/B2;0)
Tabla para calcular la potencia (muestra por grupo fija)
CVR de partida p1 (%) 3
CVR objetivo p2 (%) 3,3
Nivel de significación α (%, bilateral) 5
Muestra por grupo n 30000
z_α/2 =INV.NORM.ESTAND(1-B3/100/2)
CVR media p̄ =(B1+B2)/2/100
z_1−β =(ABS(B2-B1)/100*RAIZ(B4)-B5*RAIZ(2*B6*(1-B6)))/RAIZ(B1/100*(1-B1/100)+B2/100*(1-B2/100))
Potencia 1−β (%) =DISTR.NORM.ESTAND.N(B7;VERDADERO)*100
Al pegarla, las filas de arriba son tus datos y la última fila se calcula sola.
La primera tabla muestra 3,3 en B3 (una CVR objetivo del 3,3 %), la segunda 53211 en B8 (la muestra por grupo), la tercera 54 en B3 (los días necesarios) y la cuarta unos 55,71 en B8 (una potencia del 55,71 %).
INV.NORM.ESTAND convierte una probabilidad en un valor z, y DISTR.NORM.ESTAND.N (con VERDADERO como segundo argumento) convierte un valor z en una probabilidad. Para un contraste unilateral, borra el «/2» de la fórmula de z_α/2 para que quede =INV.NORM.ESTAND(1-B3/100). REDONDEAR.MAS(…;0) redondea hacia arriba.

Cómo calcularlo en Hojas de cálculo de Google

Copia la tabla entera y pégala en la celda A1 de Hojas de cálculo de Google. Funciona tal cual.
Tabla para calcular la CVR objetivo (% relativo)
CVR de partida p1 (%) 3
Mejora relativa r (%) 10
CVR objetivo p2 (%) =B1*(1+B2/100)
Tabla para calcular la muestra por grupo
CVR de partida p1 (%) 3
CVR objetivo p2 (%) 3,3
Nivel de significación α (%, bilateral) 5
Potencia 1−β (%) 80
z_α/2 =DISTR.NORM.ESTAND.INV(1-B3/100/2)
z_β =DISTR.NORM.ESTAND.INV(B4/100)
CVR media p̄ =(B1+B2)/2/100
Muestra por grupo n (redondeada hacia arriba) =REDONDEAR.MAS((B5*RAIZ(2*B7*(1-B7))+B6*RAIZ(B1/100*(1-B1/100)+B2/100*(1-B2/100)))^2/((B2-B1)/100)^2;0)
Tabla para calcular los días necesarios
Muestra por grupo n 53211
Visitas diarias V (total A + B) 2000
Días necesarios D (redondeado hacia arriba) =REDONDEAR.MAS(2*B1/B2;0)
Tabla para calcular la potencia (muestra por grupo fija)
CVR de partida p1 (%) 3
CVR objetivo p2 (%) 3,3
Nivel de significación α (%, bilateral) 5
Muestra por grupo n 30000
z_α/2 =DISTR.NORM.ESTAND.INV(1-B3/100/2)
CVR media p̄ =(B1+B2)/2/100
z_1−β =(ABS(B2-B1)/100*RAIZ(B4)-B5*RAIZ(2*B6*(1-B6)))/RAIZ(B1/100*(1-B1/100)+B2/100*(1-B2/100))
Potencia 1−β (%) =DISTR.NORM.ESTAND(B7)*100
Funcionan casi las mismas fórmulas que en Excel. En Hojas de cálculo de Google, la inversa de la normal estándar se escribe DISTR.NORM.ESTAND.INV(p) y la probabilidad acumulada DISTR.NORM.ESTAND(z) (hacen lo mismo que INV.NORM.ESTAND y DISTR.NORM.ESTAND.N de Excel); REDONDEAR.MAS es igual. Copia la tabla entera, pégala en la celda A1 y cambia los datos de la columna B por los tuyos.

Cómo calcularlo en Python

from math import sqrt, ceil
from statistics import NormalDist

base_cvr = 3.0          # CVR de partida (%)
relative_mde = 10.0     # MDE que detectar (% relativo)
alpha = 0.05            # nivel de significación (bilateral)
power = 0.80            # potencia
daily_visits = 2000     # visitas diarias (total A + B)

p1 = base_cvr / 100
p2 = p1 * (1 + relative_mde / 100)          # CVR objetivo
z_alpha = NormalDist().inv_cdf(1 - alpha / 2)  # para un contraste unilateral, usa 1 - alpha
z_beta = NormalDist().inv_cdf(power)
p_bar = (p1 + p2) / 2

n_exact = (z_alpha * sqrt(2 * p_bar * (1 - p_bar))
           + z_beta * sqrt(p1 * (1 - p1) + p2 * (1 - p2))) ** 2 / (p2 - p1) ** 2
n_per_group = ceil(n_exact)                  # muestra por grupo (redondeada hacia arriba)
days = ceil(2 * n_per_group / daily_visits)  # días necesarios

print(f"CVR objetivo: {p2 * 100:.4g} %")
print(f"Muestra por grupo: {n_per_group} (total {2 * n_per_group})")
print(f"Días necesarios: {days}")

# Al revés: potencia con 30.000 visitas por grupo
n_fixed = 30000
z_power = (abs(p2 - p1) * sqrt(n_fixed) - z_alpha * sqrt(2 * p_bar * (1 - p_bar))) \
          / sqrt(p1 * (1 - p1) + p2 * (1 - p2))
print(f"Potencia con {n_fixed} por grupo: {NormalDist().cdf(z_power) * 100:.2f} %")
Funciona solo con la biblioteca estándar (statistics.NormalDist necesita Python 3.8 o posterior). En este ejemplo, la CVR objetivo es del 3,3 %, la muestra por grupo es de 53211 (106422 en total), los días necesarios son 54 y la potencia con 30.000 visitas por grupo es de un 55,71 % (en la salida de Python los decimales llevan punto). Cambia los valores del principio y ejecútalo.

Cómo escribirla en LaTeX y otros lenguajes de fórmulas (para copiar y pegar)

Fórmula de la CVR objetivo (la CVR que esperas que alcance la versión B)
p₂ = p₁ × (1 + r/100)
p_2 = p_1 \left(1 + \dfrac{r}{100}\right)
<math xmlns="http://www.w3.org/1998/Math/MathML" display="block">
  <mrow>
    <msub><mi>p</mi><mn>2</mn></msub>
    <mo>=</mo>
    <msub><mi>p</mi><mn>1</mn></msub>
    <mo>(</mo><mn>1</mn><mo>+</mo><mfrac><mi>r</mi><mn>100</mn></mfrac><mo>)</mo>
  </mrow>
</math>
p_2 = p_1 (1 + r/100)
p1*(1 + r/100)
p2 := p1*(1 + r/100);
p2 = p1*(1 + r/100);
p_2 = p_1 (1 + r/100)
Fórmula de la muestra por grupo (contraste z de dos proporciones)
n = (z_α/2 √(2p̄(1 − p̄)) + z_β √(p₁(1 − p₁) + p₂(1 − p₂)))² ÷ (p₂ − p₁)²
n = \dfrac{\left( z_{\alpha/2}\sqrt{2\bar{p}(1-\bar{p})} + z_{\beta}\sqrt{p_1(1-p_1)+p_2(1-p_2)} \right)^2}{(p_2 - p_1)^2}
<math xmlns="http://www.w3.org/1998/Math/MathML" display="block">
  <mrow>
    <mi>n</mi>
    <mo>=</mo>
    <mfrac>
      <msup>
        <mrow>
          <mo>(</mo>
          <msub><mi>z</mi><mrow><mi>&#x3B1;</mi><mo>/</mo><mn>2</mn></mrow></msub>
          <msqrt><mn>2</mn><mover><mi>p</mi><mo>&#xAF;</mo></mover><mo>(</mo><mn>1</mn><mo>&#x2212;</mo><mover><mi>p</mi><mo>&#xAF;</mo></mover><mo>)</mo></msqrt>
          <mo>+</mo>
          <msub><mi>z</mi><mi>&#x3B2;</mi></msub>
          <msqrt>
            <msub><mi>p</mi><mn>1</mn></msub><mo>(</mo><mn>1</mn><mo>&#x2212;</mo><msub><mi>p</mi><mn>1</mn></msub><mo>)</mo>
            <mo>+</mo>
            <msub><mi>p</mi><mn>2</mn></msub><mo>(</mo><mn>1</mn><mo>&#x2212;</mo><msub><mi>p</mi><mn>2</mn></msub><mo>)</mo>
          </msqrt>
          <mo>)</mo>
        </mrow>
        <mn>2</mn>
      </msup>
      <msup>
        <mrow><mo>(</mo><msub><mi>p</mi><mn>2</mn></msub><mo>&#x2212;</mo><msub><mi>p</mi><mn>1</mn></msub><mo>)</mo></mrow>
        <mn>2</mn>
      </msup>
    </mfrac>
  </mrow>
</math>
n = (z_(alpha/2) sqrt(2 bar p (1 - bar p)) + z_beta sqrt(p_1(1 - p_1) + p_2(1 - p_2)))^2 / (p_2 - p_1)^2
Ceiling[(za*Sqrt[2*pbar*(1 - pbar)] + zb*Sqrt[p1*(1 - p1) + p2*(1 - p2)])^2/(p2 - p1)^2]
n := ceil((za*sqrt(2*pbar*(1 - pbar)) + zb*sqrt(p1*(1 - p1) + p2*(1 - p2)))^2/(p2 - p1)^2);
n = ceil((za*sqrt(2*pbar*(1 - pbar)) + zb*sqrt(p1*(1 - p1) + p2*(1 - p2)))^2/(p2 - p1)^2);
n = (z_(α/2) √(2p̄(1 − p̄)) + z_β √(p_1(1 − p_1) + p_2(1 − p_2)))^2/(p_2 − p_1)^2
Fórmula de los días necesarios (con las visitas diarias)
D = ⌈2n ÷ V⌉
D = \left\lceil \dfrac{2n}{V} \right\rceil
<math xmlns="http://www.w3.org/1998/Math/MathML" display="block">
  <mrow>
    <mi>D</mi>
    <mo>=</mo>
    <mo>&#x2308;</mo>
    <mfrac><mrow><mn>2</mn><mi>n</mi></mrow><mi>V</mi></mfrac>
    <mo>&#x2309;</mo>
  </mrow>
</math>
D = |~ (2n)/V ~|
Ceiling[2*n/v]
days := ceil(2*n/V);
D = ceil(2*n/V);
D = ⌈2n/V⌉
Fórmula de la potencia (con una muestra por grupo fija)
1 − β = Φ((|p₂ − p₁|√n − z_α/2 √(2p̄(1 − p̄))) ÷ √(p₁(1 − p₁) + p₂(1 − p₂)))
1 - \beta = \Phi\left( \dfrac{|p_2 - p_1|\sqrt{n} - z_{\alpha/2}\sqrt{2\bar{p}(1-\bar{p})}}{\sqrt{p_1(1-p_1)+p_2(1-p_2)}} \right)
<math xmlns="http://www.w3.org/1998/Math/MathML" display="block">
  <mrow>
    <mn>1</mn><mo>&#x2212;</mo><mi>&#x3B2;</mi>
    <mo>=</mo>
    <mi>&#x3A6;</mi>
    <mo>(</mo>
    <mfrac>
      <mrow>
        <mo>|</mo><msub><mi>p</mi><mn>2</mn></msub><mo>&#x2212;</mo><msub><mi>p</mi><mn>1</mn></msub><mo>|</mo>
        <msqrt><mi>n</mi></msqrt>
        <mo>&#x2212;</mo>
        <msub><mi>z</mi><mrow><mi>&#x3B1;</mi><mo>/</mo><mn>2</mn></mrow></msub>
        <msqrt><mn>2</mn><mover><mi>p</mi><mo>&#xAF;</mo></mover><mo>(</mo><mn>1</mn><mo>&#x2212;</mo><mover><mi>p</mi><mo>&#xAF;</mo></mover><mo>)</mo></msqrt>
      </mrow>
      <msqrt>
        <msub><mi>p</mi><mn>1</mn></msub><mo>(</mo><mn>1</mn><mo>&#x2212;</mo><msub><mi>p</mi><mn>1</mn></msub><mo>)</mo>
        <mo>+</mo>
        <msub><mi>p</mi><mn>2</mn></msub><mo>(</mo><mn>1</mn><mo>&#x2212;</mo><msub><mi>p</mi><mn>2</mn></msub><mo>)</mo>
      </msqrt>
    </mfrac>
    <mo>)</mo>
  </mrow>
</math>
1 - beta = Phi((|p_2 - p_1| sqrt(n) - z_(alpha/2) sqrt(2 bar p (1 - bar p))) / sqrt(p_1(1 - p_1) + p_2(1 - p_2)))
CDF[NormalDistribution[0, 1], (Abs[p2 - p1]*Sqrt[n] - za*Sqrt[2*pbar*(1 - pbar)])/Sqrt[p1*(1 - p1) + p2*(1 - p2)]]
power := Statistics[CDF](Normal(0, 1), (abs(p2 - p1)*sqrt(n) - za*sqrt(2*pbar*(1 - pbar)))/sqrt(p1*(1 - p1) + p2*(1 - p2)));
power = normcdf((abs(p2 - p1)*sqrt(n) - za*sqrt(2*pbar*(1 - pbar)))/sqrt(p1*(1 - p1) + p2*(1 - p2)));
1 − β = Φ((|p_2 − p_1| √n − z_(α/2) √(2p̄(1 − p̄)))/√(p_1(1 − p_1) + p_2(1 − p_2)))

Cómo pedirle el cálculo a ChatGPT 

Eres un asistente para planificar tests A/B. Haz el siguiente cálculo ejecutando de verdad código Python y basa tu respuesta solo en los números del resultado de la ejecución (no respondas con cálculo mental ni con estimaciones).

La CVR de la página actual (CVR de partida) es del 3 %. Quiero poder detectar con la versión B una mejora relativa del 10 % (una CVR del 3,3 %).
Con un nivel de significación del 5 % (contraste bilateral) y una potencia del 80 %, calcula lo siguiente:
1. La CVR objetivo p2 (p2 = p1 × (1 + 10/100))
2. La muestra por grupo n (fórmula del contraste z de dos proporciones: n = (z_{α/2}·√(2p̄(1−p̄)) + z_β·√(p1(1−p1)+p2(1−p2)))² ÷ (p2−p1)², con p̄ = (p1+p2)/2, redondeando hacia arriba) y la muestra total de A y B
3. Los días necesarios (redondeando hacia arriba) con 2000 visitas diarias (A y B juntos)
4. La potencia si solo se pueden conseguir 30.000 visitas por grupo (1−β = Φ((|p2−p1|·√n − z_{α/2}·√(2p̄(1−p̄))) ÷ √(p1(1−p1)+p2(1−p2))))

Usa statistics.NormalDist para los valores z y la función de distribución, y muestra las fórmulas que has usado y los números del resultado de la ejecución.

Cómo usar
  1. 1
    Introduce los datos
    Escribe en las casillas los números con los que quieres calcular
  2. 2
    Calcula
    Pulsa el botón «Calcular»
  3. 3
    Consulta el resultado
    El resultado aparece al instante. En la misma página tienes también la idea del cálculo y la explicación de la fórmula
  Las ventajas de DataChef
Fácil y gratis
Conversiones gratis e ilimitadas
Sin conocimientos técnicos: fácil e intuitivo
Sin registro
Disponible nada más entrar
Sin necesidad de dar datos personales
Seguro y protegido
Conexión cifrada y segura (SSL)
Los archivos se borran automáticamente tras la descarga
Alta velocidad
Carga y conversión rápidas, sin esperas
Sin marcas de agua
Sin marca de agua
Sin necesidad de atribución
Uso comercial permitido
Uso comercial gratuito
Sin necesidad de pedir permiso