Marcadores    
nCr y nPr    
Frecuencias    
Puntuación z    
Porcentajes    
Proporciones    
Descuentos    
Velocidad    
Densidad    
Molaridad    
Masa molar    
Ley de Ohm    
Divisiones    
Divisores    
Fracciones    
Redondeo    
Ecuaciones    
Sistemas 2x2    
Inecuaciones    
Potencias    
Logaritmos    
Semivida    
Forma polar    
De Moivre    
Pendiente    
Distancia GPS    
Cónicas    
Fibonacci    
Recurrencias    
Vectores    
Matrices    
Determinantes    
sen, cos, tg    
Triángulos    
Círculo    
Calcular edad    
Sumar horas    
Valor actual    
Valor futuro    
Payback    
Tráfico SEO    
Punto muerto    
Calcular CAGR    
Peso ideal    
Masa magra    
Talla diana    
Wind chill    
kWh a euros    
Consumo real    
Papel pintado    
Agujero guía    
m³ de madera    
   Agregar
Probabilidad y números aleatorios: calculadoras
Dos sucesos (y, o)
Dos sucesos (y, o)
Hallar P(A) y P(B)
Hallar P(A) y P(B)
Al menos una vez
Al menos una vez
Teorema de Bayes
Teorema de Bayes
Valor esperado
Valor esperado
Binomial B(n, p)
Binomial B(n, p)
nCr y nPr
nCr y nPr
Perm. circulares
Perm. circulares
Con repetición
Con repetición
Números aleatorios
Números aleatorios
Medias y estadística: calculadoras
Calcular la media
Calcular la media
Media, moda, rango
Media, moda, rango
Desviación típica
Desviación típica
Cuartiles e IQR
Cuartiles e IQR
Frecuencias
Frecuencias
Correlación (r)
Correlación (r)
Campana de Gauss
Campana de Gauss
Puntuación z
Puntuación z
IC de la media
IC de la media
Tamaño muestral
Tamaño muestral
Captura-recaptura
Captura-recaptura
Calcular p-valor
Calcular p-valor
Porcentajes y proporciones: calculadoras
Porcentajes
Porcentajes
Variación en %
Variación en %
Diferencia en %
Diferencia en %
Error relativo
Error relativo
Proporciones
Proporciones
Descuentos
Descuentos
Calculadora de IVA
Calculadora de IVA
Calcular margen
Calcular margen
Velocidad: calculadoras
Velocidad
Velocidad
Densidad y concentración: calculadoras
Densidad
Densidad
Molaridad
Molaridad
Masa molar
Masa molar
Física y electricidad: calculadoras
Ley de Ohm
Ley de Ohm
Vatios a amperios
Vatios a amperios
Código de colores
Código de colores
Caída de tensión
Caída de tensión
Conversión de unidades: calculadoras
Conversor de peso
Conversor de peso
Tallas de zapatos
Tallas de zapatos
Números enteros y con signo: calculadoras
Divisiones
Divisiones
Calculadora MCM
Calculadora MCM
Calculadora MCD
Calculadora MCD
Números enteros
Números enteros
Factores primos
Factores primos
Ec. diofánticas
Ec. diofánticas
Calculadora mod
Calculadora mod
Divisores
Divisores
Números romanos
Números romanos
Fracciones, decimales y redondeo: calculadoras
Fracciones
Fracciones
Números mixtos
Números mixtos
Simplificación
Simplificación
Fracción a decimal
Fracción a decimal
Decimal a fracción
Decimal a fracción
Redondeo
Redondeo
Ecuaciones e inecuaciones: calculadoras
Ecuaciones
Ecuaciones
Sistemas 2x2
Sistemas 2x2
Ecuación 2.º grado
Ecuación 2.º grado
Valor absoluto
Valor absoluto
Inecuaciones
Inecuaciones
Polinomios: calculadoras
Binomio de Newton
Binomio de Newton
Raíces cuadradas y raíces n-ésimas: calculadoras
Simplificar raíces
Simplificar raíces
Calcular raíces
Calcular raíces
Potencias y logaritmos: calculadoras
Potencias
Potencias
Logaritmos
Logaritmos
Número de cifras
Número de cifras
Notación ×10ⁿ
Notación ×10ⁿ
Operar ×10ⁿ
Operar ×10ⁿ
Semivida
Semivida
Números complejos: calculadoras
Números complejos
Números complejos
Forma polar
Forma polar
De Moivre
De Moivre
Funciones y gráficas: calculadoras
Pendiente
Pendiente
Ecuación recta
Ecuación recta
Proporcionalidad
Proporcionalidad
Función y = ax²
Función y = ax²
Distancia 2 puntos
Distancia 2 puntos
Distancia en 3D
Distancia en 3D
Dividir segmento
Dividir segmento
Distancia a recta
Distancia a recta
Distancia GPS
Distancia GPS
Completar cuadrado
Completar cuadrado
Circunferencia
Circunferencia
Cónicas
Cónicas
Coord. polares
Coord. polares
Sucesiones: calculadoras
Prog. aritmética
Prog. aritmética
Prog. geométrica
Prog. geométrica
Fibonacci
Fibonacci
Recurrencias
Recurrencias
Vectores: calculadoras
Vectores
Vectores
Producto vectorial
Producto vectorial
Matrices: calculadoras
Matrices
Matrices
Determinantes
Determinantes
Matriz inversa
Matriz inversa
Geometría plana: calculadoras
sen, cos, tg
sen, cos, tg
Grados ⇔ radianes
Grados ⇔ radianes
a sen θ + b cos θ
a sen θ + b cos θ
Triángulos
Triángulos
Área del triángulo
Área del triángulo
Resolver triángulo
Resolver triángulo
Teorema Pitágoras
Teorema Pitágoras
Ángulos polígono
Ángulos polígono
Razón semejanza
Razón semejanza
Rectas paralelas
Rectas paralelas
Área rectángulo
Área rectángulo
Área paralelogramo
Área paralelogramo
Área del trapecio
Área del trapecio
Círculo
Círculo
Sector circular
Sector circular
Ángulo inscrito
Ángulo inscrito
Área de la elipse
Área de la elipse
Geometría del espacio: calculadoras
Volumen del cubo
Volumen del cubo
Área del cubo
Área del cubo
Volumen ortoedro
Volumen ortoedro
Área del ortoedro
Área del ortoedro
Volumen cilindro
Volumen cilindro
Área del cilindro
Área del cilindro
Volumen de esfera
Volumen de esfera
Área de la esfera
Área de la esfera
Vol. del casquete
Vol. del casquete
Área del casquete
Área del casquete
Vol. del elipsoide
Vol. del elipsoide
Área del elipsoide
Área del elipsoide
Volumen pirámide
Volumen pirámide
Área pirámide
Área pirámide
Volumen del cono
Volumen del cono
Área del cono
Área del cono
Tronco de cono
Tronco de cono
Área tronco de cono
Área tronco de cono
Volumen de un tubo
Volumen de un tubo
Volumen cápsula
Volumen cápsula
Área de la cápsula
Área de la cápsula
Fechas y horas: calculadoras
Calcular edad
Calcular edad
Días entre fechas
Días entre fechas
Sumar días a fecha
Sumar días a fecha
Dentro de X horas
Dentro de X horas
Día de la semana
Día de la semana
Sumar horas
Sumar horas
Diferencia horaria
Diferencia horaria
Horas trabajadas
Horas trabajadas
Tiempo entre horas
Tiempo entre horas
Horas trabajadas
Horas trabajadas
Finanzas y economía: calculadoras
Interés compuesto
Interés compuesto
Interés simple
Interés simple
Ahorro e intereses
Ahorro e intereses
Calculadora TVM
Calculadora TVM
Valor actual
Valor actual
Valor futuro
Valor futuro
Calculadora de ROI
Calculadora de ROI
Calculadora de TIR
Calculadora de TIR
Payback
Payback
Rentabilidad media
Rentabilidad media
Calcular el PIB
Calcular el PIB
Marketing online y métricas publicitarias: calculadoras
Calcular el CTR
Calcular el CTR
Tasa de conversión
Tasa de conversión
CPC, CPM y CPA
CPC, CPM y CPA
Calcular el ROAS
Calcular el ROAS
CPA de equilibrio
CPA de equilibrio
Calcular el LTV
Calcular el LTV
Calcular el CAC
Calcular el CAC
Calcular el churn
Calcular el churn
Significación A/B
Significación A/B
Muestra test A/B
Muestra test A/B
Tráfico SEO
Tráfico SEO
Punto muerto
Punto muerto
Margen y markup
Margen y markup
Calcular CAGR
Calcular CAGR
Salud y forma física: calculadoras
Calculadora IMC
Calculadora IMC
Ciclos de sueño
Ciclos de sueño
Calorías diarias
Calorías diarias
Metabolismo basal
Metabolismo basal
Calculadora TDEE
Calculadora TDEE
Peso ideal
Peso ideal
Grasa corporal
Grasa corporal
Masa magra
Masa magra
Calorías quemadas
Calorías quemadas
Proteínas al día
Proteínas al día
Calcular macros
Calcular macros
Hidratos al día
Hidratos al día
Grasas al día
Grasas al día
Talla diana
Talla diana
Deporte: calculadoras
Hándicap de golf
Hándicap de golf
Calcular ritmo
Calcular ritmo
Calculadora 1RM
Calculadora 1RM
Zonas de pulso
Zonas de pulso
Meteorología: calculadoras
Índice de calor
Índice de calor
Wind chill
Wind chill
Punto de rocío
Punto de rocío
Informática: calculadoras
Cambio de base
Cambio de base
Calcular subredes
Calcular subredes
Tiempo de descarga
Tiempo de descarga
Energía del hogar y presupuesto: calculadoras
Consumo eléctrico
Consumo eléctrico
kWh a euros
kWh a euros
kWh/año a euros
kWh/año a euros
Frigorías por m²
Frigorías por m²
Gasto del aire
Gasto del aire
Gasto calefacción
Gasto calefacción
Gas o electricidad
Gas o electricidad
Ahorro con LED
Ahorro con LED
Calculadora sueldo
Calculadora sueldo
Presupuesto hogar
Presupuesto hogar
Coche: calculadoras
Gasto de gasolina
Gasto de gasolina
Coste de recarga
Coste de recarga
VE vs gasolina
VE vs gasolina
Consumo real
Consumo real
Medida neumático
Medida neumático
Energía solar y baterías: calculadoras
Producción solar
Producción solar
Número de placas
Número de placas
Amortización solar
Amortización solar
Batería doméstica
Batería doméstica
Casa y bricolaje: calculadoras
Calcular baldosas
Calcular baldosas
Calcular escalera
Calcular escalera
Calcular hormigón
Calcular hormigón
m² de paredes
m² de paredes
Papel pintado
Papel pintado
Calcular pintura
Calcular pintura
Suelo laminado
Suelo laminado
m² de fachada
m² de fachada
Calcular grava
Calcular grava
Mortero y hormigón
Mortero y hormigón
Calcular pendiente
Calcular pendiente
Despiece de madera
Despiece de madera
Edificabilidad
Edificabilidad
Vinílico en rollo
Vinílico en rollo
Calcular aislante
Calcular aislante
Medir cortinas
Medir cortinas
Pulgadas de TV
Pulgadas de TV
Calcular sustrato
Calcular sustrato
Césped en rollo
Césped en rollo
Calcular bloques
Calcular bloques
Calcular ladrillos
Calcular ladrillos
Tarima exterior
Tarima exterior
Longitud de rampa
Longitud de rampa
Agujero guía
Agujero guía
Renovaciones/hora
Renovaciones/hora
Diluir pintura
Diluir pintura
Calcular rodapié
Calcular rodapié
Medir un estor
Medir un estor
Colgar cuadros
Colgar cuadros
Pendiente desagüe
Pendiente desagüe
Calcular tornillos
Calcular tornillos
m³ de madera
m³ de madera
Calcular valla
Calcular valla
Contracción madera
Contracción madera
Calcular silicona
Calcular silicona
Pérdidas de calor
Pérdidas de calor
¿Cabe el mueble?
¿Cabe el mueble?
Cajas de mudanza
Cajas de mudanza
Capacidad armario
Capacidad armario
Despiece tableros
Despiece tableros
Flecha de baldas
Flecha de baldas

Calculadora de significación estadística para test A/B (tasa de conversión, p-valor e intervalo de confianza)

Introduce las visitas y las conversiones del grupo A (la versión original) y del grupo B (la versión cambiada). Además de cada tasa de conversión, la diferencia y la mejora relativa, hace un contraste z de dos proporciones para obtener la puntuación z y el p-valor, y concluye «significativo / no significativo» con el nivel de significación que elijas.

Las visitas pueden ser clics, sesiones o usuarios, pero cuéntalas igual en los dos grupos. Escribe números enteros. En el nivel de significación y en unilateral/bilateral, elige lo que decidiste antes de empezar el test (cambiarlo después de ver los resultados no es un uso correcto).
Resultado y gráfica
Escribe a la izquierda las visitas y las conversiones de los grupos A y B y pulsa «Calcular». Aquí aparecerán la conclusión y una gráfica.

Qué puedes hacer en esta página

  • Con solo introducir las visitas (también valen clics o sesiones) y las conversiones de los grupos A y B, calcula de una vez la tasa de conversión de cada grupo, la diferencia entre ellas y la mejora relativa (lift)
  • «B parece mejor, pero ¿no será casualidad?». Lo responde un contraste z de dos proporciones (puntuación z, p-valor bilateral y unilateral, y conclusión con un nivel de significación del 5 %, 1 % o 10 %)
  • También da el intervalo de confianza de la diferencia (por ejemplo, al 95 %) y el margen con el que la puntuación z supera (o no alcanza) la línea de significación
  • Una gráfica de la distribución normal estándar muestra dónde cae tu puntuación z y sombrea la región de rechazo (si la z cae ahí, es significativo)
  • En esta página tienes además una explicación sencilla de las fórmulas y fórmulas para copiar y pegar en Excel, Hojas de cálculo de Google y Python
Esta página sirve solo para decidir si las tasas de conversión (proporciones) de los grupos A y B son distintas. Si solo quieres pasar una puntuación z a p-valor, usa la calculadora de p-valor; para el intervalo de confianza de una media, la del intervalo de confianza; y para el número de personas necesario para estudiar una proporción, la del tamaño de la muestra. Que algo sea «estadísticamente significativo» no garantiza que el efecto sea real ni grande (consulta «La idea clave» más abajo y los términos).

¿Para qué sirve este cálculo?

Mejorar landing pages y textos de anuncios (marketing online)

«La versión B, con otro color de botón, ha subido la tasa de conversión del 2,0 % al 2,5 %». Comprobar que esa diferencia no es pura casualidad es la significación de un test A/B, algo que se hace a diario en marketing online. Con 10.000 visitas en cada versión, el p-valor bilateral es de unos 0,017, «significativo al 5 %». Pero con tasas parecidas y 500 visitas en cada una (10 conversiones frente a 12 o 13), el p-valor ronda entre 0,5 y 0,7, y solo puedes decir «puede ser casualidad».
Si cambias de versión porque «B parece mejor», a menudo los resultados vuelven a su sitio al mes siguiente. Fijar primero el número de visitas y decidir con un nivel de significación lo evita (siempre que las visitas se repartan al azar).

Probar asuntos y horas de envío de emails (email marketing)

Envía el mismo email con dos asuntos distintos, cada uno a la mitad de la lista, y compara tasas de apertura del 48 % y del 52 %. También es un contraste de la diferencia entre dos proporciones. Con 5000 emails en cada grupo, la diferencia de 4 puntos tiene una puntuación z de unos 4, una diferencia difícil de explicar por azar.
Con el mismo número de envíos, las proporciones grandes como la tasa de apertura son más fáciles de evaluar que las pequeñas como la tasa de conversión (la diferencia suele ser grande en comparación con el error típico). Con esta fórmula te haces una idea de cómo cambia el número de envíos necesario según la métrica que compares.

Comparar tasas de respuesta a tratamientos (investigación médica)

Comparar las tasas de mejora de dos grupos, como «mejoró el 60 % con el tratamiento estándar y el 70 % con el nuevo», es un contraste básico de los estudios clínicos (los estudios reales usan diseños estrictos, como la aleatorización y el doble ciego).
Los artículos en los que se basan las autorizaciones de medicamentos y las guías de tratamiento siempre informan de p-valores e intervalos de confianza. Si entiendes esta fórmula, no te dejas llevar por la palabra «significativo»; también sabes leer «¿cómo de grande es la diferencia?» y «¿había suficientes pacientes?».

Comparar tasas de defectos en una línea de producción (control de calidad)

Cuando un nuevo proceso B parece bajar la tasa de defectos del 1,5 % al 1,0 %, la conclusión cambia con el volumen: con 2000 unidades en cada grupo está «dentro del azar», y con 20.000 en cada uno es «una mejora significativa». Este cálculo evita que las decisiones sobre maquinaria y procesos dependan del azar de muestras pequeñas.
Con proporciones pequeñas como las tasas de defectos, la aproximación normal se vuelve tosca cuando el número esperado de defectos (unidades × tasa de defectos) baja de 5, así que se elige en su lugar un contraste exacto que usa directamente la distribución binomial (como la prueba exacta de Fisher).

Medir el efecto de materiales y métodos didácticos (educación)

El mismo contraste sirve para comparaciones como «las clases con el libro nuevo aprobaron en un 75 %, frente al 65 % con el antiguo». Pero si asignas los libros por clase, los alumnos no se han repartido al azar, y las diferencias de profesorado y alumnado se mezclan en el resultado.
En la investigación educativa y en ciencias sociales, además de comprobar la significación con esta fórmula, importa el diseño: ¿se repartieron los grupos al azar? ¿Alguien cambió la forma de comparar después de ver los resultados? Conocer los supuestos de la fórmula es lo que evita que los números te engañen.

Fórmula

Tasa de conversión de cada grupo
Notación matemática (la forma habitual)
\(\hat{p}_A\) \(=\) \(x_A\) \(\div\) \(n_A\)
En palabras (los símbolos cambiados por palabras)
③ \(\hat{p}_A\): tasa de conversión de A \(=\) ① \(x_A\): conversiones en A \(\div\) ② \(n_A\): visitas en A
La fórmula en palabras
① Si tomas las \(x_A\): conversiones en A
② y las divides entre las \(n_A\): visitas en A , obtienes la
③ \(\hat{p}_A\): tasa de conversión de A (para B, la misma fórmula, \(\hat{p}_B = x_B \div n_B\))
Ejemplo rápido
Si A tiene 200 conversiones con 10.000 visitas y B tiene 250 con 10.000 visitas, las tasas de conversión son
tasa de conversión de A \(\hat{p}_A\) \(=\) conversiones (200) \(\div\) visitas (10.000)
\(200 \div 10000 = 0{,}02\ \ (2\ \%)\)
\(250 \div 10000 = 0{,}025\ \ (2{,}5\ \%)\)
La idea clave
El denominador de la tasa de conversión (las visitas) puede ser de clics, sesiones o usuarios, pero cuenta siempre A y B de la misma forma. En las fórmulas, las proporciones son decimales entre 0 y 1, como \(0{,}02\), y solo se pasan a porcentaje para mostrarlas. El símbolo \(\hat{p}\) (p gorro) significa «la tasa de conversión real \(p\), estimada con los datos que tienes». Aunque 10.000 personas vean la misma página, el número de conversiones sube o baja un poco por azar. Así que «esta vez ha salido un 2 %» no quiere decir «la tasa de conversión real es exactamente un 2 %», sino solo una estimación cercana. El contraste que viene después es la forma correcta de tratar ese vaivén aleatorio.
Diferencia de tasas de conversión y mejora relativa
Notación matemática (la forma habitual)
\(d\) \(=\) \(\hat{p}_B\) \(-\) \(\hat{p}_A\)
\(L\) \(=\) \(d\) \(\div\) \(\hat{p}_A\) \(\times\) \(100\)
En palabras (los símbolos cambiados por palabras)
③ \(d\): diferencia de tasas de conversión \(=\) ① \(\hat{p}_B\): tasa de conversión de B \(-\) ② \(\hat{p}_A\): tasa de conversión de A
⑦ \(L\): mejora relativa (%) \(=\) ④ \(d\): diferencia de tasas de conversión \(\div\) ⑤ \(\hat{p}_A\): tasa de conversión de A \(\times\) ⑥ \(100\): base del porcentaje
La fórmula en palabras
① Si a la \(\hat{p}_B\): tasa de conversión de B
② le restas la \(\hat{p}_A\): tasa de conversión de A , obtienes la
③ \(d\): diferencia de tasas de conversión (se muestra multiplicada por 100, en puntos porcentuales).
④ Si divides la \(d\): diferencia de tasas de conversión
⑤ entre la \(\hat{p}_A\): tasa de conversión de A
⑥ y multiplicas por la \(100\): base del porcentaje para pasarlo a porcentaje, obtienes la
⑦ \(L\): mejora relativa (%)
Ejemplo rápido
Si la tasa de conversión de A es 0,02 (2 %) y la de B es 0,025 (2,5 %), la diferencia y la mejora relativa son
diferencia \(d\) \(=\) tasa de conversión de B (0,025) \(-\) tasa de conversión de A (0,02)
mejora relativa \(L\) (%) \(=\) diferencia (0,005) \(\div\) tasa de conversión de A (0,02) \(\times\) \(100\)
\(0{,}025 - 0{,}02 = 0{,}005\ \ (0{,}5\ \text{puntos})\)
\(0{,}005 \div 0{,}02 \times 100 = 25\ \ (25\ \%)\)
La idea clave
«Ha subido del 2 % al 2,5 %» son 0,5 puntos porcentuales como diferencia y un 25 % más como proporción. Para no confundirse, el resultado de restar dos porcentajes se expresa en «puntos porcentuales» (p. p.), no en «%» (2,5 % − 2 % = 0,5 puntos porcentuales). La mejora relativa (lift) indica «en qué porcentaje aumenta B las conversiones respecto a A», así que se traslada directamente a previsiones de inversión publicitaria e ingresos y se usa mucho en la práctica. Pero estos dos números son la diferencia observada en esta muestra; la diferencia real puede no ser exactamente la misma. Eso es lo que comprueba el contraste que viene a continuación.
Proporción combinada (una sola tasa para los dos grupos juntos)
Notación matemática (la forma habitual)
\(\hat{p}\) \(=\) \((x_A + x_B)\) \(\div\) \((n_A + n_B)\)
En palabras (los símbolos cambiados por palabras)
③ \(\hat{p}\): proporción combinada \(=\) ① \((x_A + x_B)\): total de conversiones \(\div\) ② \((n_A + n_B)\): total de visitas
La fórmula en palabras
① Si tomas el \((x_A + x_B)\): total de conversiones
② y lo divides entre el \((n_A + n_B)\): total de visitas , obtienes la
③ \(\hat{p}\): proporción combinada
Ejemplo rápido
Si A tiene 200 conversiones con 10.000 visitas y B tiene 250 con 10.000, la proporción combinada es
proporción combinada \(\hat{p}\) \(=\) total de conversiones (200 + 250) \(\div\) total de visitas (10.000 + 10.000)
\((200 + 250) \div (10000 + 10000) = 450 \div 20000 = 0{,}0225\ \ (2{,}25\ \%)\)
La idea clave
El contraste parte de la hipótesis de que «A y B tienen en realidad la misma tasa de conversión» (la hipótesis nula). Si son iguales, los datos de los dos grupos salen de una sola tasa de conversión, así que se juntan (se combinan) para estimarla. Esa es la proporción combinada, que se usa en el cálculo del error típico que viene después. «Supongo que son iguales, hago las cuentas y una diferencia tan grande casi nunca debería pasar»: si eso es lo que sale, empiezas a dudar del supuesto (que no hay diferencia). Esa es la lógica de un contraste de hipótesis.
Error típico y puntuación z (contraste z de dos proporciones)
Notación matemática (la forma habitual)
\(\mathrm{SE}\) \(=\) \(\sqrt{\hat{p}(1-\hat{p})\left(\dfrac{1}{n_A}+\dfrac{1}{n_B}\right)}\)
\(z\) \(=\) \(d\) \(\div\) \(\mathrm{SE}\)
En palabras (los símbolos cambiados por palabras)
② \(\mathrm{SE}\): error típico \(=\) ① raíz cuadrada de: variabilidad de la proporción combinada \(\hat{p}(1-\hat{p})\) × suma de los inversos de las visitas \(\left(\dfrac{1}{n_A}+\dfrac{1}{n_B}\right)\)
⑤ \(z\): puntuación z \(=\) ③ \(d\): diferencia de tasas de conversión \(\div\) ④ \(\mathrm{SE}\): error típico
La fórmula en palabras
① La raíz cuadrada de la variabilidad de la proporción combinada \(\hat{p}(1-\hat{p})\) por la suma de los inversos de las visitas \(\left(\dfrac{1}{n_A}+\dfrac{1}{n_B}\right)\) es el
② \(\mathrm{SE}\): error típico (una referencia de cuánto se mueve la diferencia por azar).
③ Si divides la \(d\): diferencia de tasas de conversión
④ entre el \(\mathrm{SE}\): error típico , obtienes la
⑤ \(z\): puntuación z (cuántas veces el vaivén del azar mide la diferencia)
Ejemplo rápido
Con una proporción combinada de 0,0225, 10.000 visitas en cada grupo y una diferencia de 0,005, el error típico y la puntuación z son
error típico \(\mathrm{SE}\) \(=\) raíz cuadrada de «0,0225 × (1 − 0,0225) × (1/10.000 + 1/10.000)»
puntuación z \(z\) \(=\) diferencia (0,005) \(\div\) error típico (0,002097)
\(0{,}0225 \times (1 - 0{,}0225) \times \left(\dfrac{1}{10000} + \dfrac{1}{10000}\right) = 0{,}02199375 \times 0{,}0002 \approx 0{,}0000043988\)
\(\mathrm{SE} = \sqrt{0{,}0000043988} \approx 0{,}002097\)
\(z = 0{,}005 \div 0{,}002097 \approx 2{,}384\)
La idea clave
La puntuación z dice cuántas veces el vaivén del azar (el error típico) mide la diferencia observada. Cuando no hay diferencia, la puntuación z sigue la distribución normal estándar, de media 0 y desviación típica 1, así que una diferencia con \(|z|\) mayor que 2 rara vez (un 5 % de las veces o menos) aparece por azar si no hay diferencia real. En la fórmula del error típico está el inverso de las visitas \(1/n\): cuantas más visitas, menor es el error típico, y la misma diferencia de 0,5 puntos da una puntuación z mayor (se vuelve significativa con más facilidad). Con pocas visitas, incluso una diferencia grande solo permite decir «quizá es casualidad». Esta fórmula aproxima la variación del número de conversiones (una distribución binomial) por una distribución normal. Como referencia, las conversiones esperadas \(n\hat{p}\) y las no conversiones esperadas \(n(1-\hat{p})\) de cada grupo deberían ser todas de 5 o más (mejor 10 o más); si no, el resultado muestra un aviso.
P-valor (bilateral y unilateral)
Notación matemática (la forma habitual)
\(p_2\) \(=\) \(2\) \(\times\) \((\) \(1\) \(-\) \(\Phi(|z|)\) \()\)
\(p_1\) \(=\) \(1\) \(-\) \(\Phi(z)\)
En palabras (los símbolos cambiados por palabras)
④ \(p_2\): p-valor bilateral \(=\) ③ \(2\): por las dos colas \(\times\) \((\) ① \(1\): probabilidad total \(-\) ② \(\Phi(|z|)\): probabilidad acumulada hasta \(|z|\) \()\)
⑦ \(p_1\): p-valor unilateral \(=\) ⑤ \(1\): probabilidad total \(-\) ⑥ \(\Phi(z)\): probabilidad acumulada hasta \(z\)
La fórmula en palabras
① Si a la \(1\): probabilidad total
② le restas la \(\Phi(|z|)\): probabilidad acumulada hasta \(|z|\) (queda el área de una cola)
③ y multiplicas por \(2\): por las dos colas , obtienes el
④ \(p_2\): p-valor bilateral .
⑤ Si a la \(1\): probabilidad total
⑥ le restas la \(\Phi(z)\): probabilidad acumulada hasta \(z\) , obtienes el
⑦ \(p_1\): p-valor unilateral (para la hipótesis «B es mayor que A»)
Ejemplo rápido
Con una puntuación z de 2,384 (la probabilidad acumulada de la distribución normal estándar es \(\Phi(2{,}384) \approx 0{,}99144\)), el p-valor bilateral y el unilateral son
p-valor bilateral \(p_2\) \(=\) \(2\) \(\times\) \((\) \(1\) \(-\) \(\Phi(2{,}384)\) (0,99144) \()\)
\(p_2 = 2 \times (1 - 0{,}99144) = 2 \times 0{,}00856 \approx 0{,}0171\)
\(p_1 = 1 - 0{,}99144 \approx 0{,}0086\)
La idea clave
El p-valor es «la probabilidad de que salga por azar una diferencia al menos tan grande como esta cuando en realidad no hay diferencia». Un p-valor bilateral de 0,0171 dice «si no hubiera diferencia, una diferencia así de grande (en cualquier sentido) solo aparecería unas 1,7 veces de cada 100». Está por debajo del nivel de significación del 5 % (0,05), así que la conclusión es «estadísticamente significativo»; está por encima del 1 % (0,01), así que «no es significativo al 1 %». Un contraste bilateral pregunta «¿hay diferencia entre A y B (sea cual sea el mayor)?», y uno unilateral pregunta solo «¿es B mayor que A?». El p-valor unilateral es la mitad del bilateral, así que sale significativo con más facilidad, pero solo puedes usarlo si decidiste **antes de empezar el test** que no ibas a considerar que B fuera menor. Pasar a unilateral después de ver los resultados no es un uso correcto. Por el mismo motivo, mirar los resultados una y otra vez y parar en cuanto sale significativo (peeking), o contrastar muchas versiones o métricas a la vez y quedarte con lo que salga significativo (comparaciones múltiples), hace que la probabilidad de un resultado «significativo» sin diferencia real sea muchísimo mayor que el 5 %. La regla básica es decidir antes del test las visitas necesarias y las métricas que vas a mirar, esperar hasta llegar a ellas y decidir una sola vez. \(\Phi\) (fi mayúscula) es la función de distribución de la distribución normal estándar: la probabilidad de que la puntuación z sea ese valor o menos, el área a la izquierda bajo la campana. Sus valores se sacan de la tabla de la normal o con la función DISTR.NORM.ESTAND.N de Excel (la calculadora de esta página los calcula numéricamente).
Intervalo de confianza de la diferencia de tasas de conversión
Notación matemática (la forma habitual)
\(d_L,\ d_U\) \(=\) \(d\) \(\pm\) \(z_{\alpha/2}\) \(\times\) \(\sqrt{\dfrac{\hat{p}_A(1-\hat{p}_A)}{n_A}+\dfrac{\hat{p}_B(1-\hat{p}_B)}{n_B}}\)
En palabras (los símbolos cambiados por palabras)
④ \(d_L,\ d_U\): límites inferior y superior del intervalo de confianza \(=\) ① \(d\): diferencia de tasas de conversión \(\pm\) ② \(z_{\alpha/2}\): depende del nivel de confianza \(\times\) ③ \(\mathrm{SE}_d\): error típico calculado con la variabilidad de cada grupo
La fórmula en palabras
① Alrededor de la \(d\): diferencia de tasas de conversión , sube y baja
② el \(z_{\alpha/2}\): depende del nivel de confianza (1,96 al 95 %) multiplicado por el
③ \(\mathrm{SE}_d\): error típico calculado con la variabilidad de cada grupo , y obtienes los
④ \(d_L,\ d_U\): límites inferior y superior del intervalo de confianza
Ejemplo rápido
Si la tasa de conversión de A es 0,02 (10.000 visitas), la de B es 0,025 (10.000 visitas) y la diferencia es 0,005, el intervalo de confianza al 95 % de la diferencia es
inferior \(d_L\), superior \(d_U\) \(=\) diferencia (0,005) \(\pm\) \(z_{\alpha/2}\) (1,96) \(\times\) error típico (0,002097)
\(\mathrm{SE}_d = \sqrt{\dfrac{0{,}02 \times 0{,}98}{10000} + \dfrac{0{,}025 \times 0{,}975}{10000}} = \sqrt{0{,}00000196 + 0{,}0000024375} \approx 0{,}002097\)
\(0{,}005 \pm 1{,}96 \times 0{,}002097 = 0{,}005 \pm 0{,}00411\)
\(0{,}00089 \le d \le 0{,}00911\ \ (\text{de }0{,}09\text{ a }0{,}91\ \text{puntos})\)
La idea clave
Un contraste solo responde sí o no: «¿hay diferencia?». Un intervalo de confianza también te dice el tamaño: «la diferencia real está probablemente más o menos en este rango». En este ejemplo, el intervalo de confianza al 95 % va de 0,09 a 0,91 puntos porcentuales. No incluye el 0, así que puedes decir «B es mayor», pero también muestra que el rango es demasiado ancho para afirmar «ha subido exactamente 0,5 puntos». Para el error típico se usa la variabilidad de la propia tasa de conversión de cada grupo, no la proporción combinada del contraste (el intervalo no supone que «no hay diferencia»). \(z_{\alpha/2}\) es el valor de la normal estándar para el nivel de confianza: 1,645 al 90 %, 1,96 al 95 % y 2,576 al 99 %. Si fijas el nivel de confianza en «100 − nivel de significación» (95 % para un nivel de significación del 5 %), la conclusión bilateral y el hecho de que el intervalo incluya o no el 0 casi siempre coinciden (no se corresponden en un contraste unilateral; además, el contraste usa el error típico combinado y el intervalo el de cada grupo, así que muy cerca del límite pueden no coincidir).
La puntuación z es la diferencia de tasas de conversión dividida entre el vaivén del azar (el error típico) suponiendo que no hay diferencia, y el p-valor es la probabilidad de que salga por azar una diferencia al menos así de grande. Si el p-valor queda por debajo del nivel de significación (por ejemplo, el 5 %), la conclusión es «estadísticamente significativo», y el intervalo de confianza de la diferencia muestra el rango probable de la diferencia real. Que sea estadísticamente significativo dice «difícil de explicar por azar», no «el efecto es seguro o grande».

Símbolos y términos

Símbolos

\(n_A,\ n_B\) ene subíndice A, ene subíndice B Visitas (clics o sesiones) de los grupos A y B. \(n\) es la inicial de «número», la letra habitual en estadística para el tamaño de la muestra.
\(x_A,\ x_B\) equis subíndice A, equis subíndice B Conversiones de los grupos A y B. Usar \(x\) para el número de éxitos es lo habitual en la distribución binomial.
\(\hat{p}_A,\ \hat{p}_B\) p gorro subíndice A, p gorro subíndice B Tasas de conversión de los grupos A y B (proporciones de la muestra). \(p\) es la inicial de «proporción» o «probabilidad», y el «\(\hat{}\)» (gorro) de arriba indica que es un valor estimado con la muestra para el valor real \(p\).
\(\hat{p}\) p gorro Proporción combinada. Una sola tasa de conversión estimada con los dos grupos juntos, suponiendo que no hay diferencia: \(\hat{p} = (x_A + x_B) \div (n_A + n_B)\).
\(d\) de Diferencia de tasas de conversión (\(\hat{p}_B - \hat{p}_A\)), por la inicial de «diferencia». Esta página la muestra multiplicada por 100, en puntos porcentuales.
\(L\) ele Mejora relativa (%), por la inicial de «lift» (elevar, en inglés). Cuánto ha aumentado, en %, la tasa de conversión de B respecto a la de A.
\(\mathrm{SE}\) ese-e Error típico (en inglés, standard error). Indica cuánto se mueve por azar un valor de la muestra (aquí, la diferencia de tasas de conversión); es la desviación típica de ese valor. El contraste lo calcula con la proporción combinada, y el intervalo de confianza usa \(\mathrm{SE}_d\), calculado con la tasa de cada grupo.
\(z\) zeta Puntuación z (estadístico de contraste). La diferencia dividida entre el error típico: cuántas veces el vaivén del azar mide la diferencia. Si no hay diferencia, sigue la distribución normal estándar (media 0, desviación típica 1), así que el p-valor sale de lo grande que sea.
\(|z|\) valor absoluto de z El tamaño de la puntuación z sin su signo. Un contraste bilateral no tiene en cuenta en qué sentido va la diferencia, así que usa el valor absoluto.
\(\Phi\) fi mayúscula La función de distribución de la distribución normal estándar. \(\Phi(z)\) es la probabilidad de que un valor normal estándar sea \(z\) o menos, el área bajo la campana a la izquierda de \(z\). La letra griega fi mayúscula es el símbolo habitual.
\(p_2,\ p_1\) p subíndice 2, p subíndice 1 El p-valor bilateral y el unilateral. Los subíndices 2 y 1 indican «dos colas» y «una cola», una notación solo de esta página; los libros de estadística escriben simplemente \(p\).
\(\alpha\) alfa El nivel de significación: la línea fijada de antemano de «si el p-valor es menor, se rechaza la hipótesis nula». Lo habitual es un 5 % (0,05). Es la letra griega alfa y equivale a la probabilidad de cometer un error de tipo I (dar por real una diferencia que no existe).
\(z_{\alpha/2}\) zeta subíndice alfa medios La puntuación z límite (valor crítico) que deja una probabilidad total \(\alpha\) en las dos colas. 1,96 para un intervalo de confianza al 95 % (\(\alpha = 0{,}05\)) y 2,576 al 99 %. Con una sola cola es \(z_\alpha\) (1,645 al 5 %).
\(d_L,\ d_U\) de subíndice L, de subíndice U Los límites inferior (L, lower) y superior (U, upper) del intervalo de confianza de la diferencia: los dos extremos del rango donde probablemente está la diferencia real.

Términos

test A/B Experimento que muestra a los visitantes, al azar y en el mismo periodo, la versión original (A) o una versión cambiada (B) y compara los resultados. Se usa mucho en webs, anuncios y email. Repartir al azar hace que los factores ajenos a la versión (día de la semana, origen del tráfico, etc.) sean iguales en los dos grupos.
tasa de conversión (CVR) Proporción de visitas (clics) que terminaron en un resultado (conversión) como una compra o un alta. Para calcular una sola tasa de conversión o hacer el cálculo inverso, consulta la calculadora de la tasa de conversión.
hipótesis nula La hipótesis que el contraste intenta rechazar: «A y B tienen en realidad la misma tasa de conversión» (\(p_A = p_B\)). El contraste comprueba lo improbable que sería la diferencia observada si fuera cierta.
hipótesis alternativa La hipótesis que quieres demostrar, contraria a la hipótesis nula. En un contraste bilateral es «A y B son distintos» (\(p_A \neq p_B\)); en uno unilateral, «B es mayor que A» (\(p_B > p_A\)).
nivel de significación La línea fijada antes del test: si el p-valor es menor, se rechaza la hipótesis nula. Lo habitual es un 5 %; para ser más exigente, un 1 %. «Significativo al 5 %» quiere decir «la probabilidad de una diferencia así de grande sin diferencia real es menor del 5 %».
p-valor Probabilidad de que salga por azar una diferencia al menos tan grande como esta, suponiendo cierta la hipótesis nula (no hay diferencia). Cuanto más pequeño, más difícil es explicar el resultado por azar. Ojo: no es «la probabilidad de que B sea mejor» (un error frecuente).
estadísticamente significativo El p-valor está por debajo del nivel de significación, así que la diferencia se considera difícil de explicar por azar. No garantiza que la diferencia sea grande ni el efecto seguro; con muchísimas visitas, hasta una diferencia minúscula sale significativa.
estadístico de contraste Un único número calculado con los datos para el contraste. En esta página es la puntuación z, «diferencia ÷ error típico». Lo extremo que sea decide el p-valor.
contraste z de dos proporciones Contraste que usa la distribución normal para comprobar si las proporciones (por ejemplo, tasas de conversión) de dos grupos son distintas. Es la forma más básica de decidir si un test A/B es significativo. Con una prueba chi-cuadrado 2×2 se hace casi lo mismo, y los p-valores bilaterales coinciden.
error típico La desviación típica de un estadístico calculado con una muestra (aquí, la diferencia de tasas de conversión): cuánto se mueve por azar según la muestra. Se reduce en proporción a la raíz cuadrada de las visitas, así que para dividir el error típico entre dos hacen falta 4 veces más visitas.
proporción combinada Estimar una sola tasa de conversión juntando los datos de los dos grupos, suponiendo que no hay diferencia (en inglés, pooled, de «pool», juntar en un fondo común). El error típico del contraste usa este valor.
intervalo de confianza El rango donde probablemente está la diferencia real. Un intervalo de confianza al 95 % es una forma de construir intervalos de modo que, si repitieras el experimento muchas veces, el 95 % de ellos contendría la diferencia real. Que el intervalo no incluya el 0 casi siempre coincide con la significación en un contraste bilateral al 5 %.
contraste bilateral Contraste de «¿hay diferencia (sea cual sea el mayor)?». Es el que se usa en un test A/B normal, en el que no sabes hacia dónde va a ir.
contraste unilateral Contraste con un sentido fijado, como «¿es B mayor que A?». Su p-valor es la mitad del bilateral, así que sale significativo con más facilidad; úsalo solo si decidiste el sentido antes del test.
región de rechazo La zona de las colas de la distribución normal estándar donde, si cae la puntuación z, se rechaza la hipótesis nula (también llamada región crítica). Para un contraste bilateral al 5 % son las dos colas \(z < -1{,}96\) y \(z > 1{,}96\), con un área total de 0,05. Es la parte sombreada de la gráfica de esta página.
valor crítico La puntuación z en el borde de la región de rechazo. 1,96 para un contraste bilateral al 5 %, 2,576 bilateral al 1 % y 1,645 unilateral al 5 %. El «margen de la z» del resultado indica cuánto está la puntuación z por encima (o por debajo) del valor crítico.
aproximación normal El número de conversiones sigue en realidad una distribución binomial, pero con muchas visitas una distribución normal (la campana) la aproxima bien. El contraste z usa esta aproximación, así que como referencia las conversiones esperadas \(n\hat{p}\) y las no conversiones esperadas \(n(1-\hat{p})\) de cada grupo deberían ser de 5 o más (mejor 10 o más).
potencia estadística La probabilidad de que el contraste detecte como significativa una diferencia real (también, potencia del contraste). Con pocas visitas, la potencia es baja, y hasta un efecto real sale a menudo «no significativo». «No significativo» no demuestra que «no hay diferencia».
error de tipo I Dar un resultado por significativo cuando en realidad no hay diferencia (un falso positivo). El nivel de significación \(\alpha\) es la probabilidad de este error que aceptas; al 5 %, «si haces 100 tests sin diferencia real, unos 5 salen significativos por azar».
comparaciones múltiples Contrastar muchas versiones o métricas a la vez. Incluso con un nivel de significación del 5 %, si contrastas 20 métricas es probable que una salga «significativa» por azar. Hay que acotar las métricas de antemano o usar un nivel de significación más exigente (corrección de Bonferroni y otras).
peeking Mirar los resultados una y otra vez durante el test y pararlo en cuanto parece significativo (parar antes de tiempo). El p-valor sube y baja durante el test, así que si sigues la regla de «parar la primera vez que baje del 5 %», la probabilidad de significación sin diferencia real supera con mucho el 5 %. La regla básica es decidir antes las visitas necesarias y esperar a alcanzarlas.
mejora relativa Cuánto ha aumentado, en %, la tasa de conversión de B respecto a la de A (en inglés, lift): la diferencia \(d\) dividida entre la tasa de conversión de A, por 100. «Un 25 % más» es más fácil de convertir en previsiones de conversiones e ingresos adicionales que «0,5 puntos más».
punto porcentual Unidad para el resultado de restar dos porcentajes (abreviado p. p.). Se usa así: «2,5 % − 2 % = 0,5 puntos porcentuales»; escribir «0,5 %» podría confundirse con «el 0,5 % del 2 %».

Conviene saber antes de empezar

Esto es lo que te ayuda a usar el cálculo de esta página entendiendo lo que haces, no solo pulsando el botón.
Si te atascas, repasar estos temas es el camino más rápido.

Porcentajes (5.º y 6.º de Primaria, 10-12 años)
  • Saber que un porcentaje se obtiene como «cantidad ÷ total» (tasa de conversión = conversiones ÷ visitas)
  • Pasar de porcentajes a decimales y al revés (\(2{,}5\ \% = 0{,}025\))
  • Saber que la diferencia entre dos porcentajes se expresa en puntos porcentuales (2,5 % − 2 % = 0,5 puntos porcentuales)
Inversos y raíces cuadradas (6.º de Primaria a 2.º de ESO, 11-14 años)
  • Sumar inversos, como en \(\dfrac{1}{5000} + \dfrac{1}{5000} = 0{,}0004\)
  • Entender qué es una raíz cuadrada y calcular las sencillas, como \(\sqrt{0{,}0001} = 0{,}01\)
La distribución normal y la desviación típica (1.º y 2.º de Bachillerato, 16-18 años)
  • Saber que la distribución normal estándar (media 0, desviación típica 1) tiene forma de campana y que «la probabilidad de \(z\) o menos», \(\Phi(z)\), es el área a la izquierda bajo la curva
  • Leer valores aproximados en la tabla de la normal, como \(\Phi(1{,}96) \approx 0{,}975\)
  • Intuir que «la probabilidad de alejarse de la media 2 desviaciones típicas o más es de un 5 % aproximadamente»
La lógica del contraste de hipótesis (Bachillerato y primeros cursos de universidad, 17 años o más)
  • Entender el proceso de plantear una hipótesis nula de «no hay diferencia» y decidir según lo improbable que sería el resultado observado si fuera cierta
  • Entender la relación entre nivel de significación, p-valor y región de rechazo (el p-valor es menor que el nivel de significación ⇔ la puntuación z cae en la región de rechazo)
La distribución binomial y su aproximación normal (1.º de Bachillerato, 16-17 años)
  • Saber que «el número de éxitos al repetir \(n\) veces algo con probabilidad \(p\)» sigue una distribución binomial, y que si \(n\) es grande se puede aproximar por una distribución normal

Cómo calcularlo en Excel

Copia la tabla entera y pégala en la celda A1 de Excel. Funciona tal cual.
Tabla para calcular la tasa de conversión de cada grupo
Visitas en A n_A 10000
Conversiones en A x_A 200
Visitas en B n_B 10000
Conversiones en B x_B 250
Tasa de conversión de A p̂_A =B2/B1
Tasa de conversión de B p̂_B =B4/B3
Tabla para calcular la diferencia y la mejora relativa
Tasa de conversión de A p̂_A 0,02
Tasa de conversión de B p̂_B 0,025
Diferencia d =B2-B1
Mejora relativa L (%) =B3/B1*100
Tabla para calcular la proporción combinada
Conversiones en A x_A 200
Conversiones en B x_B 250
Visitas en A n_A 10000
Visitas en B n_B 10000
Proporción combinada p̂ =(B1+B2)/(B3+B4)
Tabla para calcular el error típico y la puntuación z
Proporción combinada p̂ 0,0225
Visitas en A n_A 10000
Visitas en B n_B 10000
Diferencia d 0,005
Error típico SE =RAIZ(B1*(1-B1)*(1/B2+1/B3))
Puntuación z =B4/B5
Tabla para calcular el p-valor (bilateral y unilateral)
Puntuación z 2,384
P-valor bilateral p₂ =2*(1-DISTR.NORM.ESTAND.N(ABS(B1);VERDADERO))
P-valor unilateral p₁ =1-DISTR.NORM.ESTAND.N(B1;VERDADERO)
Tabla para calcular el intervalo de confianza de la diferencia
Tasa de conversión de A p̂_A 0,02
Visitas en A n_A 10000
Tasa de conversión de B p̂_B 0,025
Visitas en B n_B 10000
Diferencia d 0,005
Nivel de confianza (0,95 = 95 %) 0,95
z_(α/2) =INV.NORM.ESTAND(1-(1-B6)/2)
Error típico SE_d =RAIZ(B1*(1-B1)/B2+B3*(1-B3)/B4)
Límite inferior d_L =B5-B7*B8
Límite superior d_U =B5+B7*B8
Al pegarla, las filas de arriba son tus datos y las filas con fórmulas se calculan solas. Las proporciones son decimales entre 0 y 1, como 0,02; multiplícalas por 100 para tener el porcentaje.
En la primera tabla, B5 muestra la tasa de conversión de A, 0,02, y B6 la de B, 0,025. La segunda tabla da una diferencia de 0,005 (0,5 puntos porcentuales) y una mejora relativa de 25; la tercera, una proporción combinada de 0,0225; y la cuarta, un error típico de unos 0,002097 y una puntuación z de unos 2,384.
En la quinta tabla, DISTR.NORM.ESTAND.N(z; VERDADERO) devuelve la probabilidad acumulada de la normal estándar Φ(z); el p-valor bilateral sale de unos 0,0171 y el unilateral de unos 0,0086. En la sexta, INV.NORM.ESTAND obtiene la puntuación z a partir de una probabilidad acumulada (1,96 para un nivel de confianza del 95 %), con un límite inferior de unos 0,0009 y uno superior de unos 0,0091 (de 0,09 a 0,91 puntos porcentuales).

Cómo calcularlo en Hojas de cálculo de Google

Copia la tabla entera y pégala en la celda A1 de Hojas de cálculo de Google. Funciona tal cual.
Tabla para calcular la tasa de conversión de cada grupo
Visitas en A n_A 10000
Conversiones en A x_A 200
Visitas en B n_B 10000
Conversiones en B x_B 250
Tasa de conversión de A p̂_A =B2/B1
Tasa de conversión de B p̂_B =B4/B3
Tabla para calcular la diferencia y la mejora relativa
Tasa de conversión de A p̂_A 0,02
Tasa de conversión de B p̂_B 0,025
Diferencia d =B2-B1
Mejora relativa L (%) =B3/B1*100
Tabla para calcular la proporción combinada
Conversiones en A x_A 200
Conversiones en B x_B 250
Visitas en A n_A 10000
Visitas en B n_B 10000
Proporción combinada p̂ =(B1+B2)/(B3+B4)
Tabla para calcular el error típico y la puntuación z
Proporción combinada p̂ 0,0225
Visitas en A n_A 10000
Visitas en B n_B 10000
Diferencia d 0,005
Error típico SE =RAIZ(B1*(1-B1)*(1/B2+1/B3))
Puntuación z =B4/B5
Tabla para calcular el p-valor (bilateral y unilateral)
Puntuación z 2,384
P-valor bilateral p₂ =2*(1-DISTR.NORM.ESTAND(ABS(B1)))
P-valor unilateral p₁ =1-DISTR.NORM.ESTAND(B1)
Tabla para calcular el intervalo de confianza de la diferencia
Tasa de conversión de A p̂_A 0,02
Visitas en A n_A 10000
Tasa de conversión de B p̂_B 0,025
Visitas en B n_B 10000
Diferencia d 0,005
Nivel de confianza (0,95 = 95 %) 0,95
z_(α/2) =DISTR.NORM.ESTAND.INV(1-(1-B6)/2)
Error típico SE_d =RAIZ(B1*(1-B1)/B2+B3*(1-B3)/B4)
Límite inferior d_L =B5-B7*B8
Límite superior d_U =B5+B7*B8
Funcionan casi las mismas fórmulas que en Excel. La probabilidad acumulada de la normal estándar se escribe DISTR.NORM.ESTAND(z) y su inversa DISTR.NORM.ESTAND.INV(p) (hacen lo mismo que DISTR.NORM.ESTAND.N e INV.NORM.ESTAND de Excel). Copia la tabla entera, pégala en la celda A1 y cambia los datos por los tuyos.

Cómo calcularlo en Python

import math

visits_a, conversions_a = 10000, 200   # visitas y conversiones en A
visits_b, conversions_b = 10000, 250   # visitas y conversiones en B
alpha = 0.05                           # nivel de significación (5 %)

def normal_cdf(z):
    # función de distribución de la normal estándar Φ(z)
    return 0.5 * math.erfc(-z / math.sqrt(2))

def normal_ppf(p):
    # inversa de Φ (bisección; sirve para obtener z_(α/2))
    low, high = -10.0, 10.0
    for _ in range(100):
        mid = (low + high) / 2
        if normal_cdf(mid) < p:
            low = mid
        else:
            high = mid
    return (low + high) / 2

cvr_a = conversions_a / visits_a
cvr_b = conversions_b / visits_b
diff = cvr_b - cvr_a
lift = diff / cvr_a * 100
pooled = (conversions_a + conversions_b) / (visits_a + visits_b)
se_pooled = math.sqrt(pooled * (1 - pooled) * (1 / visits_a + 1 / visits_b))
z = diff / se_pooled
p_two_sided = 2 * (1 - normal_cdf(abs(z)))
p_one_sided = 1 - normal_cdf(z)

se_diff = math.sqrt(cvr_a * (1 - cvr_a) / visits_a + cvr_b * (1 - cvr_b) / visits_b)
z_half = normal_ppf(1 - alpha / 2)
ci_low, ci_high = diff - z_half * se_diff, diff + z_half * se_diff

print(f"Tasa de conversión A: {cvr_a * 100:.2f} %  Tasa de conversión B: {cvr_b * 100:.2f} %")
print(f"Diferencia: {diff * 100:.2f} puntos porcentuales  Mejora relativa: {lift:.1f} %")
print(f"Puntuación z: {z:.3f}  p-valor bilateral: {p_two_sided:.4f}  p-valor unilateral: {p_one_sided:.4f}")
print("Conclusión (bilateral):", "estadísticamente significativo" if p_two_sided < alpha else "no estadísticamente significativo")
print(f"Intervalo de confianza al {(1 - alpha) * 100:.0f} % de la diferencia: de {ci_low * 100:.2f} a {ci_high * 100:.2f} puntos porcentuales")
Funciona solo con la biblioteca estándar (math.erfc da la probabilidad acumulada de la normal estándar). En este ejemplo muestra una puntuación z de 2,384, un p-valor bilateral de 0,0171, uno unilateral de 0,0086, la conclusión «estadísticamente significativo» y un intervalo de confianza al 95 % de la diferencia de 0,09 a 0,91 puntos porcentuales (en la salida de Python los decimales llevan punto). Cambia los cuatro números y el nivel de significación del principio y ejecútalo. Si tienes scipy, puedes usar scipy.stats.norm.cdf y norm.ppf en su lugar.

Cómo escribirla en LaTeX y otros lenguajes de fórmulas (para copiar y pegar)

Tasa de conversión de cada grupo
p̂_A = x_A ÷ n_A
\hat{p}_A = \dfrac{x_A}{n_A}
<math xmlns="http://www.w3.org/1998/Math/MathML" display="block">
  <mrow>
    <msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>A</mi></msub>
    <mo>=</mo>
    <mfrac>
      <msub><mi>x</mi><mi>A</mi></msub>
      <msub><mi>n</mi><mi>A</mi></msub>
    </mfrac>
  </mrow>
</math>
hat(p)_A = x_A / n_A
xA/nA
pA := xA/nA;
pA = xA/nA;
p̂_A = x_A/n_A
Diferencia de tasas de conversión y mejora relativa
d = p̂_B − p̂_A,  L = d ÷ p̂_A × 100
d = \hat{p}_B - \hat{p}_A, \quad L = \dfrac{d}{\hat{p}_A} \times 100
<math xmlns="http://www.w3.org/1998/Math/MathML" display="block">
  <mrow>
    <mi>d</mi><mo>=</mo>
    <msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>B</mi></msub>
    <mo>&#x2212;</mo>
    <msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>A</mi></msub>
    <mo>,</mo><mspace width="1em"/>
    <mi>L</mi><mo>=</mo>
    <mfrac><mi>d</mi><msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>A</mi></msub></mfrac>
    <mo>&#xD7;</mo><mn>100</mn>
  </mrow>
</math>
d = hat(p)_B - hat(p)_A, L = d / hat(p)_A xx 100
d = pB - pA; d/pA*100
d := pB - pA; L := d/pA*100;
d = pB - pA; L = d/pA*100;
d = p̂_B − p̂_A, L = d/p̂_A × 100
Proporción combinada (una sola tasa para los dos grupos juntos)
p̂ = (x_A + x_B) ÷ (n_A + n_B)
\hat{p} = \dfrac{x_A + x_B}{n_A + n_B}
<math xmlns="http://www.w3.org/1998/Math/MathML" display="block">
  <mrow>
    <mover accent="true"><mi>p</mi><mo>^</mo></mover>
    <mo>=</mo>
    <mfrac>
      <mrow><msub><mi>x</mi><mi>A</mi></msub><mo>+</mo><msub><mi>x</mi><mi>B</mi></msub></mrow>
      <mrow><msub><mi>n</mi><mi>A</mi></msub><mo>+</mo><msub><mi>n</mi><mi>B</mi></msub></mrow>
    </mfrac>
  </mrow>
</math>
hat(p) = (x_A + x_B) / (n_A + n_B)
(xA + xB)/(nA + nB)
pPool := (xA + xB)/(nA + nB);
pPool = (xA + xB)/(nA + nB);
p̂ = (x_A + x_B)/(n_A + n_B)
Error típico y puntuación z (contraste z de dos proporciones)
SE = √(p̂(1 − p̂)(1/n_A + 1/n_B)),  z = d ÷ SE
\mathrm{SE} = \sqrt{\hat{p}(1-\hat{p})\left(\dfrac{1}{n_A}+\dfrac{1}{n_B}\right)}, \quad z = \dfrac{d}{\mathrm{SE}}
<math xmlns="http://www.w3.org/1998/Math/MathML" display="block">
  <mrow>
    <mi>z</mi><mo>=</mo>
    <mfrac>
      <mrow><msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>B</mi></msub><mo>&#x2212;</mo><msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>A</mi></msub></mrow>
      <msqrt>
        <mover accent="true"><mi>p</mi><mo>^</mo></mover>
        <mo>(</mo><mn>1</mn><mo>&#x2212;</mo><mover accent="true"><mi>p</mi><mo>^</mo></mover><mo>)</mo>
        <mo>(</mo>
        <mfrac><mn>1</mn><msub><mi>n</mi><mi>A</mi></msub></mfrac>
        <mo>+</mo>
        <mfrac><mn>1</mn><msub><mi>n</mi><mi>B</mi></msub></mfrac>
        <mo>)</mo>
      </msqrt>
    </mfrac>
  </mrow>
</math>
SE = sqrt(hat(p)(1 - hat(p))(1/n_A + 1/n_B)), z = d / SE
se = Sqrt[pPool*(1 - pPool)*(1/nA + 1/nB)]; z = d/se
SE := sqrt(pPool*(1 - pPool)*(1/nA + 1/nB)); z := d/SE;
SE = sqrt(pPool*(1 - pPool)*(1/nA + 1/nB)); z = d/SE;
SE = √(p̂(1 − p̂)(1/n_A + 1/n_B)), z = d/SE
P-valor (bilateral y unilateral)
p₂ = 2(1 − Φ(|z|)),  p₁ = 1 − Φ(z)
p_2 = 2\left(1 - \Phi(|z|)\right), \quad p_1 = 1 - \Phi(z)
<math xmlns="http://www.w3.org/1998/Math/MathML" display="block">
  <mrow>
    <msub><mi>p</mi><mn>2</mn></msub><mo>=</mo>
    <mn>2</mn><mo>(</mo><mn>1</mn><mo>&#x2212;</mo>
    <mi>&#x3A6;</mi><mo>(</mo><mo>|</mo><mi>z</mi><mo>|</mo><mo>)</mo><mo>)</mo>
    <mo>,</mo><mspace width="1em"/>
    <msub><mi>p</mi><mn>1</mn></msub><mo>=</mo>
    <mn>1</mn><mo>&#x2212;</mo><mi>&#x3A6;</mi><mo>(</mo><mi>z</mi><mo>)</mo>
  </mrow>
</math>
p_2 = 2(1 - Phi(|z|)), p_1 = 1 - Phi(z)
p2 = 2*(1 - CDF[NormalDistribution[0, 1], Abs[z]]); p1 = 1 - CDF[NormalDistribution[0, 1], z]
p2 := 2*(1 - Statistics:-CDF(Normal(0, 1), abs(z))); p1 := 1 - Statistics:-CDF(Normal(0, 1), z);
p2 = 2*(1 - normcdf(abs(z))); p1 = 1 - normcdf(z);
p_2 = 2(1 − Φ(|z|)), p_1 = 1 − Φ(z)
Intervalo de confianza de la diferencia de tasas de conversión
d ± z_(α/2) × √(p̂_A(1 − p̂_A)/n_A + p̂_B(1 − p̂_B)/n_B)
d \pm z_{\alpha/2}\sqrt{\dfrac{\hat{p}_A(1-\hat{p}_A)}{n_A}+\dfrac{\hat{p}_B(1-\hat{p}_B)}{n_B}}
<math xmlns="http://www.w3.org/1998/Math/MathML" display="block">
  <mrow>
    <mi>d</mi><mo>&#xB1;</mo>
    <msub><mi>z</mi><mrow><mi>&#x3B1;</mi><mo>/</mo><mn>2</mn></mrow></msub>
    <msqrt>
      <mfrac>
        <mrow><msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>A</mi></msub><mo>(</mo><mn>1</mn><mo>&#x2212;</mo><msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>A</mi></msub><mo>)</mo></mrow>
        <msub><mi>n</mi><mi>A</mi></msub>
      </mfrac>
      <mo>+</mo>
      <mfrac>
        <mrow><msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>B</mi></msub><mo>(</mo><mn>1</mn><mo>&#x2212;</mo><msub><mover accent="true"><mi>p</mi><mo>^</mo></mover><mi>B</mi></msub><mo>)</mo></mrow>
        <msub><mi>n</mi><mi>B</mi></msub>
      </mfrac>
    </msqrt>
  </mrow>
</math>
d +- z_(alpha/2) sqrt((hat(p)_A(1 - hat(p)_A))/n_A + (hat(p)_B(1 - hat(p)_B))/n_B)
seD = Sqrt[pA*(1 - pA)/nA + pB*(1 - pB)/nB]; {d - zHalf*seD, d + zHalf*seD}
seD := sqrt(pA*(1 - pA)/nA + pB*(1 - pB)/nB); [d - zHalf*seD, d + zHalf*seD];
seD = sqrt(pA*(1 - pA)/nA + pB*(1 - pB)/nB); ci = [d - zHalf*seD, d + zHalf*seD];
d ± z_(α/2) √(p̂_A(1 − p̂_A)/n_A + p̂_B(1 − p̂_B)/n_B)

Cómo pedirle el cálculo a ChatGPT 

Eres un asistente de cálculo de estadística (contraste de hipótesis). Haz el siguiente cálculo ejecutando de verdad código Python y basa tu respuesta solo en los números del resultado de la ejecución (no respondas con cálculo mental ni con estimaciones).

Los resultados del test A/B son:
- Grupo A: 10.000 visitas, 200 conversiones
- Grupo B: 10.000 visitas, 250 conversiones
Calcula lo siguiente:
1. La tasa de conversión de cada grupo (%), la diferencia de tasas (puntos porcentuales) y la mejora relativa (%)
2. La proporción combinada y el error típico combinado SE = √(p̂(1−p̂)(1/n_A + 1/n_B))
3. La puntuación z = diferencia ÷ SE, y el p-valor bilateral y el unilateral (distribución normal estándar)
4. Si la diferencia es estadísticamente significativa con un nivel de significación del 5 % (bilateral)
5. El intervalo de confianza al 95 % de la diferencia (con el error típico calculado con la tasa de cada grupo, √(p̂_A(1−p̂_A)/n_A + p̂_B(1−p̂_B)/n_B))

En Python, usa math.erfc (o scipy.stats.norm) y muestra las fórmulas que has usado y los números del resultado de la ejecución.

Cómo usar
  1. 1
    Introduce los datos
    Escribe en las casillas los números con los que quieres calcular
  2. 2
    Calcula
    Pulsa el botón «Calcular»
  3. 3
    Consulta el resultado
    El resultado aparece al instante. En la misma página tienes también la idea del cálculo y la explicación de la fórmula
  Las ventajas de DataChef
Fácil y gratis
Conversiones gratis e ilimitadas
Sin conocimientos técnicos: fácil e intuitivo
Sin registro
Disponible nada más entrar
Sin necesidad de dar datos personales
Seguro y protegido
Conexión cifrada y segura (SSL)
Los archivos se borran automáticamente tras la descarga
Alta velocidad
Carga y conversión rápidas, sin esperas
Sin marcas de agua
Sin marca de agua
Sin necesidad de atribución
Uso comercial permitido
Uso comercial gratuito
Sin necesidad de pedir permiso