Calculadora de significancia de test A/B
Introduce los visitantes y las conversiones de tu control y tus variantes para ver si la diferencia es estadísticamente significativa, qué tamaño tiene y cuántos datos más necesitas.
Última actualización:
| Variante | Visitantes | Conversiones | Tasa de conv. | Mejora | Valor p |
|---|
Cómo usar Calculadora de significancia de test A/B
- Introduce visitantes y conversiones del control (A) y la variante (B). Usa + Añadir variante para tests A/B/n.
- Elige el nivel de confianza y si el test es bilateral (cualquier diferencia) o unilateral (B mejor que A).
- Lee el veredicto: mejora, valor p, intervalos de confianza y si el resultado es significativo al 90%, 95% y 99%.
- Revisa el gráfico: cuanto menos se solapen las dos curvas, más sólida es la evidencia.
- Planifica tu próximo test en la pestaña Tamaño de muestra con tu tasa base y la mejora más pequeña que te interese.
Cómo funciona la prueba de significancia
La calculadora usa la prueba z de dos proporciones estándar con un error estándar combinado, la misma prueba que usan la mayoría de las herramientas de test A/B para tasas de conversión:
- Tasas de conversión: pA = conversionesA ÷ visitantesA, pB = conversionesB ÷ visitantesB
- Tasa combinada: p̂ = (conversionesA + conversionesB) ÷ (visitantesA + visitantesB)
- Error estándar: SE = √(p̂ (1 − p̂) (1/nA + 1/nB))
- z = (pB − pA) ÷ SE, y el valor p se obtiene de la distribución normal estándar: 2 × (1 − Φ(|z|)) en una prueba bilateral.
Ejemplo: control con 500 conversiones de 10,000 visitantes (5.00%), variante con 570 de 10,000 (5.70%). La tasa combinada es 5.35%, SE = 0.003182, z = 0.007 ÷ 0.003182 = 2.200, así que el valor p bilateral es 0.0278. Es significativo al 95% (p < 0.05) pero no al 99% (p > 0.01), y la mejora relativa es de +14.0%.
Los intervalos de confianza de cada tasa usan el método de puntuación de Wilson, que funciona bien con tasas de conversión bajas. El intervalo de la diferencia usa el error estándar no combinado √(pA(1 − pA)/nA + pB(1 − pB)/nB).
Tamaño de muestra por variante
Visitantes necesarios por variante con un 95% de confianza (bilateral) y un 80% de potencia, según n = [zα/2√(2p̄(1 − p̄)) + zβ√(p₁(1 − p₁) + p₂(1 − p₂))]² ÷ (p₂ − p₁)²:
| Tasa base | Mejora relativa a detectar | Tasa objetivo | Visitantes por variante |
|---|---|---|---|
| 2% | +20% | 2.4% | 21,109 |
| 5% | +10% | 5.5% | 31,234 |
| 5% | +20% | 6.0% | 8,158 |
| 10% | +5% | 10.5% | 57,763 |
| 10% | +10% | 11.0% | 14,751 |
| 20% | +10% | 22.0% | 6,510 |
Reducir a la mitad el efecto que quieres detectar multiplica aproximadamente por cuatro la muestra que necesitas, por eso los sitios pequeños deberían probar cambios audaces en lugar de pequeños retoques.
Errores comunes en los tests A/B
- Peeking: revisar los resultados a diario y detenerse en el primer valor p significativo puede elevar la tasa real de falsos positivos muy por encima del 5%. Fija primero el tamaño de muestra.
- Demasiado corto: ejecuta los tests durante semanas completas para que estén representados tanto los visitantes de entre semana como los del fin de semana, aunque el tamaño de muestra se alcance antes.
- Muchas métricas o variantes: cuantas más comparaciones hagas, más probable es que una resulte significativa por azar. Elige una métrica principal y corrige por las variantes múltiples.
- Desajuste en la proporción de muestra: si un reparto 50/50 da recuentos de visitantes muy desiguales, revisa el seguimiento antes de fiarte del resultado.
- Significativo no es lo mismo que importante: mira el intervalo de confianza de la mejora y pregúntate si el extremo inferior seguiría mereciendo la pena para lanzarlo.
Preguntas frecuentes
¿Qué significa estadísticamente significativo en un test A/B?
Significa que la diferencia observada sería improbable si las dos versiones convirtieran realmente a la misma tasa. Con un 95% de confianza, un resultado es significativo cuando el valor p es menor que 0.05. No demuestra que la variante sea mejor exactamente en la cantidad observada; el intervalo de confianza muestra el rango plausible.
¿Qué es un valor p?
El valor p es la probabilidad de ver una diferencia al menos tan grande como la tuya si en realidad no hubiera ninguna diferencia. Un valor p de 0.03 significa que un resultado así ocurriría alrededor del 3% de las veces solo por azar.
¿Debo usar una prueba unilateral o bilateral?
Usa la bilateral cuando quieras detectar un cambio en cualquier dirección, que es la opción predeterminada más segura. Una prueba unilateral solo pregunta si B es mejor que A; alcanza la significancia antes, pero no puede detectar que B sea peor.
¿Puedo detener el test en cuanto sea significativo?
Revisar una y otra vez y detenerse en el primer resultado significativo (peeking) dispara los falsos positivos. Decide el tamaño de muestra de antemano con la pestaña Tamaño de muestra y ejecuta el test hasta alcanzarlo, idealmente durante semanas completas.
¿Por qué usar una corrección de Bonferroni con varias variantes?
Cada comparación adicional es otra oportunidad de obtener un falso positivo. Bonferroni divide el nivel de significancia entre el número de comparaciones, por ejemplo 0.05 ÷ 3 ≈ 0.0167 para tres variantes frente a un control, de modo que la tasa de error global se mantiene cerca del 5%.
¿Qué es la potencia estadística?
La potencia es la probabilidad de detectar un efecto real de un tamaño dado. Una potencia del 80% significa que una mejora real de ese tamaño resultaría significativa 4 de cada 5 veces. Una potencia observada baja significa que un resultado no significativo no es concluyente, en lugar de ser una prueba de que no hay efecto.
¿Se prueban todas las herramientas de FreeToolCabin para comprobar su calidad y precisión?
Sí. Cada herramienta del sitio pasa pruebas automáticas en navegadores reales para comprobar que el resultado es correcto y que no hay errores. Si encuentras un fallo o tienes una sugerencia, escríbenos a [email protected] y lo revisaremos.
Herramientas relacionadas
Ver todas las de Calculadoras de estadística y probabilidad →