Por qué no deberías mirar un test A/B cada día
En resumen: una prueba de significación promete un 5% de falsas alarmas si miras una vez, al final. Mira cada día y para en el primer resultado «significativo», y la probabilidad sube mucho. En nuestra simulación de dos páginas idénticas con 1000 visitas diarias cada una, mirar una vez a los 20 días dio un falso ganador el 5% de las veces, mirar cada semana el 13%, cada día el 25%, y cada día durante 60 días el 34%. Más de la mitad de los falsos ganadores aparecieron en los cinco primeros días. El remedio: fija el tamaño de la muestra de antemano o usa un método pensado para mirar varias veces.
Marketing está probando un botón verde de «Comprar» frente al azul de siempre. La mitad de las visitas ve cada uno. El plan es mirar el panel cada mañana y lanzar el ganador en cuanto el resultado sea estadísticamente significativo.
El día 4, el verde va delante con p = 0,03. El equipo lo lanza, anuncia un 9% más de conversiones y encarga magdalenas con glaseado verde.
El cuñado pregunta qué pasaría si se hiciera la misma prueba con dos botones azules. Nadie lo ha probado nunca.
Lo que promete una prueba de significación
Una prueba estándar pregunta: si las dos versiones fueran en realidad iguales, ¿cuánto sorprendería esta diferencia? Si el azar la diera menos del 5% de las veces (el valor p por debajo de 0,05), el resultado se llama significativo. Así que con dos versiones idénticas seguirás obteniendo un falso «ganador» en más o menos 1 prueba de cada 20.
La letra pequeña: ese 5% vale si miras una vez, en un momento elegido de antemano. La prueba no sabe cuántas veces has mirado.
Lo que hace mirar
Simulamos 200.000 pruebas de dos páginas idénticas: las dos convierten al 5% de las visitas, cada una recibe 1000 visitas al día, y el equipo para en cuanto la diferencia es significativa.
| Cada cuánto miras | Probabilidad de declarar un falso ganador |
|---|---|
| Una vez, a los 20 días | 5% |
| Cada semana, durante 4 semanas | 13% |
| Cada día, durante 20 días | 25% |
| Cada día, durante 60 días | 34% |
En cada repetición los dos botones son idénticos. Cada mirada diaria es otra oportunidad para que el ruido aleatorio cruce la línea, y basta con que la cruce una vez. Con suficientes miradas, la probabilidad sigue subiendo.
Probabilidad de declarar un falso ganador entre dos páginas idénticas
Por qué los falsos ganadores salen pronto
En los primeros días hay pocas visitas, así que las cifras saltan mucho, y es fácil obtener por azar diferencias grandes y emocionantes. De los falsos ganadores con mirada diaria, el 57% apareció en los cinco primeros días. Y el 20% de todas las pruebas fue «significativo» algún día pero ya no al final, es decir, si el equipo hubiera esperado, el ganador habría desaparecido solo.
Por eso los resultados tempranos parecen tan impresionantes: el «9% más» del día 4 es grande porque es pronto, no a pesar de ello. Parar una prueba cuando pinta bien es una forma fiable de quedarse con resultados que parecen mejores de lo que son.
Estadística para principiantes: la parada opcional
Decidir cuándo parar según los resultados que llevas se llama parada opcional (en inglés, optional stopping). Es el mismo problema que probar muchas cosas a la vez y enseñar la única que funcionó, repartido en el tiempo.
Tres salidas honradas: fija el tamaño de la muestra antes de empezar y mira solo entonces; si tienes que mirar por el camino, usa un método diseñado para ello, que pone un umbral más estricto en cada mirada; o vuelve a probar al ganador con tráfico nuevo antes de celebrarlo.
Dónde te cuesta dinero
Mirar una estrategia nueva cada día y meter todo la primera semana que va claramente en positivo es mirar antes de tiempo. También lo es parar una prueba histórica en la fecha en la que mejor queda. Fija primero el periodo de la prueba y luego mira.
La moraleja
El cuñado hizo la prueba con dos botones azules. El día 3, el segundo botón azul iba delante con p = 0,04. Marketing ha pedido lanzarlo. El cuñado ha señalado que es el mismo botón. Marketing dice que los datos son los datos, y las magdalenas se han encargado en azul.
Lo que esta simulación no puede decirte
- Un modelo de un caso. Las tasas exactas dependen del tráfico, de la tasa de conversión y de cada cuánto miras; la dirección no.
- Las diferencias reales son otra cosa. Cuando una versión es de verdad mejor, mirar puede ayudar a parar antes. El problema es que también para con el ruido, y con una sola prueba no se distingue.
- Algunas herramientas corrigen las miradas. Muchas plataformas de pruebas ofrecen hoy métodos para el seguimiento continuo; comprueba cuál usa la tuya antes de fiarte de su «significativo».
Marketing, los botones y las magdalenas son una ilustración. Las cifras salen de nuestra propia simulación de 200.000 pruebas (100.000 para la fila de 60 días) con dos versiones idénticas que convierten cada una al 5% de 1000 visitas diarias, con una prueba estándar de dos proporciones al nivel del 5%. Contenido educativo, no asesoramiento financiero.