Parada opcional
Decidir cuándo terminar un experimento según los resultados que llevas, por ejemplo parar en cuanto parecen significativos. Hace mucho más probables los falsos positivos.
En cristiano
El 5% de falsas alarmas de una prueba de significación supone que miras una vez, en un momento elegido de antemano. Cada mirada de más es otra oportunidad para que el ruido cruce el umbral, y los resultados tempranos, con pocos datos, son los que más saltan. Los remedios: fijar el tamaño de la muestra antes de empezar, usar un método pensado para mirar varias veces, con un umbral más estricto en cada mirada, o confirmar el resultado con datos nuevos.
El tío Paco te lo explica
Marketing miraba cada mañana una prueba de dos botones idénticos. En nuestra simulación, mirar cada día durante 20 días declaró un falso ganador el 25% de las veces, frente al 5% de una sola mirada al final.
Por qué le importa a tu dinero
Mirar una estrategia nueva cada día y meterlo todo la primera semana buena, o terminar una prueba histórica en su mejor fecha, es el mismo error.
Dónde lo hemos comprobado
Conceptos relacionados
Todas las entradas del glosario. Contenido educativo, no asesoramiento financiero.