Oficina · Maldición del ganador
Por qué el anuncio ganador siempre decepciona tras el lanzamiento
En resumen: cuando pruebas varias opciones y eliges la que mejor midió, la eliges en parte por su suerte, así que su resultado medido es demasiado alto. En nuestra simulación de diez versiones de un anuncio con diferencias reales pero pequeñas, la ganadora midió de media una mejora del 6,8%; la real fue del 3,2%, menos de la mitad. Más o menos en 1 prueba de cada 10, la ganadora no era mejor que la de control. Volver a probar a la ganadora con tráfico nuevo da una estimación honrada, y esa es la cifra con la que planificar.
Marketing hizo una gran prueba: diez versiones nuevas del anuncio de la portada contra la antigua, 20.000 visitas cada una. Ganó la versión 7, con un 6,8% más de registros. La previsión del año que viene se subió un 6,8%.
Tres meses después del lanzamiento, la mejora ronda el 3%. El director de marketing sospecha que ha cambiado el mercado. El cuñado sospecha de la prueba.
Qué pasa cuando eliges la mejor
Toda medición es el valor real más ruido. Con diez versiones, unas tienen ruido a favor y otras en contra. La que queda arriba suele ser una versión de verdad decente que además tuvo suerte en la prueba. Al lanzarla, la suerte desaparece y solo queda la parte real. Por eso el resultado de la ganadora tras el lanzamiento es, de media, menor que en la prueba. Es la maldición del ganador.
Cuánto pesa la maldición
Simulamos 200.000 pruebas así. Cada una de las diez versiones tenía un efecto real, sacado al azar en torno a cero (la mayoría algo mejor o peor, unas pocas claramente), y cada una se midió con 20.000 visitas frente a una versión de control.
| La versión ganadora | Media |
|---|---|
| Mejora medida en la prueba | +6,8% |
| Su mejora real | +3,2% |
| Mejora al volver a probarla con tráfico nuevo | +3,3% |
| Ganadora en realidad no mejor que la de control | más o menos 1 prueba de cada 10 |
| Ganadora de verdad la mejor de las diez | 42% |
La ganadora suele ser una buena elección: su mejora real es positiva casi siempre. El problema es el tamaño. Planificar con la cifra de la prueba es planificar con el doble del efecto real.
Por qué más opciones lo empeoran
Cuantas más versiones pruebas, más probabilidades de que una tenga muchísima suerte, y mayor la distancia entre el resultado medido y el real de la ganadora. Probar 50 titulares y citar la mejora del mejor es una forma fiable de prometer mucho más de lo que llegará. Es el mismo problema que las comparaciones múltiples: muchos intentos, enseñas el mejor.
Estadística para principiantes: la mejor medición es la más inflada
Cuando algo se elige porque su cifra fue la más alta, espera que esa cifra encoja la próxima vez: el mejor comercial del año, el fondo más rentable, el anuncio ganador. No es que hayan empeorado; la primera cifra incluía suerte. La estimación honrada sale de una medición nueva hecha después de elegir.
Es pariente cercana de la regresión a la media, aplicada a una elección que hiciste a propósito.
Dónde te cuesta dinero
Prueba 20 reglas de trading, elige la mejor prueba histórica, y su resultado estará inflado exactamente así. El remedio es el mismo: vuelve a probar a la ganadora con datos que no intervinieron en la elección, y espera que la segunda cifra sea menor.
La moraleja
El cuñado propuso volver a probar a la ganadora dos semanas antes de cambiar las previsiones. Marketing aceptó, con la condición de que la nueva prueba incluyera nueve versiones nuevas, «para seguir innovando». Ganó la versión 4 de la nueva tanda, con un 7,1% de mejora. La previsión se ha vuelto a subir.
Lo que este modelo no puede decirte
- Nuestros supuestos sobre los efectos reales. Si las diferencias reales entre versiones son mayores, la maldición es menor; si son aún más pequeñas, mayor.
- El mercado también puede cambiar. Las mejoras reales pueden desvanecerse cuando pasa la novedad. Es otra razón por la que la cifra de la prueba es optimista, no una razón para ignorar la maldición.
- Existen correcciones estadísticas. Los métodos que acercan la estimación de la ganadora a la media de todas las versiones dan mejores previsiones que la cifra bruta de la ganadora.
Marketing, la versión 7 y la previsión son una ilustración. Las cifras salen de nuestra propia simulación de 200.000 pruebas de diez versiones con mejoras relativas reales sacadas en torno a cero (desviación típica del 3%), una conversión base del 5% y 20.000 visitas por versión y por control. Contenido educativo, no asesoramiento empresarial ni financiero.