Estadística desde cero · Lección 8 de 22
¿Está trucada la moneda? El contraste de hipótesis y el p-valor
En una frase: Para decidir si algo es real o solo suerte, supón que es solo suerte y pregúntate lo sorprendente que sería tu resultado; el p-valor es justo esa sorpresa escrita como probabilidad.
La idea
El tío Paco lanza una moneda para decidir quién friega los platos. Últimamente sale cara muchísimas veces, que es lo que elige Paco. ¿Está trucada la moneda, o la familia simplemente tiene mala suerte?
Lanzando nunca vas a demostrar que una moneda está trucada. Hasta una moneda perfectamente justa puede sacar diez caras seguidas. Lo que sí puedes preguntarte es: si la moneda fuera justa, ¿lo sorprendente que sería este resultado? Si la respuesta es «muchísimo», empiezas a dudar de la moneda. En eso consiste todo el contraste de hipótesis.
Cómo funciona, en cuatro pasos
- Paso 1. Supón que no pasa nada interesante. La moneda es justa. El medicamento no hace nada. La estrategia de trading no es mejor que el azar. Esta suposición aburrida de partida se llama hipótesis nula.
- Paso 2. Recoge datos. Lanza la moneda, haz el estudio, prueba la estrategia.
- Paso 3. Pregúntate lo sorprendentes que serían los datos si la suposición aburrida fuera verdad. Esa probabilidad es el p-valor.
- Paso 4. Decide. Si el p-valor es pequeño (tradicionalmente, por debajo del 5%), los datos serían bastante sorprendentes con la suposición aburrida, así que la rechazas. El resultado se llama entonces estadísticamente significativo. Si no, no tienes pruebas suficientes para rechazarla.
Es la misma lógica que en un juicio. Al acusado se le presume inocente (la hipótesis nula). La fiscalía tiene que presentar pruebas que serían muy improbables si el acusado fuera inocente. Una absolución no significa «se ha demostrado su inocencia». Significa que las pruebas no eran lo bastante sólidas.
La moneda de fregar, a juicio
La tía Mari Carmen confisca la moneda y la lanza 10 veces. Sale cara 8 veces.
Si la moneda fuera justa, ¿con qué frecuencia saldrían 8 caras o más de 10? Contando todas las posibilidades: 56 de 1024, más o menos un 5,5%. Ese es el p-valor.
Sospechoso, pero no del todo por debajo del límite tradicional del 5%. Una prueba de 10 lanzamientos no va a condenar a la moneda. Mari Carmen, que es muy meticulosa, la lanza otras 90 veces. De 100 lanzamientos, sale cara 60 veces.
La probabilidad de 60 caras o más de 100 con una moneda justa es de más o menos un 2,8%. Ahora la moneda es oficialmente sospechosa. Paco asegura que es «una moneda de la suerte, sin más». Mari Carmen señala que justo ese es el problema.
Fíjate en lo que ha pasado: un 60% de caras en 100 lanzamientos convence más que un 80% de caras en 10. Un efecto grande en una muestra diminuta es fácil de conseguir por casualidad. Un efecto más pequeño en una muestra más grande es mucho más difícil (otra vez la lección 6).
Diez lanzamientos de una moneda justa: cuántas veces sale cada número de caras
Lo que el p-valor NO significa
El p-valor es el número peor entendido de la ciencia. Tres errores clásicos:
- No es la probabilidad de que la hipótesis nula sea verdad. Un p-valor del 2,8% no significa «hay un 2,8% de probabilidades de que la moneda sea justa». Significa «si la moneda fuera justa, un resultado así de extremo saldría el 2,8% de las veces». La diferencia suena inocente. No lo es.
- «No significativo» no significa «no hay efecto». Después de 10 lanzamientos, la moneda no era significativamente injusta. Eso no demostraba que fuera justa. Significaba que 10 lanzamientos eran muy pocos para decidirlo.
- «Significativo» no significa «grande» ni «importante». Con una muestra enorme, una moneda que sale cara el 50,1% de las veces acabará siendo «estadísticamente significativa». Es verdad, pero a nadie debería importarle.
La trampa: probar muchas cosas
El límite del 5% significa que, cuando no pasa nada, obtendrás un resultado «significativo» el 5% de las veces de todas formas, por casualidad. Prueba una cosa y es un riesgo aceptable. Prueba 20 cosas que no hacen nada y la probabilidad de que al menos una salga significativa es de más o menos un 64%.
Esto se llama comparaciones múltiples, y así se publica muchísima tontería: prueba muchas versiones e informa de la que «funcionó». El remedio es ajustar el límite al número de pruebas o volver a comprobar a la ganadora con datos nuevos que no haya visto nunca.
Para qué le sirve a alguien fuera de clase
Cada idea de trading que probamos en esta web pasa exactamente por esto. La hipótesis nula es: «esta estrategia no es mejor que comprar una acción al azar el mismo día». Medimos lo sorprendentes que serían los resultados de la estrategia si eso fuera verdad, y como normalmente probamos varias versiones de cada idea, corregimos por comparaciones múltiples. La mayoría de las estrategias famosas no sobreviven a esa corrección. Algunas parecían significativas antes de hacerla, y justo por eso existe.
Pruébalo tú
La tía Mari Carmen asegura que distingue un vino caro de uno barato. El cuñado prepara una prueba: 10 copas, cada una llenada al azar con un rioja caro o con un vino de tetrabrik, y Mari Carmen no ve las botellas. Acierta 9 de 10.
¿Cuál es la hipótesis nula? ¿Es el resultado estadísticamente significativo al 5%? ¿Y demuestra que Mari Carmen nota la diferencia?
Ver la respuesta
Hipótesis nula: Mari Carmen está adivinando, así que cada respuesta es una moneda al cincuenta por ciento.
p-valor: la probabilidad de acertar 9 o más de 10 adivinando es 11 de 1024, más o menos un 1,1%. Está por debajo del 5%, así que el resultado es estadísticamente significativo. Adivinar no lo explica bien.
¿Lo demuestra? No del todo. Es un indicio sólido, pero una chiripa con una probabilidad del 1,1% sigue pasando más o menos una vez de cada 90 pruebas. Si el cuñado hubiera probado a toda la familia y Mari Carmen simplemente hubiera quedado la mejor, volveríamos a tener comparaciones múltiples. El siguiente paso honrado es repetir la prueba con copas nuevas. Si vuelve a acertar, el tío Paco tendrá que dejar de comprar vino de tetrabrik y echarlo en una botella de rioja.
Las palabras que usa tu profesor
| El profesor dice | Significa |
|---|---|
| Hipótesis nula (H0) | La suposición aburrida: no hay efecto, no hay diferencia, es solo casualidad |
| Hipótesis alternativa (H1) | La afirmación interesante que estás comprobando: el efecto existe |
| Estadístico de contraste | Un número que resume lo lejos que están los datos de lo que espera la hipótesis nula |
| p-valor | Si la hipótesis nula fuera verdad, la probabilidad de un resultado al menos así de extremo |
| Nivel de significación (alfa, α) | El límite que se elige de antemano, normalmente el 5% |
| Estadísticamente significativo | El p-valor ha salido por debajo del límite |
| Error de tipo I (falsa alarma) | Rechazar la hipótesis nula aunque era verdad: condenar a una moneda inocente |
| Error de tipo II (lo que se escapa) | No rechazarla aunque el efecto existía de verdad: dejar libre a una moneda trucada |
| Potencia del contraste | La probabilidad de que la prueba detecte un efecto real. Las muestras más grandes dan más potencia |
| Contraste unilateral / bilateral | Si solo te interesa una dirección (demasiadas caras) o las dos (demasiadas caras o demasiadas cruces) |
| Comparaciones múltiples | Muchas pruebas a la vez, lo que hace las chiripas mucho más probables |
Tres cosas que recordar
- El contraste de hipótesis supone que es solo casualidad y luego pregunta lo sorprendentes que serían los datos. El p-valor es esa sorpresa.
- El p-valor no es la probabilidad de que la hipótesis nula sea verdad. «No significativo» no demuestra que no haya efecto, y «significativo» no demuestra que sea grande.
- Prueba suficientes cosas y alguna saldrá significativa por casualidad. Pregunta siempre cuántas cosas se probaron.
Forma parte de Estadística desde cero, un curso gratuito para principiantes de WrongStat. No sustituye a tu profesor, pero esperamos que sea un buen traductor.