Estadística desde cero · Lección 15 de 22
Errores de tipo I y de tipo II: por qué las pruebas pequeñas no ven las cosas
En una frase: Toda prueba puede equivocarse de dos maneras, dando una falsa alarma o pasando por alto algo real, y una muestra pequeña comete el segundo error mucho más a menudo de lo que casi todo el mundo cree.
La idea
En la lección 8 aprendiste a probar una idea suponiendo que es falsa (la hipótesis nula) y mirando si los datos sorprenden lo bastante como para rechazarla. Pero la prueba puede equivocarse igualmente, y exactamente de dos maneras:
- Error de tipo I, una falsa alarma: declaras un efecto que no existe.
- Error de tipo II, un despiste: hay un efecto real y tu prueba no lo detecta.
Los cursos de estadística dedican mucho tiempo al primero y muy poco al segundo. En la vida real, el segundo suele ser el problema más grande.
El juicio
Un juicio funciona exactamente como una prueba estadística. El acusado se presume inocente: esa es la hipótesis nula. La acusación necesita pruebas «más allá de toda duda razonable» para rechazarla.
| Inocente de verdad | Culpable de verdad | |
|---|---|---|
| Condenado | Error de tipo I: condenar a un inocente | Correcto |
| Absuelto | Correcto | Error de tipo II: un culpable sale libre |
Sube el listón de las pruebas y condenarás a menos inocentes, pero dejarás libres a más culpables. Bájalo y pasará al revés. Con las mismas pruebas no puedes llevar los dos errores a cero a la vez. La única forma de reducir los dos es tener más pruebas.
El nivel de significación del 5% es el listón del tribunal: aceptas un 5% de probabilidad de falsa alarma. La probabilidad de despiste tiene su propio nombre, y su contrario es la idea más importante de esta lección: la potencia estadística, la probabilidad de que tu prueba detecte un efecto que existe de verdad.
La moneda de la suerte del cuñado
El cuñado tiene una moneda con la que decide quién paga las cañas. El tío Paco paga sospechosamente a menudo. Paco sospecha que la moneda está trucada. Digamos que lo está: sale cara el 60% de las veces en lugar del 50%.
Paco la lanza 20 veces para comprobarlo.
Para declarar la moneda trucada con el umbral habitual del 5%, Paco necesitaría 15 caras o más de 20. Una moneda que sale cara el 60% de las veces llega ahí solo alrededor del 13% de las veces. Así que 87 veces de cada 100 la prueba de Paco dice «no hay pruebas de que la moneda esté trucada», y la moneda está trucada. El cuñado está encantado.
Así crece la probabilidad de pillar la moneda con el número de lanzamientos:
| Lanzamientos | Caras necesarias para declararla trucada | Probabilidad de pillar la moneda del 60% (potencia) |
|---|---|---|
| 20 | 15 o más | 13% |
| 100 | 59 o más | 62% |
| 400 | 217 o más | 99% |
La moneda está igual de trucada en todas las filas. Solo cambia la cantidad de pruebas. Con 20 lanzamientos, la prueba está casi ciega; con 400 casi nunca falla. Un objetivo habitual al planificar estudios es una potencia del 80%, y para una moneda del 60% hace falta algo más de 150 lanzamientos.
Por qué importa en cada «no se encontró efecto»
Cuando un estudio pequeño no encuentra un «efecto significativo», hay dos posibilidades: no hay efecto, o el estudio era demasiado pequeño para verlo. Sin conocer la potencia, no puedes saber cuál. Por eso «la ausencia de pruebas no es prueba de ausencia» es una de las frases más útiles de la estadística.
También es por eso que hacemos nuestras pruebas de trading con miles o millones de operaciones y no con un puñado: con tantos datos, las pruebas tienen potencia para ver incluso ventajas pequeñas. Cuando una idea sigue sin mostrar nada en cientos de miles de operaciones, «demasiado pequeño para verlo» deja de ser una buena excusa.
Y la otra cara: una prueba con mucha potencia marcará como significativos incluso efectos diminutos. Con mil millones de lanzamientos podrías demostrar que una moneda sale cara el 50,01% de las veces. Significativo, e inútil. Pregunta siempre lo grande que es el efecto, no solo si existe.
Pruébalo tú
El tío Paco probó sus calcetines de la suerte en 10 concursos del bar y no encontró «ningún efecto significativo». Concluye que los calcetines no funcionan y los tira. La tía Mari Carmen dice que la prueba no demuestra nada en ningún sentido.
¿Quién tiene razón y qué tipo de error podría estar cometiendo Paco?
Ver la respuesta
Técnicamente, Mari Carmen. Diez concursos es una muestra diminuta, así que la prueba tenía muy poca potencia: aunque los calcetines ayudaran un poco, probablemente no lo habría detectado. Si funcionan, Paco está cometiendo un error de tipo II, un despiste. «No significativo» con poca potencia quiere decir «no se podía saber».
Dicho esto, la conclusión de Paco sigue siendo la apuesta sensata. No hay ninguna razón creíble para que unos calcetines cambien las notas de un concurso, así que la probabilidad a priori (lección 11) es muy baja. La poca potencia explica por qué la prueba no puede descartarlo; no hace que los calcetines funcionen más. Mari Carmen los ha rescatado de la basura de todos modos, para la lavadora.
Las palabras que usa tu profesor
| El profesor dice | Significa |
|---|---|
| Error de tipo I (falso positivo) | Rechazar la hipótesis nula cuando es verdadera: una falsa alarma |
| Error de tipo II (falso negativo) | No rechazar la hipótesis nula cuando es falsa: un despiste |
| Nivel de significación, alfa (α) | La probabilidad de error de tipo I que aceptas, normalmente el 5% |
| Beta (β) | La probabilidad de error de tipo II |
| Potencia estadística (1 - β) | La probabilidad de detectar un efecto que existe de verdad |
| Tamaño del efecto | Lo grande que es el efecto real (60% de caras frente a 50%); los efectos grandes son más fáciles de detectar |
| Análisis de potencia | Calcular, antes de un estudio, cuántos datos hacen falta para tener buenas opciones de detectar el efecto |
Tres cosas para recordar
- Una prueba puede dar una falsa alarma (tipo I) o pasar por alto algo real (tipo II). Solo más pruebas reducen los dos.
- Las muestras pequeñas tienen poca potencia: «no se encontró efecto» a menudo significa «demasiado pequeño para saberlo».
- Las muestras enormes declaran significativos efectos diminutos: pregunta siempre cuánto, no solo si existe.
Forma parte de Estadística desde cero, un curso gratuito para principiantes de WrongStat. No sustituye a tu profesor, pero esperamos que sea un buen traductor.