Estadística desde cero · Lección 22 de 22
Estadísticamente significativo no quiere decir importante: el tamaño del efecto
En una frase: Estadísticamente significativo quiere decir que un resultado probablemente no es suerte, no que sea grande ni que valga algo; para saber si importa, mira el tamaño del efecto, en unidades reales y con su intervalo.
La idea
En el lenguaje de todos los días, «significativo» quiere decir grande o importante. En estadística quiere decir algo mucho más estrecho: probablemente no es pura suerte (lección 8). Un resultado puede ser estadísticamente significativo y no tener ninguna importancia. Y un efecto importante puede no salir estadísticamente significativo. Confundir los dos sentidos es uno de los errores más comunes en titulares, informes de empresa y, de vez en cuando, respuestas de examen.
El remedio es un segundo número: el tamaño del efecto, es decir, cómo de grande es la diferencia de verdad.
El botón verde
El cuñado trabaja en una tienda online. Su equipo probó un botón verde de «Comprar» contra el azul de siempre, con un millón de visitantes viendo cada uno. El azul vendió al 10,0% de los visitantes. El verde, al 10,1%.
La prueba es estadísticamente significativa: p = 0,02. Su jefe lo ha llamado «un avance significativo», ha mandado repintar todos los botones de la web y ha convocado una reunión sobre el verde.
El cuñado hizo la otra cuenta. El botón verde vende a un cliente más por cada mil visitantes.
Los dos números son correctos. El valor p dice que la diferencia probablemente es real. El tamaño del efecto, 0,1 puntos porcentuales, dice cuánto vale. Si eso compensa un rediseño depende de cuántos visitantes tiene la tienda y de lo que cuesta repintar, que es una pregunta de negocio, no de estadística. Lo que seguro que no es, es un avance.
Por qué las muestras enormes hacen todo significativo
El valor p depende de dos cosas: lo grande que es el efecto y cuántos datos tienes. Con suficientes datos, el error típico (lección 6) se encoge tanto que hasta una diferencia diminuta destaca sobre el ruido. Aquí está el mismo efecto con dos tamaños de muestra.
Dos clases hacen el mismo examen. La clase A saca de media 72, la clase B 70, y en las dos la desviación típica es de 10 puntos.
| Alumnos por clase | Diferencia | Valor p | Intervalo del 95% para la diferencia |
|---|---|---|---|
| 20 | 2 puntos | 0,53 | de 4,4 puntos peor a 8,4 mejor |
| 2000 | 2 puntos | menos de 0,000001 | de 1,4 a 2,6 puntos mejor |
La diferencia es la misma, 2 puntos, las dos veces. El valor p pasó de «aquí no hay nada» a «abrumador» solo porque las clases crecieron. Así que un p diminuto no significa un efecto grande, y un p grande no significa que no haya efecto. Sobre todo te dice si tenías datos suficientes para ver el efecto que hay.
Cómo medir el efecto
- Primero en unidades reales. «2 puntos en el examen», «1 venta más por cada 1000 visitantes», «3 minutos más rápido». Son los números que la gente puede juzgar. Con porcentajes, aclara si hablas de puntos porcentuales o de un cambio relativo (de 10,0% a 10,1% son 0,1 puntos porcentuales, o una subida relativa del 1%, que suena mucho más grande).
- Como tamaño estandarizado cuando las unidades son difíciles de comparar. El más común es la d de Cohen: la diferencia dividida entre la desviación típica. Para el examen, 2 ÷ 10 = 0,2. Una guía aproximada muy citada llama pequeño a 0,2, mediano a 0,5 y grande a 0,8. Es un punto de partida, no una ley: un efecto «pequeño» puede importar mucho si afecta a millones de personas o hay dinero en juego cada día.
- Con su intervalo. Un intervalo de confianza (lección 9) muestra el tamaño del efecto y la incertidumbre juntos. «De 1,4 a 2,6 puntos» dice: seguro que a favor, seguro que poco. «De 4,4 peor a 8,4 mejor» dice: todavía no lo sabemos. Eso es más útil que cualquier valor p por sí solo.
El error contrario
Los estudios pequeños pueden pasar por alto efectos que importan. En la lección 14, una ruta al trabajo era de media 3 minutos más rápida, pero con seis trayectos por ruta el resultado no fue significativo (p = 0,07). Tres minutos cada día laborable son unas 12 horas al año. «No significativo» quería decir allí «no demostrado con seis trayectos», no «no importa». El resumen honesto: un efecto posiblemente útil, pocos datos, seguir midiendo.
Por qué importa en los resultados de trading
Justo por eso cada resultado de esta web viene con costes y comparaciones. Como ilustración (un ejemplo inventado, no uno de nuestros tests): una estrategia que bate al mercado en un 0,02% por operación a lo largo de cien mil operaciones puede ser estadísticamente significativa. Si cada operación de ida y vuelta cuesta un 0,1% en comisiones y diferenciales, la estrategia pierde dinero igualmente. Significativa, real e inútil. Y lo contrario vale para nuestros propios resultados: cuando no encontramos ventaja, eso quiere decir «ninguna ventaja que pudiéramos detectar con estos datos», no «prueba de que no existe ventaja».
Pruébalo tú
El tío Paco lee que un estudio con 100.000 conductores concluye que una marca de neumáticos da un consumo significativamente menor: 6,93 l/100 km en lugar de 7,0 (p = 0,001). Los neumáticos cuestan 200 € más por juego y duran cuatro años. Paco hace 15.000 km al año y el combustible cuesta 1,60 € el litro.
1. ¿El efecto es probablemente real? 2. ¿Cuánto ahorraría Paco durante la vida de los neumáticos? 3. ¿Debería poner «significativamente menor consumo» en la caja?
Ver la respuesta
1. Probablemente sí. Con 100.000 conductores y p = 0,001, la suerte es una explicación improbable (suponiendo que el estudio se hiciera bien).
2. A 7,0 l/100 km gasta 15.000 ÷ 100 × 7,0 = 1050 litros al año. A 6,93 l/100 km, 1039,5. Son 10,5 litros, unos 16,80 € al año, así que más o menos 67,20 € en cuatro años, frente a 200 € más al comprarlos. Real, significativo y poco rentable si solo cuentas el combustible.
3. Lo pondrá, porque técnicamente es verdad. La versión honesta es «alrededor de un 1% menos de consumo», que da el tamaño del efecto y te deja hacer la cuenta. Paco ha decidido que los neumáticos son significativamente caros, que es el uso correcto de la palabra.
Las palabras que usa tu profesor
| El profesor dice | Significa |
|---|---|
| Significación estadística | El resultado probablemente no es pura suerte (p por debajo de un nivel elegido, a menudo 0,05) |
| Significación práctica (clínica, económica) | El efecto es lo bastante grande para importar en el mundo real |
| Tamaño del efecto | Cómo de grande es la diferencia o la relación, sin depender del tamaño de la muestra |
| d de Cohen | La diferencia entre dos medias dividida entre la desviación típica |
| Diferencia absoluta y relativa | 0,1 puntos porcentuales frente a «un 1% más»; el mismo cambio, sonando muy distinto |
| Diferencia mínima importante | El efecto más pequeño por el que merece la pena actuar, idealmente decidido antes del estudio |
| Estudio sobredimensionado | Uno tan grande que hasta las diferencias triviales salen significativas |
Tres cosas para recordar
- Significativo quiere decir «probablemente no es suerte», no «grande» ni «importante».
- Con datos suficientes todo es significativo; con muy pocos, nada. Al tamaño del efecto le da igual el tamaño de la muestra.
- Pregunta siempre: cómo de grande, en qué unidades, con qué intervalo y si vale algo después de costes.
La parte 3, por ahora
Las lecciones 20 a 22 añaden tres herramientas que encontrarás en casi cualquier curso y cualquier informe de investigación: la distribución binomial para contar éxitos, el ANOVA para comparar más de dos grupos a la vez y el tamaño del efecto para decidir si un resultado significativo importa de verdad.
Forma parte de Estadística desde cero, un curso gratuito para principiantes de WrongStat. No sustituye a tu profesor, pero esperamos que sea un buen traductor.