Estadística desde cero · Lección 25 de 25
Estudio observacional y experimental: cómo saber qué causa qué
En una frase: En un estudio observacional solo miras lo que la gente ya hace, así que diferencias ocultas pueden explicar el resultado; en un experimento asignas el tratamiento al azar, que es la forma más limpia de demostrar causa y efecto.
La idea
La lección 7 advertía de que correlación no es causalidad. Esta lección trata de qué hacer en su lugar. Hay dos formas básicas de reunir datos sobre una causa:
- Estudio observacional: miras y anotas lo que personas, plantas o empresas ya hacen, y comparas los grupos. No cambias nada.
- Experimento: tú decides quién recibe el tratamiento, idealmente al azar, y comparas los resultados.
La diferencia suena pequeña. Es la diferencia entre «estas cosas van juntas» y «esto causa aquello».
La teoría de los enanitos
El tío Paco ha recorrido la urbanización y ha hecho un descubrimiento: las casas con enanitos de jardín tienen el césped claramente más bonito. Su conclusión es que los enanitos mejoran el césped, quizá subiendo la moral. Ha encargado seis.
La tía Mari Carmen señala que casi todos los dueños de enanitos están jubilados y se pasan el día entero en el jardín.
Paco ha hecho un estudio observacional. Las casas con enanitos y las casas sin ellos se diferencian en muchas cosas además de los enanitos: tiempo libre, edad, dinero, afición a la jardinería. Cualquiera de ellas podría explicar el césped. Esas diferencias ocultas son variables de confusión (lección 7), y en un estudio observacional nunca puedes estar seguro de haber pensado en todas.
Lo que hace la asignación aleatoria
Ahora imagina la versión de Mari Carmen. Toma 40 hogares voluntarios, lanza una moneda para cada uno y les da enanitos a los 20 que sacan cara. Un verano después compara el césped.
A la moneda le da igual quién está jubilado, quién tiene dinero o a quién le encanta el jardín. De media, esas cosas acaban repartidas por igual entre los dos grupos. Así que si el césped del grupo con enanitos sale mejor, los enanitos (o algo que viene con recibir un enanito) son la explicación más plausible. Ese es el poder de la asignación aleatoria: equilibra las variables de confusión que conoces y las que no conoces.
Los hogares sin enanitos son el grupo de control: muestran lo que habría pasado de todos modos, incluidos el tiempo, la estación y la regresión a la media (lección 23).
Los demás ingredientes de un buen experimento
- Una comparación justa: los dos grupos tratados igual en todo salvo en lo que se prueba. Si los hogares con enanitos reciben además cada semana la visita de un Paco entusiasta, estás probando a Paco, no a los enanitos.
- Ciego cuando se pueda: quienes puntúan el césped no deberían saber qué casas tienen enanitos, para que sus expectativas no tiñan las notas. Si los propios hogares tampoco saben si están en el grupo «de verdad», el ensayo es doble ciego.
- Suficientes casos: veinte céspedes por grupo solo detectan un efecto bastante grande (lecciones 15 y 22).
- Decidir la medida de antemano: «calidad del césped en una escala de 1 a 10 en septiembre», no lo que mejor quede después (las comparaciones múltiples de la lección 8).
Cuando no se puede experimentar
Muchas preguntas no se pueden responder lanzando una moneda: no se puede asignar al azar quién fuma, en qué año nace alguien o quién pasa por una recesión. Entonces solo hay estudios observacionales, y los cuidadosos siguen siendo muy valiosos. Pueden comparar lo comparable (lección 18), ajustar por las variables de confusión conocidas, seguir a las mismas personas durante años y buscar experimentos naturales, situaciones en las que el azar hizo la asignación por ti, como un sorteo de plazas escolares. La forma honesta de expresar un resultado observacional es «se asocia con», no «causa».
Por qué importa en los resultados de trading
Un backtest es un estudio observacional del pasado: no se puede repetir la historia con la señal encendida y apagada al azar. Por eso nuestros tests siempre comparan la estrategia con un grupo de control de acciones elegidas al azar en el mismo periodo, y por eso tenemos cuidado con lo que un resultado puede demostrar. Una estrategia que pareció buena en el pasado se asoció entonces con buenos resultados; eso es mucho más débil que «genera beneficios».
Pruébalo tú
(Un ejemplo inventado.) Una encuesta en un instituto encuentra que los alumnos que eligen sentarse en primera fila sacan 72 de media en los exámenes y los de atrás 64. Paco concluye que sentarse delante suma 8 puntos. Al curso siguiente, un profesor asigna los sitios sacando nombres de un sombrero. Los alumnos de primera fila sacan 69 de media y los de atrás 67.
1. ¿Cuál es el estudio observacional y cuál el experimento? 2. ¿Por qué se redujo la diferencia? 3. ¿Cuál es la mejor estimación del efecto de sentarse delante?
Ver la respuesta
1. La encuesta es observacional: los alumnos eligieron su sitio. Sacar nombres de un sombrero es un experimento con asignación aleatoria.
2. Los alumnos que eligen la primera fila probablemente ya estaban más motivados. En la encuesta, los 8 puntos mezclan el efecto del sitio con la motivación. El sombrero repartió a los motivados por toda la clase, así que casi toda la diferencia desapareció.
3. Los 2 puntos del experimento, con una salvedad: una clase en un curso es una muestra pequeña, así que hace falta un intervalo (lección 9) antes de que nadie mueva los pupitres. Paco se ha sentado en la cabecera de la mesa en la comida familiar, sin ningún efecto medible.
Las palabras que usa tu profesor
| El profesor dice | Significa |
|---|---|
| Estudio observacional | Registrar lo que pasa sin asignar ningún tratamiento |
| Experimento (ensayo controlado aleatorizado, ECA) | El investigador asigna el tratamiento, idealmente al azar, y compara con un grupo de control |
| Grupo de tratamiento, grupo de control | Los que reciben lo que se prueba y los que no |
| Asignación aleatoria (aleatorización) | Usar el azar para decidir quién recibe el tratamiento, de modo que las variables de confusión se equilibren de media |
| Variable de confusión | Una diferencia oculta entre grupos que afecta al resultado |
| Ciego, doble ciego | Que quienes evalúan (y los participantes) no sepan quién recibió el tratamiento |
| Experimento natural | Una situación real en la que el azar asignó el «tratamiento» |
| Muestreo aleatorio y asignación aleatoria | El muestreo decide a quién se estudia (lección 1); la asignación decide quién recibe el tratamiento |
Tres cosas para recordar
- Observar muestra qué va junto. Asignar al azar muestra qué causa qué.
- La asignación aleatoria equilibra las variables de confusión que conoces y las que ni se te han ocurrido.
- Cuando solo puedes observar, di «se asocia con», compara lo comparable y busca un grupo de control.
La parte 3, por ahora
Las lecciones 20 a 25 añaden herramientas que encontrarás en casi cualquier curso y cualquier informe de investigación: las distribuciones binomial y de Poisson para contar, el ANOVA para comparar más de dos grupos, el tamaño del efecto para decidir si un resultado significativo importa, la regresión a la media para detectar cambios que no necesitan causa y la diferencia entre observar y experimentar para decidir qué causa qué.
Forma parte de Estadística desde cero, un curso gratuito para principiantes de WrongStat. No sustituye a tu profesor, pero esperamos que sea un buen traductor.