Estadística desde cero · Lección 10 de 22
Cómo mentir con estadísticas (para que sepas pillarlo)
En una frase: La mayoría de las estadísticas engañosas no son falsas; son números reales elegidos, presentados o medidos para que apunten en la dirección equivocada, y un puñado de preguntas sencillas pilla casi todas.
La idea
Las estadísticas más peligrosas no son inventadas. Los números inventados son fáciles de pillar. Los peligrosos son números perfectamente reales que se han elegido, presentado o medido para llevarte a la conclusión equivocada. Nadie tiene que mentir. Basta con elegir.
Ya conoces todos los trucos de este curso. Esta lección los junta en un sitio, le pone cara a cada uno y termina con una lista de preguntas que puedes usar con cualquier titular, anuncio u oferta de inversión durante el resto de tu vida.
Truco 1: elige la fecha de inicio
El fondo de criptomonedas del cuñado perdió el 80% de su valor en su primer año. Después subió un 300% desde ese mínimo.
La nueva web del cuñado dice: «¡Un 300% arriba!». Lo cual es verdad si empiezas a contar desde el fondo. Contando desde el día en que los inversores del cuñado metieron el dinero de verdad, siguen un 20% abajo. (Una caída del 80% deja 20 céntimos de cada euro. Una subida del 300% desde ahí lo multiplica por cuatro: 80 céntimos.)
Esto es elegir a dedo (cherry-picking): escoger el periodo, los ejemplos o los datos que cuentan la historia que quieres. Cada vez que veas un resultado, pregunta: ¿quién eligió la fecha de inicio y la de final, y qué pasa si las mueves? Una estrategia que «ha ganado un 500% desde marzo de 2009» puede que simplemente comprara en el fondo del peor crac en décadas. Desde ese momento, a casi todo le fue bien.
Truco 2: recorta el gráfico
Un gráfico de barras muestra la valoración de los clientes de dos bares: 99 y 100. Si el eje vertical empieza en 0, las barras parecen iguales, y eso es honrado. Empieza el eje en 98 y la segunda barra parece el doble de alta que la primera. Los datos no han cambiado. El dibujo, sí.
Mira siempre dónde empieza el eje. Si no empieza en cero, las diferencias son más pequeñas de lo que parecen.
Las mismas dos valoraciones, 99 y 100
Truco 3: di «duplica» en lugar de «uno entre diez mil»
«¡Comer este aperitivo todos los días duplica el riesgo de una enfermedad rara!». Aterrador. Pero si el riesgo pasa de 1 entre 10.000 a 2 entre 10.000, entonces, por cada 10.000 personas que lo comen a diario, enferma una persona más. El riesgo relativo se ha duplicado. El riesgo absoluto ha subido uno entre diez mil.
Las dos cifras son verdad. Los titulares y los anuncios eligen la que suene más dramática. Pregunta siempre por la cifra absoluta: ¿de cuántos?
Truco 4: usa una muestra diminuta
«4 de cada 5 personas prefieren nuestro producto». ¿De cuántas? Si fueron literalmente cinco personas, que una cambie de opinión convierte el 80% en un 60% o en un 100% (lección 6). Las muestras pequeñas dan cifras dramáticas con facilidad, así que si no te dicen el tamaño de la muestra, da por hecho que es pequeña.
Truco 5: enseña solo a los supervivientes
«¡Muchos de los fundadores de empresas más famosos dejaron la universidad!». Verdad. Pero también la dejó una cantidad enorme de gente que no se convirtió en fundador famoso, y nunca oyes hablar de ellos, porque nadie les escribe reportajes. Esto es el sesgo de supervivencia: mirar solo a los ganadores porque los perdedores han desaparecido de la vista. Los fondos de inversión a los que les fue mal cierran sin hacer ruido. Los que quedan parecen geniales de media, en parte porque los malos ya no cuentan.
Truco 6: pruébalo todo, cuenta el ganador
Prueba 20 cosas que no hacen nada y probablemente una de ellas parecerá «estadísticamente significativa» por suerte (lección 8). Cuenta solo esa y ya tienes titular. Se llama p-hacking o «pescar en los datos», y es una forma educada del problema de los calcetines de la suerte de la lección 7. Pregunta: ¿cuántas otras cosas probaron?
Truco 7: elige el promedio que te convenga
«¡El cliente medio se ahorró 500 €!». ¿Media o mediana? Un cliente que se ahorró 40.000 € puede hacer que la media parezca maravillosa mientras casi todo el mundo no se ahorró prácticamente nada (lección 2).
Truco 8: quita la comparación
«Nuestra estrategia ganó un 80% en diez años». ¿Comparado con qué? Si simplemente mantener un fondo indexado ganó más en esos mismos diez años, la estrategia perdió contra no hacer nada. Un resultado sin comparación no es un resultado. Por eso cada prueba de esta web se compara con el S&P 500 y con una acción al azar comprada los mismos días.
La lista
Ocho preguntas. Entre todas pillan casi cualquier estadística engañosa que te vayas a encontrar:
- ¿Comparado con qué? ¿Con el mercado, con un grupo de control, con no hacer nada?
- ¿En qué periodo, y quién lo eligió? ¿Qué pasa si mueves las fechas?
- ¿De cuántos? El tamaño de la muestra, y las cifras absolutas en lugar de «duplica».
- ¿Qué promedio? ¿Media o mediana, y está un solo valor atípico haciendo todo el trabajo?
- ¿Quién falta? Los fracasos, la gente que no contestó, los fondos que cerraron.
- ¿Cuántas cosas se probaron? ¿Es este el único ganador con suerte entre muchos?
- ¿Podría explicarlo otra cosa? ¿Una tercera cosa escondida, o la causa y el efecto al revés?
- ¿Dónde empieza el eje del gráfico?
Pruébalo tú
Al tío Paco le ha llegado este anuncio de un boletín de inversión y quiere saber si apuntarse:
«¡Nuestras 5 mejores recomendaciones desde marzo de 2009 han ganado una media del 900%! Nuestros suscriptores tienen 3 veces más probabilidades de jubilarse antes. 4 de cada 5 suscriptores encuestados nos recomendarían».
¿Cuántos trucos encuentras?
Ver la respuesta
«5 mejores recomendaciones»: elegir a dedo y sesgo de supervivencia. ¿Cuántas recomendaciones hubo en total, y qué tal les fue a las demás?
«Desde marzo de 2009»: una fecha de inicio justo en el fondo de un crac enorme. Desde ahí casi todo subió muchísimo.
«Una media del 900%»: ¿media o mediana? Una sola recomendación espectacular entre las cinco podría dar esa media por sí sola.
Sin comparación: ¿qué tal le fue al S&P 500 en el mismo periodo?
«3 veces más probabilidades de jubilarse antes»: relativo, no absoluto (¿3 veces qué?), y casi seguro una tercera cosa: la gente que puede pagarse boletines de inversión ya tiene más dinero para jubilarse. Correlación, no causa.
«4 de cada 5 suscriptores encuestados»: ¿a cuántos encuestaron? Y solo preguntaron a los que siguen suscritos, así que los descontentos que se fueron no cuentan. Otra vez el sesgo de supervivencia.
Son al menos seis trucos en tres frases, y probablemente cada número por separado es verdad. La tía Mari Carmen ha cancelado la suscripción. Paco le ha pedido que «por lo menos se quede con la taza de regalo».
Las palabras que usa tu profesor
| El profesor dice | Significa |
|---|---|
| Elegir a dedo (cherry-picking) | Escoger solo los datos, ejemplos o fechas que apoyan tu historia |
| Eje truncado | Un eje de gráfico que no empieza en cero, lo que exagera las diferencias |
| Riesgo relativo | Cuántas veces más grande es un riesgo («duplica») |
| Riesgo absoluto | La probabilidad real, de cuántos («1 entre 10.000») |
| Sesgo de supervivencia | Mirar solo a los que sobrevivieron a algún proceso de selección |
| p-hacking (pescar en los datos) | Probar muchos análisis y contar solo el que salió significativo |
| Sesgo de publicación | Los resultados emocionantes se publican y los aburridos de «no hizo nada», no, así que lo publicado parece mejor que la realidad |
| Tasa base | Lo frecuente que es algo para empezar. Ignorarla es lo que hace que «duplica» dé miedo |
| Referencia (benchmark) | Aquello con lo que debería compararse un resultado |
Tres cosas que recordar
- Las estadísticas engañosas suelen ser números reales, elegidos y presentados para que apunten en la dirección equivocada.
- Las dos preguntas más potentes son «¿comparado con qué?» y «¿de cuántos?».
- Desconfía sobre todo de los números que más te gustaría creer.
Has terminado la parte 1
Esas son las diez lecciones básicas. Si quieres ir más allá, la parte 2 empieza con la lección 11: probabilidad condicionada y teorema de Bayes, y sigue con la regresión, el valor esperado y las pruebas más habituales (t y chi-cuadrado). Ahora sabes más sobre cómo funciona de verdad la estadística que la mayoría de la gente que la cita en la tele. Si un profesor, un titular o el tío Paco te lanza un número, ya tienes las preguntas que hacer. Ve y hazlas.
Y si quieres ver estas ideas aplicadas a dinero de verdad, nuestras pruebas de ideas populares de trading usan todas ellas: grupos de control, tamaños de muestra, costes, corrección por comparaciones múltiples y la comparación con el S&P 500.
Forma parte de Estadística desde cero, un curso gratuito para principiantes de WrongStat. No sustituye a tu profesor, pero esperamos que sea un buen traductor.