Vida real · Potencia estadística
La comisión no encontró pruebas de baches. Revisó 20 metros.
La versión corta: no encontrar nada solo significa algo si tu revisión podía encontrarlo. En una carretera de 2 km con 10 baches, revisar 20 metros no encuentra ninguno más o menos el 90% de las veces. Para tener un 95% de probabilidad de dar con al menos uno, hay que revisar unos 590 metros. «No hay pruebas de un problema» tras una revisión pequeña no es una prueba de que no haya problema. La capacidad de una revisión para encontrar algo que de verdad existe se llama potencia estadística.
El tío Paco forma parte de la Comisión Municipal de Seguridad Vial. La comisión se creó tras las quejas por los baches de la calle del Molino, y su primer acto fue crear una subcomisión que decidiera si las quejas eran competencia de la comisión. Lo eran. Esto llevó cuatro meses.
La inspección se hizo un martes por la tarde. Llovía, así que la comisión inspeccionó los 20 metros de la calle del Molino justo delante del centro social, donde estaban las pastas. A mitad de la inspección se apagó la linterna de la comisión, porque le daba al presidente en los ojos.
El informe fue unánime: no hay pruebas de baches. Se publicó con el título «Éxito basado en pruebas». De camino a casa, un bache se tragó la bicicleta del presidente 40 metros más abajo. La comisión ha convocado una reunión para decidir si la bicicleta es de su competencia.
¿Qué probabilidad tenía la comisión de encontrar algo?
Pongámosle números a la calle del Molino. Mide 2 km, que dividiremos en 200 tramos de 10 metros. Diez de esos tramos tienen un bache: el 5% de la calle. La comisión miró dos tramos.
- La probabilidad de que un tramo no tenga bache: 95%.
- La probabilidad de que los dos tramos revisados no tengan ninguno: más o menos un 90%.
Con diez baches en la calle, la inspección de la comisión saldría limpia nueve de cada diez veces. Su informe no dice nada de la calle del Molino. Dice mucho de la inspección.
Probabilidad de encontrar al menos un bache en una calle que tiene diez
No hay pruebas de un problema no es prueba de que no haya problema
Son dos frases distintas, y a las comisiones les encanta intercambiarlas. «No encontramos baches» describe la revisión. «No hay baches» describe la calle. Solo se pasa de la primera a la segunda si la revisión era lo bastante buena como para encontrar los baches que hubiera.
La capacidad de una revisión para encontrar algo que existe de verdad se llama potencia estadística. Una inspección minúscula, un ensayo corto o una encuesta pequeña tienen poca potencia: casi siempre no encontrarán nada, haya algo o no. No encontrar nada con una revisión de poca potencia es como buscar las llaves con los ojos cerrados y concluir que no tienes llaves.
¿Cuánta calle hay que revisar?
Suponiendo todavía 10 baches en la calle:
- Revisas 100 metros: encuentras al menos uno más o menos el 40% de las veces.
- Revisas 300 metros: más o menos el 79%.
- Revisas unos 590 metros: más o menos el 95%. Solo ahora «no encontramos ninguno» empieza a significar «probablemente no hay diez».
Y con menos baches hace falta una revisión mayor. Los problemas raros se esconden bien. Por eso una persona en un ensayo, una semana de un hábito nuevo o una calle tranquila no dicen casi nada sobre si algo es seguro, funciona o está arreglado.
Cómo leer «no encontramos pruebas»
1. Pregunta lo grande que fue la revisión. 20 metros, 12 pacientes, tres semanas. Si la respuesta es pequeña, el «no hay pruebas» también lo es.
2. Pregunta qué podía encontrar la revisión. ¿Se habría visto un problema real de un tamaño realista? Si no, no encontrar nada era el resultado esperado.
3. Pregunta quién apagó la linterna. Una revisión cortada a la mitad, hecha en la parte seca o donde estaban las pastas se ha debilitado, lo quisiera alguien o no.
Dónde te cuesta dinero
«No encontramos pruebas de que esta estrategia pierda dinero», tras dos meses y nueve operaciones, es el informe de la comisión sobre la calle del Molino. Una prueba tan pequeña casi nunca encontraría nada, en ningún sentido. Antes de fiarte de un resultado limpio, pregunta si la prueba era lo bastante grande como para pillar una pérdida real. Por eso las pruebas de esta web usan años de datos y miles de operaciones, y lo decimos cuando la muestra es demasiado pequeña.
La moraleja
La comisión volvió a reunirse por lo de la bicicleta. Votó encargar una inspección completa de la calle del Molino, con la condición de que la hiciera alguien que no fuera de la comisión, de día y con la linterna encendida. No se encontró a nadie que cumpliera las tres condiciones, así que la inspección se ha aplazado. Los baches han fundado una asociación de vecinos.
La calle del Molino, su comisión y sus baches son de ejemplo; los cálculos tratan cada tramo de calle como un sorteo independiente. Contenido educativo, no asesoramiento financiero.