El algoritmo acierta el 98,7%. Decir que no a todo el mundo, también.
La versión corta: cuando lo que buscas es raro, la exactitud casi no significa nada. Si el 1,3% de las parejas son compatibles, un programa que rechaza a todos acierta el 98,7% de las veces y no encuentra ni una pareja. En nuestro ejemplo, una aplicación que propone 200 parejas, 100 de ellas buenas, también acierta el 98,7%. Las preguntas que importan son: de las parejas que propone, ¿cuántas son buenas (precisión)? y de las parejas buenas que hay, ¿cuántas encuentra (sensibilidad)?
La tía Encarna, hermana de Mari Carmen, se ha quedado soltera y se ha apuntado a una aplicación de citas. La aplicación dice que su algoritmo de emparejamiento acierta el 98,7% de las veces. Se entrenó con millones de parejas, tiene en cuenta 400 rasgos de personalidad y su anuncio sale con una puesta de sol que acierta el 98,7%.
La primera semana, el algoritmo emparejó a Encarna con un señor que se describía como «entre aficiones», un señor que se describía como «entre esposas» y un señor que resultó ser su dentista. Encarna le preguntó a la aplicación cómo es el otro 1,3%.
El programa que dice que no a todo el mundo
Construyamos un algoritmo mejor. Es muy corto. Para cada pareja de personas, dice: «no sois compatibles». Ese es todo el programa.
Supongamos que de 10.000 parejas posibles, 130 son compatibles de verdad: el 1,3%. Nuestro programa se equivoca con esas 130 y acierta con las otras 9870. Eso es acertar el 98,7%. Coincide con la cifra de la aplicación hasta el decimal, se escribió en cuatro segundos y nunca ha presentado a nadie a nadie.
Por eso la exactitud es un número pésimo para cosas raras. Cuando casi todas las respuestas son «no», decir «no» siempre sale brillante. La frecuencia de base hace todo el trabajo y el algoritmo se lleva el mérito.
Lo que hace de verdad la aplicación
Ahora digamos que la aplicación real, de esas mismas 10.000 parejas, propone 200 emparejamientos. 100 son buenos. También se le escapan 30 de las 130 parejas buenas.
- Aciertos: 100 parejas buenas más 9770 parejas bien rechazadas = 9870. Otra vez el 98,7%.
- De los 200 emparejamientos que propone, la mitad son buenos: 50%. Esto se llama precisión.
- De las 130 parejas buenas que hay, encuentra 100: 77%. Esto se llama sensibilidad.
La aplicación y el programa de «no a todos» tienen exactamente la misma exactitud. Una encuentra 100 parejas y el otro ninguna. La exactitud no los distingue. La precisión y la sensibilidad, sí.
Dos programas, 10.000 parejas, 130 compatibles de verdad
Las dos preguntas que hay que hacer
1. Cuando dice que sí, ¿cuántas veces acierta? Es la precisión: el porcentaje de sugerencias que valen la pena. Para Encarna, el porcentaje de citas que merecen el billete de autobús.
2. De todo lo que vale la pena encontrar, ¿cuánto encuentra? Es la sensibilidad: el porcentaje de buenas parejas que de verdad pilla. Un programa prudente con mucha precisión puede dejarse igualmente la mayoría.
3. Compara con no hacer nada. Si «decir siempre que no» saca la misma nota, la nota mide la frecuencia de base, no el algoritmo.
Dónde te cuesta dinero
«Nuestro modelo acertó el mercado el 99% de los días» suena impresionante hasta que te das cuenta de que los desplomes ocurren más o menos el 1% de los días, y un modelo que cada mañana dice «hoy no hay desplome» saca la misma nota. Cualquier promesa de mucha exactitud sobre algo raro (desplomes, fraudes, acciones que multiplican por diez) necesita su tasa de acierto en lo raro: cuando el modelo dice «desplome», ¿cuántas veces acierta, y cuántos desplomes se le escaparon?
La moraleja
Encarna puso una reclamación. La aplicación contestó, con una exactitud del 98,7%, que la reclamación se había recibido. Mientras tanto, Encarna conoció a alguien en la cola de Correos, un método con una precisión de uno de uno y una sensibilidad que nadie ha medido. La aplicación le mandó una encuesta para preguntarle si el algoritmo la había ayudado. Contestó que no. La aplicación lo registró como una predicción acertada.
La aplicación, su algoritmo y todas sus cifras son inventados y de ejemplo. Contenido educativo, no asesoramiento financiero.