Su solicitud ha sido denegada por no haberla presentado correctamente
La versión corta: «el 99% de las solicitudes completas, aprobadas» puede ser verdad aunque solo se apruebe más o menos un tercio de todas, si es la propia oficina la que decide qué solicitudes están completas. En nuestro ejemplo, 640 de 1000 solicitudes se declaran incompletas y nunca llegan a la estadística; de las 360 restantes se aprueban 356. Es el 98,9% de las completas y el 35,6% de todas. Antes de fiarte de una tasa de éxito, pregunta qué hay en el denominador y quién lo decidió.
La tía Mari Carmen quería poner una caseta en el jardín. En la web del ayuntamiento leyó que la oficina de licencias aprueba el 99% de las solicitudes completas, así que rellenó el impreso, adjuntó los planos y pagó la tasa.
Tres semanas después llegó una carta. Su solicitud estaba incompleta. Le faltaba el Anexo C7, la Confirmación de Completitud.
Mari Carmen solicitó el Anexo C7. Esa petición también fue denegada: el Anexo C7 solo se expide para solicitudes completas, y la oficina no tenía ninguna solicitud completa suya en el registro. Las dos cartas están en la nevera, una al lado de la otra, explicándose mutuamente para siempre.
Cómo aprobar el 99% de las solicitudes
Este es un año de ejemplo en la oficina. Los números son inventados, pero todo el truco está en la aritmética:
- Llegan 1000 solicitudes.
- 640 se declaran incompletas en la ventanilla: falta el Anexo C7, la firma está en un color que no toca, o el dibujo de la caseta se parece demasiado, en opinión del funcionario, a un garaje.
- Las 360 restantes se declaran completas. La oficina aprueba 356.
356 de 360 es el 98,9%. Es el número de la web, y es verdad. Pero 356 de 1000 es el 35,6%. La misma oficina, el mismo año, las mismas casetas. Lo único que cambia es entre qué divides.
El truco no está en contar, sino en el colador de antes. Todo lo que no encaja con el resultado queda fuera de la estadística antes de calcular la estadística, así que la estadística nunca se equivoca. Es la misma jugada que una encuesta de «clientes satisfechos» enviada solo a los clientes que no pidieron que les devolvieran el dinero.
Solicitudes aprobadas en una oficina de ejemplo
Quién decide qué cuenta
El segundo problema es quién sujeta el colador. A la oficina se la juzga por su tasa de aprobación, y es la oficina la que decide qué solicitudes están completas. Cualquier solicitud que podría denegar puede declararla incompleta, lo cual no cuesta nada y mejora la tasa. Nadie tiene que mentir. El incentivo hace el trabajo en silencio. Es la ley de Goodhart: cuando un número se convierte en objetivo, la gente encuentra la forma más barata de moverlo.
La otra estadística de la oficina es igual de impresionante: un plazo medio de resolución de 6 días. Se cuenta desde el momento en que la solicitud se declara completa. La de Mari Carmen lleva 11 semanas esperando, pero todavía no ha empezado, así que no cuenta.
Las solicitudes que no se ven
Las 640 solicitudes incompletas no aparecen en ninguna parte. No son denegaciones, así que no están en la tasa de denegación. No son aprobaciones, así que no están en la tasa de aprobación. Como las empresas quebradas que faltan en una lista de casos de éxito, desaparecen antes de que nadie las cuente. Una tasa de éxito calculada solo con los que sobrevivieron es sesgo de supervivencia con sello oficial.
Cómo leer cualquier tasa de éxito
1. Pregunta qué hay en el denominador. «El 99% de las solicitudes completas», «el 95% de los clientes que terminaron el curso», «el 90% de los pacientes que completaron el tratamiento». Las palabras después de «de» deciden el resultado.
2. Pregunta quién decide qué cuenta. Si los que son evaluados eligen también qué casos se evalúan, espera que la tasa salga bien.
3. Pregunta qué pasó con el resto. Busca cuántos se quedaron fuera antes de contar. Luego calcula la tasa sobre todos los que empezaron.
Dónde te cuesta dinero
Una gestora que dice que «el 92% de nuestros fondos batió a su índice de referencia» puede estar contando solo los fondos que sigue gestionando. Los que fueron mal se cerraron o se fusionaron y salieron del denominador. Un curso de trading que presume de que «el 80% de los alumnos gana dinero» puede contar solo a los que lo terminaron y respondieron a la encuesta. Pide el resultado sobre todos los que empezaron, incluidos los que desaparecieron sin hacer ruido.
La moraleja
Mari Carmen puso la caseta de todos modos. Un mes después, el ayuntamiento publicó su memoria anual: este año se denunciaron cero construcciones ilegales en jardines. El impreso de denuncia pide el número de licencia. La caseta de Mari Carmen no tiene, así que no se puede denunciar, así que no existe. Estadísticamente, es la caseta más legal de la comarca.
La oficina de licencias y todas sus cifras son ficticias y de ejemplo; no describimos ningún ayuntamiento real. La aritmética de elegir el denominador sí es real. Contenido educativo, no asesoramiento financiero.