La ley de Twyman: cualquier cifra que parezca interesante probablemente está mal
En resumen: cuando una cifra parece espectacular, la explicación más probable es un error, porque los errores son frecuentes y los cambios reales espectaculares, raros. Si un salto real de conversiones del 50% o más pasa alrededor de 1 día de cada 1000, y un fallo de medición que produce ese salto alrededor de 1 día de cada 100, de 11 saltos 10 son fallos: un salto es real alrededor del 9% de las veces. Es la ley de Twyman, muy citada por quienes hacen experimentos en internet. Revisa la fontanería antes de escribir la nota de prensa.
Martes por la mañana. El panel de marketing muestra que las conversiones de la web han subido un 400% esta noche. El nuevo banner se publicó ayer. A las 9:30 hay un borrador de nota de prensa, una tarta encargada y un correo al consejero delegado titulado «Revolución».
El cuñado abre los datos en bruto. Todas las conversiones desde medianoche tienen la misma marca de tiempo al milisegundo, y todas vienen de una sola dirección IP de la oficina de la empresa. Dani estaba probando la página de pago. Repetidamente.
La ley
Tony Twyman, un investigador británico que analizaba audiencias de televisión y medios, dio nombre a una regla breve: cualquier cifra que parezca interesante o distinta suele estar mal. Se ha convertido en la favorita de quienes hacen experimentos en internet, que ven más cifras espectaculares y equivocadas que nadie.
Suena cínico. En realidad es una afirmación sobre las tasas base.
Por qué la cifra emocionante suele ser la equivocada
Dos cosas pueden provocar un pico en un panel: que algo haya cambiado de verdad o que algo se haya roto. Supón que, en una web típica, un salto real del 50% o más pasa alrededor de 1 día de cada 1000, y un fallo de medición que produce ese salto (una etiqueta duplicada, un bot, una cuenta de prueba, una moneda confundida) alrededor de 1 día de cada 100. En 1000 días:
| Causa de un gran pico | Días de cada 1000 |
|---|---|
| Algo cambió de verdad | 1 |
| Algo se rompió en los datos | 10 |
Así que, cuando aparece un pico, es real más o menos 1 vez de cada 11, alrededor del 9%. Las cifras son supuestos nuestros, pero la forma se mantiene siempre que los errores sean más frecuentes que los milagros, que es casi siempre.
La misma lógica funciona al revés: una caída repentina y catastrófica también es más probablemente un contador roto que un hundimiento de la demanda. La ley de Twyman es imparcial. Desconfía igual de las buenas y de las malas noticias, siempre que sean dramáticas.
La lista de cinco minutos
- Mira las filas en bruto. Duplicados, marcas de tiempo idénticas, una sola fuente o una sola dirección IP.
- Comprueba una segunda fuente. ¿Muestran el mismo salto los pedidos, los pagos o los registros del servidor?
- Busca un cambio en la medición. Etiqueta nueva, página nueva, filtro nuevo, definición nueva, zona horaria nueva.
- Pregunta si es verosímil. ¿Pasó algo que pudiera causar un cambio tan grande? Un banner rara vez cuadruplica las ventas.
Estadística para principiantes: los valores extremos merecen comprobaciones extra
Un valor atípico es o el punto más interesante de los datos o un error, y los errores son más frecuentes. Antes de montar una historia sobre un valor extremo, pregunta cada cuánto ocurren errores de ese tamaño comparados con cambios reales de ese tamaño. Cuanto más sorprendente la cifra, más pruebas necesita.
Dónde te cuesta dinero
Una prueba histórica que da un 200% anual sin ningún mes en pérdidas, o un buscador de acciones que marca una empresa con un PER de 0,3, contienen un error de datos mucho más a menudo que una fortuna escondida. Los resultados espectaculares necesitan comprobaciones espectaculares.
La moraleja
La nota de prensa se canceló. La tarta ya había llegado. Marketing decidió comérsela igualmente, para celebrar el nuevo banner, que, quitando los pedidos de prueba de Dani, había subido las conversiones un 2%. Le han pedido a Dani que en adelante pruebe el pago desde el móvil. El panel muestra ahora una subida del 400% en las conversiones móviles.
Lo que esto no puede decirte
- Nuestras tasas son supuestos. Algunos sistemas de datos están muy limpios y otros muy sucios; el 9% cambia con ellos.
- A veces es real. Una mención viral o un gran cliente nuevo pueden dar un pico real. La ley dice comprobar primero, no descartar.
- La redacción de la ley varía. Se cita de varias formas; la idea es la misma.
El panel, la tarta y los pedidos de prueba de Dani son una ilustración. La ley de Twyman se cita mucho, entre otros en un libro de 2020 sobre experimentos en internet de Kohavi, Tang y Xu. La cifra de 1 entre 11 es un cálculo nuestro a partir de tasas supuestas. Contenido educativo, no asesoramiento empresarial ni financiero.