Nueva York clasificó 900.000 solares con datos de incendios: la tasa de acierto de las inspecciones se multiplicó por cinco

Mike Flowers, exfiscal de Manhattan que había visto cómo la inteligencia militar estadounidense predecía rutas seguras en Bagdad explotando datos de artefactos explosivos improvisados, se convirtió en el primer «director de analítica» de la ciudad de Nueva York bajo el mandato del alcalde Bloomberg. Su primer gran objetivo: las conversiones ilegales, viviendas divididas en unidades que albergaban hasta diez veces su carga de diseño — trampas de incendio donde los residentes hacinados morían con regularidad y donde dos bomberos murieron en 2005.

Su equipo de cinco personas, recién graduados en economía — Flowers evitó deliberadamente a los estadísticos veteranos, porque quería gente que no protestara por el método poco ortodoxo —, partió de los 900.000 solares de la ciudad y volcó datos de 19 agencias: morosidad en el impuesto inmobiliario, procedimientos de ejecución hipotecaria, anomalías y cortes en los servicios públicos, tipo y antigüedad de los edificios, visitas de ambulancias, tasas de criminalidad, denuncias por roedores. Los cruzaron con cinco años de datos de incendios clasificados por gravedad para predecir qué denuncias merecían una inspección urgente.

Los datos eran un desastre: cada agencia identificaba los edificios de forma distinta — números de edificio, distrito-manzana-solar, coordenadas cartesianas de la policía, proximidad a las casetas de llamada del cuerpo de bomberos. El equipo asumió el desastre y emparejó los edificios por una pequeña área cartesiana en la fachada del inmueble, incorporando los datos de cada agencia de forma laxa. El trabajo de campo afinó el modelo: los registros de permisos de albañilería, por ejemplo, indicaban que algunas propiedades sospechosas probablemente no eran riesgos importantes.

El sistema entró en funcionamiento en junio de 2011 y remitía semanalmente el 5% de denuncias mejor clasificadas. Antes, los inspectores encontraban condiciones lo bastante malas como para justificar una orden de desalojo en el 13% de los seguimientos; tras la clasificación, más del 70% de los edificios inspeccionados recibieron órdenes de desalojo — una mejora de eficiencia de cinco veces.

Clasificar los 900.000 solares con cinco años de datos de incendios y enviar inspectores solo al 5% de mayor riesgo previsto.

La ciudad disponía de abundantes datos de resultados de incendios que nadie había cruzado nunca con los datos de denuncias.

Los indicadores basados en la intuición de los veteranos eran engañosos: una rata en el Upper East Side generaba 30 llamadas en una hora, mientras que los residentes del Bronx necesitaban un batallón de roedores antes de llamar al 311.

El emparejamiento perfecto de registros era imposible entre 19 agencias, así que el equipo emparejó por geografía y dejó que el volumen compensara.

La clasificación se probó continuamente con inspectores veteranos en lugar de imponerse como una caja negra.

Dejar que el volumen de datos ahogue la imprecisión en lugar de perseguir una resolución perfecta de entidades — y abandonar las intuiciones del dominio, como el volumen de llamadas al 311, en el momento en que los datos las contradicen.

En 2013, cuando el relato se publicó como extracto de «Big Data», el método se presentaba como modelo para las inspecciones municipales predictivas, y la oficina de Flowers siguió ampliando el enfoque por las agencias de la ciudad.