ニューヨーク市、90万区画を火災データと照合——検査の的中率が5倍に急上昇

元マンハッタン地区検察官で、米軍の情報機関がIED（即席爆発装置）のデータを分析してバグダッドの安全な経路を予測する様子を見ていたマイク・フラワーズは、ブルームバーグ市長の下でニューヨーク市初の「分析部門責任者」となった。彼の最初の大きな目標は違法改修だった。住居を設計上の収容人数の最大10倍もの人数が住めるユニットに細分化したもので、詰め込まれた住民がしばしば死亡し、2005年には消防士2人も犠牲になった火災の罠である。

最近の経済学卒業生5人で構成された彼のチーム——フラワーズはあえてベテランの統計学者を避け、型破りな手法に異議を唱えない人材を求めた——は、市の90万区画から出発し、19の機関のデータを注ぎ込んだ。固定資産税の滞納、差し押さえ手続き、公共料金の異常や停止、建物の種類と築年数、救急車の出動、犯罪率、ネズミの苦情などである。チームはこれを5年分の火災データと照合し、深刻度でランク付けして、どの苦情が緊急の検査に値するかを予測した。

データは乱雑だった。各機関が建物を異なる方法で識別していた——建物番号、行政区・街区・区画番号、警察の直交座標、消防署の呼び出しボックスとの近接性などである。チームはこの乱雑さを受け入れ、敷地前面の小さな直交座標領域で建物を照合し、各機関のデータを緩やかに取り込んだ。現場での作業がモデルを精緻化した。例えば、れんが積み工事の許可記録は、一部の疑わしい物件がおそらく大きなリスクではないことを示していた。

システムは2011年6月に稼働し、ランク付けされた苦情の上位5%を毎週転送した。以前は、検査官が退去命令に値するほど悪い状態を発見したのはフォローアップの13%だったが、ランク付け後は、検査した建物の70%超が退去命令を受けた——5倍の効率向上である。

90万区画すべてを5年分の火災データと照合してランク付けし、予測リスクの上位5%にのみ検査官を派遣する。

市には豊富な火災結果データがあったが、誰もそれを苦情データと結び付けたことがなかった。

ベテランの直感による代理指標は誤解を招くものだった。アッパー・イースト・サイドではネズミ1匹で1時間に30件の通報があったが、ブロンクスの住民は311に電話する前にネズミの大群を必要とした。

19の機関にまたがる完全な記録照合は不可能だったため、チームは地理で照合し、量で補った。

ランク付けはブラックボックスとして押し付けるのではなく、ベテラン検査官とともに継続的に検証された。

完全なエンティティ解決を追い求めるのではなく、データの量で不正確さを飲み込ませること——そして、311の通報量のような領域の直感は、データがそれと矛盾した瞬間に捨てること。

2013年、この記事が『ビッグデータ』の抜粋として公開された時点で、この手法は予測的な都市検査のモデルとして称賛され、フラワーズの部署は市の各機関にこのアプローチを広げ続けた。