뉴욕시, 90만 필지를 화재 데이터와 대조해 순위를 매기다 — 점검 적중률이 다섯 배로 뛰었다

전 맨해튼 검사였던 마이크 플라워스는 미군 정보기관이 급조폭발물(IED) 데이터를 채굴해 바그다드의 안전한 경로를 예측하는 것을 지켜본 인물로, 블룸버그 시장 아래에서 뉴욕시 최초의 '분석 책임자'가 되었다. 그의 첫 번째 큰 목표는 불법 개조였다. 설계 하중의 최대 열 배에 달하는 인원이 거주하도록 쪼개진 주거지, 즉 빽빽이 들어찬 거주자들이 정기적으로 목숨을 잃고 2005년에는 소방관 두 명이 순직한 화재 함정이었다.

최근 경제학과를 졸업한 다섯 명으로 구성된 그의 팀은 — 플라워스는 비정통적인 방법에 이의를 제기하지 않을 사람들을 원했기에 일부러 노련한 통계학자들을 피했다 — 시의 90만 필지에서 시작해 19개 기관의 데이터를 쏟아부었다. 재산세 체납, 압류 절차, 공과금 이상 및 단전, 건물 유형과 연식, 구급차 출동, 범죄율, 설치류 신고 등이었다. 팀은 이를 심각도에 따라 순위를 매긴 5년치 화재 데이터와 대조해 어떤 신고가 긴급 점검을 받아야 하는지 예측했다.

데이터는 엉망이었다. 기관마다 건물을 다르게 식별했다. 건물 번호, 자치구-블록-필지, 경찰의 직교 좌표, 소방서의 호출 박스 근접도 등이었다. 팀은 이 엉망인 상태를 받아들여, 건물 정면의 작은 직교 좌표 영역으로 건물을 대조하고 각 기관의 데이터를 느슨하게 끌어왔다. 현장 작업은 모델을 더 정교하게 다듬었다. 예컨대 벽돌 공사 허가 기록은 일부 의심스러운 물건이 아마도 큰 위험이 아닐 수 있음을 보여주었다.

이 시스템은 2011년 6월에 가동되어 순위가 매겨진 신고의 상위 5%를 매주 전달했다. 이전에는 점검관들이 후속 조사에서 퇴거 명령을 내릴 만큼 심각한 상태를 13%에서 발견했다. 순위 매기기 이후에는 점검한 건물의 70% 이상이 퇴거 명령을 받았다. 다섯 배의 효율 향상이었다.

90만 필지 전부를 5년치 화재 데이터와 대조해 순위를 매기고, 예측 위험 상위 5%에만 점검관을 보낸다.

시에는 아무도 신고 데이터와 연결한 적이 없던 화재 결과 데이터가 풍부하게 있었다.

노련한 직관에 기반한 대리 지표들은 오해를 불러일으켰다. 어퍼이스트사이드의 쥐 한 마리는 한 시간에 30건의 신고를 불러일으켰지만, 브롱크스 주민들은 311에 전화하기까지 설치류 떼가 필요했다.

19개 기관에 걸쳐 완벽한 기록 대조는 불가능했기에, 팀은 지리로 대조하고 데이터 양이 부정확성을 보완하게 했다.

순위 매기기는 블랙박스로 강요된 것이 아니라 노련한 점검관들과 함께 지속적으로 검증되었다.

완벽한 개체 식별을 추구하는 대신 데이터 양이 부정확성을 압도하게 하라. 그리고 311 신고 건수 같은 분야의 직관은 데이터가 반박하는 순간 버려라.

이 사례가 '빅 데이터'의 발췌본으로 출간된 2013년 무렵, 이 방법은 예측 기반 도시 점검의 모델로 내세워졌고, 플라워스의 사무소는 시 기관 전반으로 이 접근법을 계속 확장했다.