볼티모어 시민 해커들이 MTA가 60만 달러를 매겼던 버스 데이터를 무료로 풀었다 — 그 데이터는 이미 스트리밍되고 있었다

2015년 2월, 메릴랜드 교통국(MTA)은 볼티모어 버스 추적을 위한 기본 웹 앱을 출시하면서, 동시에 개발자들에게 데이터를 제3자 앱에 개방하는 데 약 60만 달러가 들 것이라고 말하고 있었다. 25년 된 이 기관의 CAD/AVL 시스템이 대중교통 앱에 필요한 GTFS 형식을 내보내지 못했기 때문이다. 기관 자체 앱은 지오로케이션이 없는 복잡한 웹 페이지였고, 그 뒤의 데이터는 구글 지도와 기관 보도자료가 즐겨 언급하던 “앱 경제”로부터 계속 잠겨 있었다.

며칠 만에 지오데이터 개발자이자 오픈데이터 옹호자인 크리스 웡은 웹 앱의 네트워크 트래픽을 열어보고, 앱이 10초마다 MTA 서버에 JSON을 폴링하고 있음을 발견했다. 그것은 개발자들에게 생산하기에 너무 비싸다고 들었던 바로 그 형식인 GTFS로 인코딩되어 있었다. 몇 시간의 시행착오 끝에 피드를 확인했고, 소규모 시민 해커 팀과 함께 어떤 애플리케이션이든 무료로 데이터를 가져갈 수 있는 프레임워크를 만들고, Heroku의 실시간 추적 사이트로 시연한 뒤 모든 것을 GitHub에 올렸다.

채택은 즉각적이었다. 몬트리올 개발사 Transit App은 이 피드를 이용해 “단 반나절 작업으로 — 예산보다 60만 달러 적게” 볼티모어 실시간 추적을 출시했고, 자체 예측 버스 도착 정보를 생성해 MTA 추적기와 비교하며 정확성을 검증했다.

기관이 생산하기에 너무 비싸다고 했던 피드는 이미 자체 웹 앱 안에서 10초마다 JSON을 폴링하며 살아 있었다 — 네트워크 트래픽을 읽어 재배포하면 되는 일이었다.

비싼 부분 — CAD/AVL 출력을 포맷하는 일 — 은 기관 자체 웹 앱을 위해 이미 한 번 해결되어 있었으므로, 어떤 브라우저든 읽을 수 있는 기계 판독 가능한 사본이 존재했다.

스크레이핑한 피드를 오픈소스 인프라로 공개하자 한 개발자의 해킹이 같은 주에 상업 개발자들이 채택할 수 있는 것이 되었다.

기관의 비용 추정치는 값싼 경로 — 바로 자기 집 앞문 — 와 비교해 검증된 적이 없었다.

데이터 개방에 여섯 자리 수 견적을 받아들이기 전에, 그 데이터가 이미 접근 가능한 시스템으로 흐르고 있는지 확인하라. 비싼 부분은 종종 기관 자체 사용을 위해 이미 만들어져 있다.

MTA는 Transit App의 게시물에 응답해 60만 달러라는 수치가 웹 인터페이스가 존재하기 전에 CAD/AVL 데이터를 실시간 GTFS로 변환하는 비용을 반영한 것이라고 설명하고, 완전히 새로운 실시간 GTFS 시스템이 이미 진행 중이라고 말했으며, 엔지니어들이 제3자 개발자가 안전하게 사용할 수 있는 보안 환경으로 데이터를 옮기는 방법을 찾는 데 몇 주를 보냈다고 발표했다 — 그리고 “시민 해커들이 이 발표를 앞당기는 데 도움을 주었다”고 덧붙였다. Ars는 기반 데이터가 여전히 제한적이었다고 지적했다. 버스는 GPS로부터 무선으로 보고하므로, MTA가 피드를 고치기 전까지 위치가 끊겼다.