Hackers cívicos de Baltimore liberaram dados de ônibus que a MTA orçou em US$ 600 mil — já estavam sendo transmitidos

Em fevereiro de 2015, a Maryland Transit Administration lançou um aplicativo web básico para rastrear ônibus de Baltimore — enquanto dizia aos desenvolvedores que abrir os dados para aplicativos de terceiros custaria cerca de US$ 600 mil: seu sistema CAD/AVL de 25 anos não emitia o formato GTFS que os aplicativos de transporte precisam. O próprio aplicativo da agência era uma página web labiríntica sem geolocalização, e os dados por trás dele permaneciam trancados longe do Google Maps e da “economia dos aplicativos” que os comunicados de imprensa da agência gostavam de invocar.

Em poucos dias, o desenvolvedor de geodados e defensor de dados abertos Chris Whong abriu o tráfego de rede do aplicativo web e descobriu que ele consultava os servidores da MTA a cada 10 segundos em busca de JSON — codificado em GTFS, exatamente o formato que os desenvolvedores foram informados ser caro demais para produzir. Algumas horas de tentativa e erro confirmaram o feed; com uma pequena equipe de hackers cívicos, ele montou uma estrutura que permitia a qualquer aplicativo puxar os dados gratuitamente, demonstrou-a com um site de rastreamento ao vivo no Heroku e publicou tudo no GitHub.

A adoção foi imediata. A desenvolvedora montrealense Transit App usou o feed para lançar o rastreamento em tempo real de Baltimore “com apenas uma tarde de trabalho — US$ 600 mil abaixo do orçamento”, gerando suas próprias previsões de chegada dos ônibus e comparando-as com o rastreador da MTA para verificar a precisão.

O feed que a agência chamou de caro demais para produzir já estava ativo dentro de seu próprio aplicativo web, consultando JSON a cada 10 segundos — bastava ler o tráfego de rede e republicá-lo.

A parte cara — formatar a saída do CAD/AVL — já havia sido resolvida uma vez para o próprio aplicativo web da agência, de modo que existia uma cópia legível por máquina que qualquer navegador podia ler.

Publicar o feed extraído como infraestrutura de código aberto transformou o hack de um desenvolvedor em algo que desenvolvedores comerciais puderam adotar na mesma semana.

A estimativa de custo da agência nunca foi testada contra o caminho barato: sua própria porta de entrada.

Antes de aceitar um orçamento de seis dígitos para abrir dados, verifique se os dados já fluem para um sistema que você consegue alcançar; a parte cara muitas vezes já foi construída para uso da própria agência.

A MTA respondeu à publicação da Transit App explicando que o valor de US$ 600 mil refletia a conversão de seus dados CAD/AVL em GTFS em tempo real antes de a interface web existir, afirmando que um sistema GTFS em tempo real totalmente novo já estava em andamento e anunciando que engenheiros passaram semanas encontrando uma forma de mover os dados para um ambiente seguro onde desenvolvedores de terceiros pudessem usá-los com segurança — acrescentando: “hackers cívicos nos ajudaram a acelerar este anúncio”. O Ars observou que os dados subjacentes permaneceram limitados: os ônibus reportam por rádio a partir do GPS, então as posições desaparecem até que a MTA corrigisse o feed.