프린스턴의 OpenWPM, 100만 개 사이트를 크롤링해 추적과 핑거프린팅을 정량화하다

2016년까지 온라인 추적을 둘러싼 논쟁은 일화와 소규모 표본에 의존하고 있었다. 2014년의 한 공동 연구는 웹사이트가 기기를 핑거프린팅하기 위해 보이지 않는 이미지를 그린다는 점을 보여주었지만, 아무도 추적 생태계를 대규모로 측정하지는 못했다. 제3자가 실제로 얼마나 존재하는지, 추적이 어떻게 상태 없는 핑거프린팅 쪽으로 이동하는지, 또는 프라이버시 도구가 실제로 작동하는지 말이다.

이 문제를 연구하는 통상적인 방법으로는 그것을 볼 수 없었다. HTML을 실행하지 않고 검사하면 브라우저 안에서만 실행되는 코드를 놓치고, 인기 사이트 수백 개를 수작업으로 확인하면 트래커의 긴 꼬리가 가려지며, 차단 목록과 프라이버시 확장 기능은 증거 기반 없이 옹호되고 공격받았다. 특히 핑거프린팅은 페이지가 실제로 로드되지 않으면 보이지 않는다.

프린스턴의 연구자 스티븐 잉글하트와 아르빈드 나라야난은 완전히 계측된 Firefox 브라우저를 구동하는 자동 크롤러 OpenWPM을 만들고, 2016년 1월 상위 100만 개 사이트를 대상으로 실행해 9,000만 건이 넘는 요청을 보냈다. 상태 유지 크롤과 상태 없는 크롤을 분리해 쿠키 기반 추적과 핑거프린팅을 구별했고, Ghostery를 사용한 크롤과 Firefox의 제3자 쿠키 차단을 사용한 크롤을 각각 55,000개 사이트에 대해 수행해 각 도구의 효과를 정량화했다.

그 규모는 측정을 구조로 바꾸었다. 81,000개가 넘는 제3자가 존재하지만 1% 넘는 사이트에 나타나는 곳은 123개뿐이며, 상위 5개 모두와 상위 20개 중 12개는 구글이 소유하고, 구글, 페이스북, 트위터만이 10% 넘는 사이트에 존재하는 유일한 주체다. 캔버스 핑거프린팅은 14,371개 사이트에서 나타났고, 이전에 측정된 적 없는 세 가지 기법인 AudioContext, 캔버스 폰트, WebRTC가 문서화되었으며, 제3자의 54%가 HTTP로만 로드되는 것으로 밝혀졌는데 이는 HTTPS 도입의 장애물이다.

브라우저 자체를 계측한 뒤 100만 개 사이트를 관찰하다

계측된 브라우저에서 전체 페이지를 실행하면 정적 분석과 차단 목록이 볼 수 없는 자바스크립트 기반 핑거프린팅을 잡아낸다

상태 유지 크롤과 상태 없는 크롤을 분리해 추적을 쿠키 대 기기 핑거프린트로 귀속시켰으므로 각 기법을 깔끔하게 측정할 수 있었다

100만 사이트 규모는 시장의 구조를 드러냈다. 가파른 긴 꼬리와 함께 구글, 페이스북, 트위터만이 10% 넘는 사이트에 존재하는 유일한 주체였다

차단을 적용한 크롤을 나란히 수행해 프라이버시 도구에 관한 첫 번째 확실한 수치를 산출했다. Ghostery는 사이트당 제3자 포함 수를 17.7개에서 3.3개로 줄였다

OpenWPM과 데이터셋을 공개해 하나의 연구를 다른 연구자들이 검증하고 기반으로 삼을 수 있는 공유 인프라로 바꾸었다

현상이 클라이언트 측 실행 안에서만 존재한다면 차단 목록이나 표본으로 논쟁하지 말고, 런타임을 계측하고 전체 규모로 측정하며 검증을 위해 도구와 데이터를 공개하라.

2016년 1월 크롤의 데이터셋은 PostgreSQL 덤프로, OpenWPM은 오픈 플랫폼으로 공개되었다. 프린스턴 WebTAP 프로젝트는 그 위에 구축된 연구들을 나열하며, OpenWPM 저장소는 현재 이 프레임워크를 사용한 75건이 넘는 연구를 보고하고 있다. 이 전수 조사는 또한 2014년 캔버스 연구 이후 핑거프린팅이 어떻게 진화했는지 문서화했다. 가장 두드러진 트래커들은 대중의 반발 이후 캔버스 핑거프린팅 사용을 대부분 중단했지만, 이를 배포하는 도메인의 수는 늘었고 그 용도는 행태 추적에서 사기 탐지 쪽으로 이동했다.