解法
到2016年,关于在线跟踪的争论仍基于轶事和小样本。2014年的一项合作展示了网站通过绘制不可见图像来识别设备,但没有人衡量过跟踪生态系统的规模:到底有多少第三方存在,跟踪如何转向无状态指纹识别,或隐私工具是否真的有效。
研究这个问题的常规方法无法看到它。不执行JavaScript而检查HTML会漏掉只有在浏览器中运行才执行的代码;手工检查几百个热门网站会掩盖跟踪器的长尾;而拦截列表和隐私扩展的争论缺乏证据基础。指纹识别尤其不可见,除非页面真正加载。
普林斯顿大学的研究人员史蒂文·恩格尔哈特和阿维德·纳拉亚南构建了OpenWPM,一个自动化爬虫,驱动完全检测的Firefox浏览器,并在2016年1月对前100万个网站运行,产生了超过9000万个请求。分开的有状态和无状态爬取区分了基于cookie的跟踪与指纹识别,而两个各55,000个网站的爬取分别使用Ghostery和Firefox的第三方cookie阻止,量化了每个工具的效果。
这种规模将测量转化为结构:存在超过81,000个第三方,但只有123个出现在超过1%的网站上,前5名全部和20名中的12名均为谷歌所有,而谷歌、Facebook和Twitter是仅有的在超过10%网站出现的实体。Canvas指纹识别出现在14,371个网站上,三种前所未有的技术——AudioContext、canvas字体和WebRTC——被记录下来,并且发现54%的第三方仅通过HTTP加载,这阻碍了HTTPS的采用。
What it achieved
对浏览器本身进行检测,然后观察一百万个网站
为什么有效
在检测的浏览器中执行完整页面可以捕获静态分析和拦截列表无法看到的JavaScript驱动的指纹识别
分开的有状态和无状态爬取将跟踪归因于cookie与设备指纹,从而可以干净地测量每种技术
百万网站规模暴露了市场结构:陡峭的长尾,谷歌、Facebook和Twitter是唯一超过10%网站出现的实体
并排的阻断爬取产生了隐私工具的第一个硬数据——Ghostery将每个网站的第三方包含从17.7减少到3.3
发布OpenWPM和数据集将一项研究转化为共享基础设施,其他研究人员可以验证和在此基础上构建
可以借鉴什么
当现象只存在于客户端执行中时,不要从拦截列表或样本争论——对运行时进行检测,全面规模测量,并发布工具和数据以供验证。
后续
2016年1月爬取的数据集作为PostgreSQL转储发布,OpenWPM作为开放平台;普林斯顿WebTAP项目列出了基于其的研究,OpenWPM仓库现在报告有超过75项研究使用该框架。这项普查还记录了自2014年canvas研究以来指纹识别的演变:在公众强烈反对后,最突出的跟踪者大多停止使用canvas指纹识别,而部署它的域名数量增长了,其用途从行为跟踪转向欺诈检测。
从这里,追溯依据
参考来源
- Online tracking: A 1-million-site measurement and analysis webtransparency.cs.princeton.edu
- OpenWPM: A web privacy measurement framework github.com