EN
返回档案库

案例库 · 软件与 IT · 技术决策 · 2002

保罗·格雷厄姆用每个词的概率终结了垃圾邮件,而不是一本规则手册

格雷厄姆的贝叶斯过滤器根据邮件中单词的组合概率对每封邮件进行评分,无需律师维护的黑名单即可拦截垃圾邮件。

Viaweb

那一手

到2002年,垃圾邮件已经超越了手工维护的关键词过滤器:垃圾邮件发送者改变措辞,而主机则阻止过于严格的内容。保罗·格雷厄姆发表了《垃圾邮件计划》,提出一种统计分类器。

该过滤器从用户自己的邮箱中学习每个单词的垃圾邮件概率。邮件的得分是其中包含的单词概率的组合,因此几个强烈垃圾邮件的单词就能压过中性的主题行。

格雷厄姆报告说,在他自己的测试中,这种方法每1000封垃圾邮件中漏掉不到5封,且误报为零——这是任何基于规则的过滤器都无法比拟的结果。

为什么管用

  • 统计能够概括技术专家从未想到要阻止的措辞。
  • 根据用户自己的邮件进行训练,使阈值适应该用户认为的垃圾邮件。
  • 垃圾邮件发送者没有可以重新措辞的漏洞,因为过滤器依赖于许多单词的统计权重。
值了多少根据单词的概率对邮件进行评分聪明

可以搬走什么

与其为会阅读规则的对手写规则,不如使用随数据更新的统计。一个学习你邮件的分类器总是最新的;而黑名单则逐渐过时。

后来呢

贝叶斯过滤成为电子邮件提供商的标准,并塑造了邮件分类方式,后来也影响了文本分类。同样的理念——从数据中学习而不是强制执行列表——进入了搜索、推荐和所有现代分类器。

资料来源

发现哪里写错了?告诉我们。

同一路聪明