MarginLab 的每日 Claude Code 基准测试让性能下降变得可衡量

2025 年 9 月，Anthropic 发布了对三个基础设施错误的事后分析——上下文窗口请求路由错误、TPU 服务器上的 token 输出损坏以及 top-k 采样中的编译器故障——这些错误间歇性影响了 Claude 数周。报告承认其自身的评估从未捕捉到用户报告的性能下降，且嘈杂的评估和隐私控制使得问题难以发现。任何基于 Claude Code 进行开发的人都面临一个提供商无法回答的问题：产品是否在悄然变差？

显而易见的答案是信任提供商的仪表板，或等待偶尔的第三方模型基准测试。Margin Eval 是 MarginLab 背后的独立运营机构，它转而运行真实产品：每天驱动最新的 Claude Code CLI 在精选的、抗污染的 SWE-Bench-Pro 子集上执行，每次运行 50 个任务，并发布通过率及其 95% 置信区间、7 天和 30 天滚动聚合、显著性阈值和邮件提醒。其既定规则是“所见即所得”：不采用自定义测试环境，因此结果反映了真实用户会体验到的效果。

这种设计使得这些数字可以作为证据使用。由于测试环境就是发布的 CLI，测量的下降意味着付费用户会真正遇到的问题；由于统计是明确的，页面可以标记真正的回归，同时忽略日常噪音。2026 年 1 月 29 日的发布在 Hacker News 上获得了 760 分和 354 条评论，提交者的第一条评论指出该追踪器上月统计显著的约 4% 下降。

每日测量发布的产品，而非在测试环境中测量模型

衡量发布的 CLI 而非模型 API，意味着任何检测到的下降都是用户实际会遇到的，这使数字具有可操作性。

置信区间和明确的阈值防止嘈杂的 50 任务日被解读为回归，而持续的下降仍会突破阈值并被标记。

公开的方法论、声明的独立性以及每日更新，使该页面在充满轶事的争论中作为共享证据。

持续的节奏和邮件提醒将一次性基准转变为常设的监督工具，其寿命超过任何单次事件。

当现有者承认其自己的工具失明时，建立独立的工具来衡量已发布的产品；透明度赢得信任，而信任使基准被采纳。

发布吸引了 760 分和 354 条评论；提交者以引用统计显著的约 4% 月度下降开场，关于阈值、样本量和多重比较校正的辩论将该页面视为共同参考。到 2026 年 9 月，该追踪器仍每日运行，收集新的 Opus 5.0 基线，检测暂停，通过率在 1 天、7 天和 30 天窗口内分别为 86%、85% 和 84%，对应 50、350 和 1,350 次评估。单独的页面保留历史序列，邮件提醒仍会在统计显著下降时触发。