MarginLab 的每日 Claude Code 基準測試讓效能退化變得可量測

2025 年 9 月，Anthropic 發表了一份事後檢討報告，說明三個基礎設施錯誤——上下文視窗請求被錯誤路由、TPU 伺服器上的 token 輸出損毀，以及 top-k 取樣中的編譯器故障——這些錯誤在數週內間歇性地使 Claude 的效能退化。該報告承認，其自身的評估從未捕捉到使用者所反映的效能退化，並表示雜訊過多的評估與隱私控制使這些事件難以被發現。任何以 Claude Code 為基礎進行開發的人，都留下了一個供應商無法回答的問題：這個產品是否正在悄悄變差？

顯而易見的答案是信任供應商的儀表板，或等待偶爾出現的第三方模型基準測試。MarginLab 背後的獨立團隊 Margin Eval 則反其道而行，直接執行實際產品：它每天在經過策劃、具抗污染性的 SWE-Bench-Pro 子集上驅動當前的 Claude Code CLI，每次執行 50 項任務，並公布附有 95% 信賴區間的通過率、7 天與 30 天滾動彙總、顯著性閾值以及電子郵件警示。其明訂的原則是「所見即所得」：不使用自訂測試框架，因此結果反映的是實際使用者會經歷的情況。

正是這樣的設計，讓這些數字得以作為證據使用。由於測試框架就是實際出貨的 CLI，因此測量到的下降意味著付費使用者會實際遇到的問題；由於統計方法明確，頁面能夠標示出真正的效能回歸，同時忽略每日雜訊。2026 年 1 月 29 日的發布在 Hacker News 上獲得 760 點與 354 則留言，而提交者的第一則留言指出，該追蹤器自身在過去一個月出現了統計上顯著的約 4% 下降。

每日測量實際出貨的產品，而非測試框架中的模型

測量實際出貨的 CLI 而非模型 API，意味著任何偵測到的下降都是使用者會實際經歷的情況，這正是讓該數字具有行動意義的原因。

信賴區間與明訂的閾值，可避免將雜訊較多的 50 項任務日誤讀為效能回歸，而持續性的下降仍能跨越門檻並被標示出來。

公開的方法論、明訂的獨立性與每日更新，讓該頁面在一場原本由軼事構成的爭論中，得以作為共享的證據。

持續的節奏搭配電子郵件警示，將一次性的基準測試轉變為長期守望機制，其存續時間超越任何單一事件。

當既有業者承認自身的量測工具失靈時，就打造一個獨立工具來測量實際出貨的產品；透明性能贏得信任，而信任正是讓基準測試被採用的關鍵。

此次發布獲得 760 點與 354 則留言；提交者在討論串開頭引用了統計上顯著的約 4% 月降幅，而關於閾值、樣本數與多重比較校正的爭論，則將該頁面視為共同的參考依據。到了 2026 年 9 月，該追蹤器仍每日運行，在暫停偵測的情況下收集了新的 Opus 5.0 基準線，並在 1 天、7 天與 30 天窗口內，分別基於 50、350 與 1,350 次評估，得出 86%、85% 與 84% 的通過率。另有一個獨立頁面保存歷史序列，而電子郵件警示仍會在出現統計上顯著的下降時觸發。