MarginLabの毎日のClaude Codeベンチマークが性能劣化を測定可能にした

2025年9月、Anthropicは3つのインフラ障害——コンテキストウィンドウのリクエストの誤ルーティング、TPUサーバー上でのトークン出力の破損、top-kサンプリングにおけるコンパイラの不具合——に関するポストモーテムを公開した。これらの障害は数週間にわたりClaudeを断続的に劣化させていた。報告書は、自社の評価がユーザーが報告していた劣化を捉えられなかったこと、またノイズの多い評価とプライバシー制御がインシデントの発見を困難にしたことを認めた。Claude Code上で構築する誰もが、プロバイダーには答えられない問いを抱えることになった。すなわち、この製品は静かに悪化しているのか、という問いである。

明白な答えは、プロバイダーのダッシュボードを信頼するか、時折行われる第三者のモデルベンチマークを待つことだ。しかしMarginLabの背後にある独立した運用組織であるMargin Evalは、代わりに実際の製品を実行する。毎日、現行のClaude Code CLIを、汚染耐性を持たせ厳選したSWE-Bench-Proのサブセット上で駆動し、1回の実行につき50タスクをこなし、合格率を95%信頼区間、7日間および30日間のローリング集計、有意性閾値、メールアラートとともに公開している。その明言された原則は「見たままが得られるもの」であり、カスタムハーネスを用いないため、結果は実際のユーザーが経験するものを反映する。

この設計こそが、数値を証拠として使えるものにした。ハーネスが出荷済みのCLIであるため、測定された低下は有料ユーザーが実際に遭遇するものを意味する。統計が明示されているため、ページは日々のノイズを無視しつつ実際のリグレッションを指摘できる。2026年1月29日のローンチはHacker Newsで760ポイントと354件のコメントを集め、投稿者の最初のコメントは、トラッカー自体が示した前月比で統計的に有意な約4%の低下を指摘した。

ハーネス内のモデルではなく、出荷済みの製品を毎日測定する

モデルAPIではなく出荷済みのCLIを測定することで、検出された低下はユーザーが実際に経験するものとなり、その数値が行動可能なものになる。

信頼区間と明示された閾値により、ノイズの多い50タスクの日がリグレッションと読まれるのを防ぎつつ、持続的な低下は基準を超えて指摘される。

公開された方法論、明言された独立性、毎日の更新により、ページはそれ以外では逸話で構成される議論における共有の証拠として機能する。

メールアラートを伴う継続的なケイデンスは、単発のベンチマークを、あらゆる個別のインシデントより長く存続する常設の監視役に変える。

既存の提供者が自社の計測器が盲目であったことを認めたときは、出荷済みの製品を測定する独立した計測器を構築すべきである。透明性が信頼を獲得し、信頼こそがベンチマークを採用させる。

ローンチは760ポイントと354件のコメントを集めた。投稿者はスレッドを、統計的に有意な月次約4%の低下を挙げて開始し、閾値、サンプルサイズ、多重比較補正をめぐる議論はこのページを共有の参照点として扱った。2026年9月までにトラッカーは毎日稼働を続け、検出を一時停止した状態で新たなOpus 5.0のベースラインを収集し、1日、7日、30日の各ウィンドウで50、350、1,350回の評価から合格率86%、85%、84%を記録した。別のページが履歴系列を保存しており、メールアラートは統計的に有意な低下の際に今も発報される。