MarginLabs tägliche Claude-Code-Benchmarks machten Verschlechterung messbar

Im September 2025 veröffentlichte Anthropic eine Postmortem-Analyse zu drei Infrastrukturfehlern – falsch weitergeleiteten Context-Window-Anfragen, beschädigter Token-Ausgabe auf TPU-Servern und einem Compilerfehler beim Top-k-Sampling –, die Claude über Wochen hinweg zeitweise beeinträchtigt hatten. Der Bericht räumte ein, dass die eigenen Evaluierungen die von Nutzern gemeldete Verschlechterung nie erfasst hatten und dass verrauschte Evaluierungen und Datenschutzkontrollen die Vorfälle schwer auffindbar machten. Wer auf Claude Code aufbaute, blieb mit einer Frage zurück, die der Anbieter nicht beantworten konnte: Wird das Produkt still und leise schlechter?

Die naheliegende Antwort ist, den Dashboards des Anbieters zu vertrauen oder auf gelegentliche Modell-Benchmarks Dritter zu warten. Margin Eval, der unabhängige Betrieb hinter MarginLab, führt stattdessen das echte Produkt aus: Täglich treibt es die aktuelle Claude Code CLI auf einer kuratierten, kontaminationsresistenten Teilmenge von SWE-Bench-Pro an, 50 Aufgaben pro Lauf, und veröffentlicht Bestehensraten mit 95-%-Konfidenzintervallen, rollierenden Aggregaten über sieben und dreißig Tage, Signifikanzschwellen und E-Mail-Benachrichtigungen. Die erklärte Regel lautet „what you see is what you get“: kein eigener Testrahmen, damit die Ergebnisse widerspiegeln, was ein tatsächlicher Nutzer erleben würde.

Dieses Design machte die Zahlen als Beleg nutzbar. Weil der Testrahmen die ausgelieferte CLI ist, bedeutet ein gemessener Rückgang etwas, das ein zahlender Nutzer tatsächlich treffen würde; weil die Statistik explizit ist, kann die Seite eine echte Regression kennzeichnen und dabei tägliches Rauschen ignorieren. Der Start am 29. Januar 2026 erzielte 760 Punkte und 354 Kommentare auf Hacker News, und der erste Kommentar des Einreichers verwies auf den statistisch signifikanten Rückgang von etwa 4 % über den Vormonat, den der Tracker selbst auswies.

Das ausgelieferte Produkt täglich messen, nicht das Modell in einem Testrahmen

Die ausgelieferte CLI statt der Modell-API zu messen bedeutet, dass jeder erkannte Rückgang einer ist, den Nutzer tatsächlich erleben würden – das macht die Zahl handlungsrelevant.

Konfidenzintervalle und erklärte Schwellen verhindern, dass ein verrauschter Tag mit 50 Aufgaben als Regression gelesen wird, während anhaltende Rückgänge die Hürde weiterhin überschreiten und gekennzeichnet werden.

Öffentliche Methodik, erklärte Unabhängigkeit und tägliche Aktualisierungen lassen die Seite als gemeinsamen Beleg in einer Debatte dienen, die sonst aus Anekdoten bestünde.

Eine kontinuierliche Taktung mit E-Mail-Benachrichtigungen verwandelt einen einmaligen Benchmark in einen dauerhaften Wächter, der jeden einzelnen Vorfall überdauert.

Wenn ein etablierter Anbieter einräumt, dass seine eigenen Instrumente blind waren, baue das unabhängige Instrument, das das Produkt so misst, wie es ausgeliefert wird; Transparenz schafft Vertrauen, und Vertrauen ist es, was einen Benchmark zur Annahme verhilft.

Der Start erzielte 760 Punkte und 354 Kommentare; der Einreicher eröffnete den Thread mit dem Verweis auf einen statistisch signifikanten monatlichen Rückgang von etwa 4 %, und die Debatte über Schwellen, Stichprobengrößen und Korrekturen für multiples Testen behandelte die Seite als gemeinsame Referenz. Bis September 2026 lief der Tracker weiterhin täglich und erhob eine frische Opus-5.0-Baseline mit pausierter Erkennung sowie Bestehensraten von 86 %, 85 % und 84 % über Ein-, Sieben- und Dreißig-Tage-Fenster aus 50, 350 und 1.350 Evaluierungen. Eine separate Seite bewahrt die historische Reihe auf, und E-Mail-Benachrichtigungen werden bei statistisch signifikanten Rückgängen weiterhin ausgelöst.