Les benchmarks quotidiens de Claude Code de MarginLab ont rendu la dégradation mesurable

En septembre 2025, Anthropic a publié une analyse post-mortem de trois bugs d'infrastructure — des requêtes de fenêtre de contexte mal acheminées, une sortie de jetons corrompue sur les serveurs TPU et un défaut de compilateur dans l'échantillonnage top-k — qui avaient dégradé Claude de façon intermittente pendant des semaines. Le rapport admettait que ses propres évaluations n'avaient jamais capté la dégradation signalée par les utilisateurs, et que des évaluations bruitées et des contrôles de confidentialité rendaient les incidents difficiles à détecter. Quiconque développait sur Claude Code restait avec une question à laquelle le fournisseur ne pouvait pas répondre : le produit se dégrade-t-il discrètement ?

La réponse évidente consiste à faire confiance aux tableaux de bord du fournisseur ou à attendre les benchmarks occasionnels de modèles tiers. Margin Eval, l'opération indépendante derrière MarginLab, exécute au contraire le vrai produit : chaque jour, elle pilote la CLI Claude Code actuelle sur un sous-ensemble curaté et résistant à la contamination de SWE-Bench-Pro, 50 tâches par exécution, et publie les taux de réussite avec des intervalles de confiance à 95 %, des agrégats glissants sur sept et trente jours, des seuils de signification et des alertes par e-mail. Sa règle déclarée est « ce que vous voyez est ce que vous obtenez » : pas de harnais personnalisé, afin que les résultats reflètent ce qu'un utilisateur réel vivrait.

C'est cette conception qui a rendu les chiffres utilisables comme preuve. Comme le harnais est la CLI livrée, une baisse mesurée signifie quelque chose qu'un utilisateur payant subirait ; comme les statistiques sont explicites, la page peut signaler une véritable régression tout en ignorant le bruit quotidien. Le lancement du 29 janvier 2026 a recueilli 760 points et 354 commentaires sur Hacker News, et le premier commentaire du soumetteur pointait la baisse d'environ 4 % statistiquement significative du tracker au cours du mois précédent.

Mesurer quotidiennement le produit livré, pas le modèle dans un harnais

Mesurer la CLI livrée plutôt que l'API du modèle signifie que toute baisse détectée est une baisse que les utilisateurs subiraient réellement, ce qui rend le chiffre exploitable.

Les intervalles de confiance et les seuils déclarés empêchent qu'une journée bruitée de 50 tâches soit lue comme une régression, tandis que les baisses durables franchissent encore le seuil et sont signalées.

Une méthodologie publique, une indépendance déclarée et des mises à jour quotidiennes permettent à la page de servir de preuve commune dans un débat autrement fait d'anecdotes.

Une cadence continue avec des alertes par e-mail transforme un benchmark ponctuel en une surveillance permanente qui survit à tout incident isolé.

Quand un acteur en place admet que ses propres instruments étaient aveugles, construisez l'instrument indépendant qui mesure le produit tel qu'il est livré ; la transparence gagne la confiance, et c'est la confiance qui fait adopter un benchmark.

Le lancement a recueilli 760 points et 354 commentaires ; le soumetteur a ouvert le fil en citant une baisse mensuelle d'environ 4 % statistiquement significative, et le débat sur les seuils, les tailles d'échantillon et les corrections pour comparaisons multiples a traité la page comme la référence commune. En septembre 2026, le tracker fonctionnait toujours quotidiennement, collectant une nouvelle base de référence Opus 5.0 avec la détection en pause et des taux de réussite de 86 %, 85 % et 84 % sur des fenêtres d'un, sept et trente jours à partir de 50, 350 et 1 350 évaluations. Une page distincte conserve la série historique, et les alertes par e-mail se déclenchent toujours en cas de baisses statistiquement significatives.