MarginLab의 일일 Claude Code 벤치마크로 성능 저하를 측정 가능하게 만들다

2025년 9월 Anthropic은 몇 주 동안 간헐적으로 Claude의 성능을 저하시킨 세 가지 인프라 버그, 즉 잘못 라우팅된 컨텍스트 윈도 요청, TPU 서버에서의 손상된 토큰 출력, top-k 샘플링의 컴파일러 결함에 대한 사후 분석을 발표했다. 이 보고서는 자사 평가가 사용자들이 보고하던 성능 저하를 전혀 포착하지 못했으며, 노이즈가 많은 평가와 프라이버시 통제 때문에 해당 사건들을 찾기 어려웠다고 인정했다. Claude Code 위에서 무언가를 만드는 사람이라면 누구나 제공자가 답할 수 없는 질문을 안고 남겨졌다. 제품이 조용히 나빠지고 있는가?

당연한 답은 제공자의 대시보드를 신뢰하거나 이따금 나오는 제3자 모델 벤치마크를 기다리는 것이다. 그러나 MarginLab 뒤의 독립 운영체인 Margin Eval은 대신 실제 제품을 구동한다. 매일 현재 Claude Code CLI를 오염에 강하도록 선별된 SWE-Bench-Pro의 하위 집합에서 실행하며, 실행당 50개 과제를 돌리고 95% 신뢰구간, 7일 및 30일 이동 집계, 유의성 임계값, 이메일 알림과 함께 통과율을 공개한다. 표방하는 원칙은 "보이는 것이 곧 얻는 것"이다. 즉 맞춤형 하네스를 쓰지 않으므로 결과는 실제 사용자가 경험할 것을 반영한다.

이러한 설계 덕분에 수치가 증거로 쓸 수 있게 되었다. 하네스가 출시된 CLI이기 때문에 측정된 하락은 유료 사용자가 실제로 겪을 일을 의미하며, 통계가 명시적이기 때문에 페이지는 일상적 노이즈는 무시하면서 실제 회귀를 표시할 수 있다. 2026년 1월 29일의 출시는 Hacker News에서 760점과 354개의 댓글을 얻었고, 제출자의 첫 댓글은 트래커 자체가 지난 한 달 동안 통계적으로 유의미하게 약 4% 하락했다는 점을 지적했다.

하네스 안의 모델이 아니라 출시된 제품을 매일 측정한다

모델 API가 아니라 출시된 CLI를 측정하기 때문에 탐지된 하락은 사용자가 실제로 겪을 일이며, 이것이 수치를 실행 가능하게 만든다.

신뢰구간과 명시된 임계값은 노이즈가 많은 50개 과제의 하루가 회귀로 읽히지 않게 하면서, 지속적인 하락은 여전히 기준을 넘어 표시되게 한다.

공개된 방법론, 선언된 독립성, 일일 업데이트 덕분에 이 페이지는 그렇지 않으면 일화로만 이루어질 논쟁에서 공유된 증거로 기능할 수 있다.

이메일 알림을 갖춘 연속적인 주기는 일회성 벤치마크를 어떤 단일 사건보다도 오래 지속되는 상시 감시 장치로 바꾼다.

기존 사업자가 자사의 도구가 눈먼 상태였음을 인정할 때, 출시된 그대로의 제품을 측정하는 독립적인 도구를 만들어라. 투명성이 신뢰를 얻고, 신뢰가 벤치마크를 채택하게 만든다.

출시는 760점과 354개의 댓글을 얻었다. 제출자는 통계적으로 유의미한 월간 약 4% 하락을 인용하며 스레드를 열었고, 임계값, 표본 크기, 다중 비교 보정에 관한 논쟁은 이 페이지를 공통 참조로 삼았다. 2026년 9월까지 트래커는 여전히 매일 운영되었으며, 탐지를 일시 중지한 채 새로운 Opus 5.0 기준선을 수집했고, 50회, 350회, 1,350회 평가에서 1일, 7일, 30일 기간에 걸쳐 통과율 86%, 85%, 84%를 기록했다. 별도의 페이지가 과거 시계열을 보존하며, 이메일 알림은 통계적으로 유의미한 하락 시 여전히 발송된다.