16개의 Claude 에이전트가 테스트 하네스와 GCC 오라클의 조종 아래 C 컴파일러를 구축하다

2026년 2월, Anthropic 연구원 Nicholas Carlini는 16개의 Claude Opus 4.6 인스턴스를 공유 코드베이스에 풀어 C 컴파일러를 처음부터 구축하게 한 사례를 설명했다. 2주에 걸쳐 거의 2,000회의 Claude Code 세션 동안 약 2만 달러의 API 비용이 들었고, 그 결과 x86, ARM, RISC-V에서 부팅 가능한 리눅스 6.9 커널을 빌드하는 10만 줄 규모의 Rust 컴파일러가 만들어졌다고 Ars Technica가 보도했다.

각 인스턴스는 자체 Docker 컨테이너에서 실행되었고, 락 파일을 작성해 작업을 선점한 뒤 작업을 업스트림에 푸시했으며, 오케스트레이션 에이전트는 없었다. Carlini는 장황한 테스트 출력이 컨텍스트 윈도우를 오염시킨다는 점을 발견하고, 테스트 러너가 요약 줄만 출력하도록 만들었다. Claude는 시간 감각이 없기 때문에 빠른 모드에서는 테스트의 1~10%만 샘플링했다.

16개 에이전트 모두가 동일한 커널 버그에서 막혔을 때, 그는 GCC를 오라클로 사용해 대부분의 커널 파일을 GCC로 컴파일하고 일부만 새 컴파일러로 컴파일함으로써 에이전트들이 서로 다른 버그를 다루도록 했다.

환경에 공을 들여라: 조용한 테스트 출력, 샘플링된 테스트, 그리고 각 에이전트가 서로 다른 버그를 수정하도록 하는 GCC 오라클.

장황한 출력 때문에 에이전트들이 흐름을 놓쳤으므로 출력을 짧게 유지했다.

테스트 샘플링은 에이전트가 진전 없이 몇 시간을 보내는 것을 막았다.

참조 컴파일러는 하나의 공유 버그를 여러 개의 개별 작업으로 바꿔 놓았다.

잘 정의된 명세, 테스트 스위트, 참조 컴파일러 덕분에 이 작업은 에이전트에 유난히 적합했다.

자율 에이전트에서는 하네스, 검증기, 컨텍스트 위생이 모델만큼이나 결과를 좌우한다.

이 컴파일러는 GCC torture 테스트 스위트의 99%를 통과했고 PostgreSQL, SQLite, Redis, FFmpeg, QEMU, 그리고 Doom 같은 프로젝트를 컴파일했다. Ars Technica는 몇 가지 단서를 나열한다: 16비트 x86 부팅을 위해 GCC를 호출하며, 어셈블러와 링커에 버그가 있고, 최적화되지 않은 GCC보다 덜 효율적인 코드를 생성하며, 약 10만 줄 부근에서 성능이 저하되었다. 또한 2만 달러에는 학습과 인간의 지원 구조가 포함되지 않는다는 점과 '클린룸'이라는 표현에 이견이 있다는 점도 지적했다.