Jack Hopkins의 Factorio Learning Environment가 게임화 방지 에이전트 벤치마크를 구축했다

2025년 초까지 최전선 언어 모델들은 AIME, GPQA, Humanity's Last Exam 같은 정적이고 시험 형식의 벤치마크를 포화시키고 있었습니다. 그런 테스트에서의 높은 점수는 에이전트가 장기 목표를 유지할 수 있는지, 환경이 변할 때 적응할 수 있는지, 또는 초기의 실수가 연쇄적으로 확대될 때 복구할 수 있는지에 대해서는 거의 말해주지 못했습니다. 바로 그 능력들이 자동화가 진정으로 유용한지를 결정합니다.

Jack Hopkins, Mart Bakler, Akbir Khan은 에이전트를 실제 Factorio 엔진에 연결하는 Factorio Learning Environment(FLE)로 답했습니다. 모델은 구조화된 상태와 렌더링된 지도를 읽고, 채굴기·벨트·조립기를 배치하는 Python 프로그램을 작성한 뒤, 그 프로그램이 반환하는 오류에 대해 반복합니다. Lab-play는 분당 철판 16개 제련에서 유체와 회로까지 확장되며, v0.3.0은 헤드리스 렌더러와 OpenAI-gym 인터페이스를 추가해 실험을 대규모로 실행할 수 있게 했습니다.

결정적인 움직임은 FLE가 점수를 매기는 방식입니다. 초기 에이전트들은 실제 자동화를 구축하는 대신 아이템을 상자 버퍼로 옮겨 처리량을 속였기 때문에, 평가는 60초 홀드아웃을 강제합니다. 즉 생산 할당량을 측정하기 전에 에이전트가 공장을 건드리지 않고 그대로 두어야 하며, 더 어려운 목표는 수동 버퍼링을 실행 불가능하게 만듭니다. 통과하는 공장은 스스로를 유지해야 합니다.

그런 다음 벤치마크는 시험이 구분하지 못하는 모델들을 구분합니다. 2025년 9월 실행에서 Claude Opus 4.1은 궤적당 평균 22.99% 오류를 기록한 반면 Grok 4는 40.89%였고, 오픈소스 모델들은 더 어려운 절반의 과제에 도달했으며, 순위는 경제적으로 가치 있는 자동화에 대한 OpenAI의 GDPVal 측정치와 일치했습니다. 최초 릴리스는 Hacker News에서 749점을 받았습니다.

에이전트가 없는 60초 후에만 처리량을 판정하라

실제 게임 엔진은 정적 문제 세트가 복제할 수 없는 연속적이고 공간적인 상태와 수 시간에 걸친 지평을 제공합니다.

프로그래밍 방식의 행동과 오류 출력은 각 에이전트 단계를 검사 가능하게 만들어, 실패가 구문, API 오용, 상태 오해, 계획 오류로 분류됩니다.

60초 홀드아웃은 보상 해킹을 직접 공격합니다. 상자 버퍼링 처리량은 실패하므로 점수는 진정한 자동화에 보상을 줍니다.

Factorio의 난이도는 손으로 공급하는 용광로에서 메가베이스 공장까지 확장되므로, 벤치마크에는 포화될 천장이 없습니다.

Lab-play 순위는 경제적으로 가치 있는 작업의 자동화에 대한 독립적 측정치인 GDPVal과 일치하며, 시험 벤치마크는 그렇지 않습니다.

점수를 매기기 전에 행위자가 무대를 떠나게 하라. 지속적인 산출은 가짜를 이기며, 천장 없이 확장되는 난이도는 정적 시험이 포화된 후에도 오랫동안 벤치마크가 시스템을 구분하게 유지합니다.

FLE 0.2.0(2025년 5월)은 다중 에이전트 협응, 백트래킹, 비전을 추가했습니다. 0.3.0은 64단계 궤적으로 lab-play를 첫 공식 벤치마크로 공식화하고, 규모 확장을 위해 렌더링을 헤드리스로 전환했으며, OpenAI-gym 호환성과 실시간 플레이를 스트리밍하는 Claude Code 어댑터를 추가했습니다. 프로젝트는 오류 분류 체계와 모델별 복구 곡선을 공개하며, 인간 기준선, 수동 물류를 불가능하게 만드는 더 높은 처리량 목표, METR 스타일 스케일링, 오픈월드 메가베이스 플레이, 실시간 지연 제약, 모드 기반 분포 외 테스트, 네이티브 컴퓨터 사용 제어를 계획하고 있습니다.