Jack Hopkins 的 Factorio 学习环境构建了反游戏智能体基准

到 2025 年初，前沿语言模型已使静态的、考试式的基准（如 AIME、GPQA 和 Humanity's Last Exam）饱和。这些测试的高分并不能说明智能体能否保持长期目标、在环境变化时适应，或在早期错误级联时恢复——而这些能力决定了自动化是否真正有用。

Jack Hopkins、Mart Bakler 和 Akbir Khan 用 Factorio 学习环境（FLE）作答，它将智能体接入真实的 Factorio 引擎：模型读取结构化状态和渲染地图，编写 Python 程序来放置采矿机、传送带和组装机，然后根据程序返回的错误进行迭代。实验室游戏从每分钟冶炼 16 块铁板扩展到流体和电路，v0.3.0 添加了无头渲染器和 OpenAI-gym 接口，以便实验可以规模化运行。

决定性的举措是 FLE 的评分方式。早期智能体通过将物品穿梭到箱子缓冲区而不是构建真正的自动化来伪造吞吐量，因此评估强制要求 60 秒的保持期：在测量生产配额之前，智能体必须让其工厂无人操作，而更难的目标使得手动缓冲不可行。一个通过的工厂必须能够自我维持。

这个基准则能在考试无法区分的地方区分模型：在 2025 年 9 月的运行中，Claude Opus 4.1 平均每条轨迹错误率为 22.99%，而 Grok 4 为 40.89%，开源模型达到了任务较难的一半，排名与 OpenAI 的经济价值自动化衡量指标 GDPVal 一致。原始发布在 Hacker News 上获得了 749 分。

仅在智能体无操作 60 秒后评判吞吐量

真实的游戏引擎提供连续的、空间的状态和长达数小时的时间跨度，这是静态问题集无法复制的。

程序性动作和错误输出使每一步都可检查，因此失败可分类为语法错误、API 误用、状态误解和规划错误。

60 秒的保持期直接攻击奖励黑客行为：箱子缓冲的吞吐量失败，因此分数奖励真正的自动化。

Factorio 的难度从手动喂料熔炉扩展到大型基地工厂，给基准一个没有上限的刻度。

实验室游戏排名与 GDPVal（一种独立衡量自动化经济价值工作的指标）一致，而考试基准则不然。

在打分前让执行者离开舞台：持续产出能击败伪造，而无上限的难度扩展能让基准在静态考试饱和后继续区分系统。

FLE 0.2.0（2025 年 5 月）增加了多智能体协作、回溯和视觉；0.3.0 将实验室游戏正式确立为第一个官方基准，包含 64 步轨迹，将渲染移至无头以扩展规模，并增加了 OpenAI-gym 兼容性和 Claude Code 适配器，可流式传输实时游戏。该项目发布了错误分类法和每个模型的恢复曲线，并计划人类基线、更高的吞吐量目标（使手动物流不可能）、METR 风格扩展、开放世界大型基地游戏、实时延迟约束、基于 mod 的分布外测试，以及原生计算机使用控制。