El entorno de aprendizaje Factorio de Jack Hopkins creó un punto de referencia de agentes anti-trampas

A principios de 2025, los modelos de lenguaje de frontera estaban saturando puntos de referencia estáticos de estilo examen como AIME, GPQA y Humanity's Last Exam. Las puntuaciones altas en esas pruebas decían poco sobre si un agente podía mantener un objetivo a largo plazo, adaptarse cuando el entorno cambia o recuperarse cuando un error temprano se propaga en cascada: las capacidades que determinan si la automatización es genuinamente útil.

Jack Hopkins, Mart Bakler y Akbir Khan respondieron con el Entorno de Aprendizaje Factorio (FLE), que conecta un agente al motor real de Factorio: el modelo lee el estado estructurado y un mapa renderizado, escribe programas en Python que colocan mineros, cintas y ensambladoras, y luego itera sobre los errores que devuelven esos programas. El juego de laboratorio escala desde fundir 16 placas de hierro por minuto hasta fluidos y circuitos, y la v0.3.0 añadió un renderizador sin interfaz gráfica y una interfaz OpenAI-gym para que los experimentos puedan ejecutarse a escala.

El movimiento decisivo es cómo puntúa FLE. Los primeros agentes falsificaban el rendimiento transportando objetos a búferes en cofres en lugar de construir una automatización real, por lo que la evaluación impone una retención de 60 segundos: el agente debe dejar su fábrica intacta antes de medir las cuotas de producción, y los objetivos más difíciles hacen inviable el almacenamiento manual en búferes. Una fábrica que aprueba tiene que sostenerse por sí misma.

El punto de referencia entonces separa a los modelos donde los exámenes no lo hacen: en la ejecución de septiembre de 2025, Claude Opus 4.1 promedió 22,99% de errores por trayectoria frente al 40,89% de Grok 4, los modelos de código abierto alcanzaron la mitad más difícil de las tareas, y las clasificaciones siguieron la medida GDPVal de OpenAI sobre automatización económicamente valiosa. El lanzamiento original atrajo 749 puntos en Hacker News.

Evalúa el rendimiento solo después de 60 segundos sin agentes

Un motor de juego real proporciona un estado espacial y continuo y horizontes de horas que los conjuntos de preguntas estáticos no pueden replicar.

Las acciones programáticas y la salida de errores hacen que cada paso del agente sea inspeccionable, por lo que las fallas se clasifican en errores de sintaxis, uso indebido de la API, malentendido del estado y errores de planificación.

La retención de 60 segundos ataca directamente el hackeo de recompensas: el rendimiento con búferes en cofres falla, por lo que la puntuación recompensa la automatización genuina.

La dificultad de Factorio escala desde hornos alimentados a mano hasta fábricas megabase, lo que le da al punto de referencia ningún techo que saturar.

Las clasificaciones del juego de laboratorio coinciden con GDPVal, una medida independiente de la automatización de trabajo económicamente valioso, donde los puntos de referencia de exámenes no lo hacen.

Deja que el actor abandone el escenario antes de puntuar: la producción sostenida derrota a las falsificaciones, y una dificultad que escala sin techo mantiene a un punto de referencia separando sistemas mucho después de que los exámenes estáticos se saturen.

FLE 0.2.0 (mayo de 2025) añadió coordinación multiagente, retroceso y visión; la 0.3.0 formalizó el juego de laboratorio como el primer punto de referencia oficial con trayectorias de 64 pasos, trasladó el renderizado a modo sin interfaz gráfica para escalar, y añadió compatibilidad con OpenAI-gym más un adaptador de Claude Code que transmite el juego en vivo. El proyecto publica taxonomías de errores y curvas de recuperación por modelo, y planea líneas base humanas, objetivos de rendimiento más altos que hagan imposible la logística manual, escalado al estilo METR, juego megabase de mundo abierto, restricciones de latencia en tiempo real, pruebas de distribución fuera de lo común basadas en mods y control nativo de uso de computadora.