Factorio Learning Environment (FLE) ist ein auf dem Spiel "Factorio" basierender neuartiger Rahmen zur Bewertung der Fähigkeiten großer Sprachmodelle (LLMs) in den Bereichen langfristige Planung, Programmsynthese und Ressourcenoptimierung. Da LLMs die bestehenden Benchmark-Tests zunehmend sättigen, bietet FLE neue Möglichkeiten der offenen Bewertung. Seine Bedeutung liegt darin, dass Forscher ein umfassenderes und tiefergehendes Verständnis der Stärken und Schwächen von LLMs erhalten können. Die Hauptvorteile sind die Bereitstellung offener Herausforderungen mit exponentiell steigendem Schwierigkeitsgrad, sowie zwei Bewertungsprotokolle: strukturierte Aufgaben und offene Aufgaben. Das Projekt wurde von Jack Hopkins et al. entwickelt, wird als Open-Source-Projekt veröffentlicht, ist kostenlos nutzbar und zielt darauf ab, die Forschung von KI-Forschern zu den Fähigkeiten von Agenten in komplexen, offenen Bereichen voranzutreiben.