LLMにFactorioを遊ばせてみた

皆さんFactorioをご存知でしょうか？ 宇宙飛行の途中に未知の惑星に不時着してしまったエンジニアが、脱出用ロケットを完成させることをゴールとして石炭・鉄・銅といった資源を採掘して様々な設備・素材を生産しながら自動化工場を構築・拡張していくゲームなのですが、ベルトコンベアを使った物流システムを駆使した生産の効率化・自動化要素が奥深く、あまたのエンジニアを廃人にしてきたことで有名なゲームです。 先日、そんなFactorioを題材としたプレプリントが公開されました。 この論文では、FactorioをLLMのベンチマークとして使うことを提案しています。LLM技術の進歩が目覚ましい昨今ではベンチマークの飽和が大きな課題となっており、Factorioのように規模がログスケールで変化するようなゲームを利用することで、LLMの長期的なプランニング能力や扱える情報量を評価できるとしています。 Facto