強化学習のための「自由エネルギー原理」概論 #0 - Qiita

はじめに：脳の最先端理論「自由エネルギー原理」 神経科学界隈で盛り上がっている「自由エネルギー原理」という脳の理論があります。 今は脳の理論に留まっていますが，数年後には強化学習にガンガン使われるようになると信じているので，先取りして記事にしようと思います。 （この記事は強化学習系の人をターゲットに，数式をなるべく景色として見ながら理論全体をエクストリームに解説する読み物です。） 簡単に説明すると… 【自由エネルギー原理（Free Energy Principle）】 脳は次に起こることを常に予測していて，予測と実際との誤差「予測誤差」を最小化するように学習・推論を進めるという理論です（2005年～）。 そして，これをさらに進めて，行動も（期待値的に）予測誤差を最小化するように選ぶと考えて定式化されたのが，最新の自由エネルギー原理になります（2015年～）。1 上のただの推論に対比して，能