第11回 今更だけど基礎から強化学習を勉強する モンテカルロ木探索編 - Qiita

モデルベース強化学習の有名な手法であるモンテカルロ木探索を見ていきたいと思います。 第10回 モデルベース基礎編 第12回 連続状態空間モデルベース編 ※ネット上の情報をかき集めて自分なりに実装しているので正確ではない可能性がある点はご注意ください コード全体 本記事で作成したコードは以下です。 GoogleColaboratory 追記：自作フレームワークを作成しています。そちらにも実装があります。 モンテカルロ探索(Monte-Carlo Search) まずは木を使わない場合の探索です。 あるモデル $M_\eta$ とシミュレーション方策 $\pi$ が与えられているとします。 ※$M_\eta$ は近似モデルを想定していますが、実環境でも問題ありません ※$\pi$ はシミュレーション時にアクションを選ぶ方策です この時、ある状態 $s_t$ におけるアクションの選択方法は以下で