価値ベースアルゴリズムの基礎(Q学習) - Qiita

この記事は自作している強化学習フレームワーク SimpleDistributedRL の解説記事です。 前：強化学習の基礎 次：DQN TD法 ベルマン方程式は以下でした。 $$ V_{\pi}(s) = \sum_{a} \pi(a|s) \sum_{s'}p(s'|s,a) \Big( r(s,a,s') + \gamma V_{\pi}(s')\Big) $$ ここで実際にサンプリングした結果を元に価値を予測する手法がTD法となります。 説明用に真の価値を $V_{\pi}^*$ 、予測した価値を $V_{\pi}$、サンプリングした結果得た価値を $V_{\mu}^{'}$ と表します。 （ $\mu$ はサンプリング時に使用した方策となります） あるステップ $t$ でサンプリングした結果得た価値は以下となります。 $$ V_{\mu}^{'}(s_t) = r_{t+1} +