今さら聞けない強化学習（9）: TD法の導出 - Qiita

DP法ではブートストラップを用いるため、推定しようとしている価値関数を次の状態（行動対）の価値関数を用いて計算することができます。しかし、エピソードを進めるために環境に対する知識、つまり行動$a$をとったときの状態$s'$への遷移確率がわかっている必要があります。 MC法ではサンプリングに基づいてエピソードを生成し、得られた収益を平均することで価値関数の期待値計算をおこないます。この方法では環境に対する知識を必要とせず、得られた報酬およびその総和としての収益をメモリに貯めていけば良いのでした。しかし、エピソードが終了するまで待たなければならないこと、また報酬のみを扱うためブートストラップを使わないことがネックでした。 今回はTD学習（時間的差分学習: Temporal Difference Learning）と呼ばれる手法により、上記のDP法とMC法の利点を掛け合わせた学習をおこないます。