Generalized Advantage Estimation (GAE)の概要とアルゴリズム及び実装例

Generalized Advantage Estimation (GAE)は、強化学習におけるポリシーの最適化に使われる手法の一つで、特に、アクター・クリティック(Actor-Critic)アプローチのように、状態価値関数やアクション価値関数を利用するアルゴリズムにおいて、より安定した学習を可能にしたものとなる。GAEは、バイアスと分散のトレードオフを調整し、より効率的なポリシーアップデートを実現している。 GAEの主な目的は、アドバンテージ関数（特定のアクションがどれだけ良いかを示す値）を計算する際に、過度にノイズが入ることを防ぎ、計算をより滑らかにすることで、 強化学習では、エージェントがある状態\( s \)からアクション\( a \)を取り、得られた報酬をもとにポリシーを改善し、この際に、次の2つの重要な量を用いている。 – 状態価値関数\( V(s) \)：状態\( s \)に