Q-Learning
Q-Learning Q-LearningはTD学習の一つである．ただし，Q-Learningでは状態と行動を一つのセットとして考える．具体的な例をみながら説明をする． 以下のように状態が遷移する環境があったとする． ここで，状態と行動をセットにして，評価値をセットする．たとえば，状態1における，行動Aと状態1における行動Bをそれぞれ評価するのである．つまり というように図示することができる．このように，それぞれの状態に，その状態で選択できる行動の数だけ評価値がある． このような状態に関連づけられている行動の評価値がどのように更新されるかを考える．それぞれの評価値をQ値と呼ぶ．Q値の更新式は という形で表される．TD学習では遷移した次の状態の評価値をみるが，Q-Learningではその状態について複数の行動に関連づけられた評価値を持つため，その中で最大のものをみる． 実際に状態遷移を繰り返
Actor-Critic
Actor-Critic Actor-CriticはTD学習を用いたもっとも初期の強化学習システムで用いられていたものである． しかし，この学習法には以下の２点のメリットがあり，今後も注目され続けるであろう． 行動選択に最小限の計算量しか必要としない．たとえば，連続値行動のように，可能な行動の個数が無限大である場合，行動価値を学習方法（Q-Learningなど）では１つの行動を選び出すために無限集合のなかを探索することになる． 確率的な行動選択を学習することができる．すなわち，いろいろな行動に対して，それを選択するような最適確率を学習することができる． 具体的に，どうしてそのようなことが可能となるのか，Actor-Criticの仕組みについて説明していく． 例として，次のように状態が遷移する環境を挙げる． なぜこのような環境を例としてあげたか．行動の数を多いような環境を示したかったためであ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://mikilab.doshisha.ac.jp/dia/research/person/suyara/report2001/eighth/actor-critic.htm
