敵対的模倣学習の紹介 - Qiita

敵対的模倣学習(Generative Adversarial Imitation Learning)という学習手法を紹介します。 模倣学習(Imitation Learning)とは？ 強化学習分野に類似の枠組みで、「何が良い行動か」を定義する数値を人間が天下りに与えるのではなく、行動履歴の事例から習得させる枠組みです。 強化学習の枠組みと報酬設計の問題点 エージェント＆環境 よくある強化学習のエージェントと環境の模式図は以下のように書かれます。 とはいえ、環境から与えられる報酬の設計が設計者の直感通りに上手く行くとは当然限りません。 報酬関数は人間の意図通り動作するとは限らない 古典的な例がOpenAIのブログ ( https://blog.openai.com/faulty-reward-functions/ ) で紹介されています。 このゲームでは、サークルコースをボートで巡回しなが