ロボットから自動運転車、はては囲碁・将棋といったゲームまで、昨今多くの「AI」が世間をにぎわせています。 その中のキーワードとして、「強化学習」というものがあります。そうした意味では、数ある機械学習の手法の中で最も注目されている(そして誇張されている・・・)手法ともいえるかもしれません。 今回はその強化学習という手法について、基礎から最近目覚ましい精度を出しているDeep Q-learning(いわゆるドキュン、DQNです)まで、その発展の流れと仕組みについて解説をしていきたいと思います。 本記事の内容をベースに、ハンズオンイベントを開催しました(PyConJPのTalkの増補改訂版) Pythonではじめる強化学習 OpenAI Gym 体験ハンズオン 講義資料の方が図解が豊富なので、数式とかちょっと、という場合はこちらがおすすめです。 Tech-Circle #18 Pythonではじ

※2018年06月23日追記 PyTorchを使用した最新版の内容を次の書籍にまとめました。 つくりながら学ぶ! 深層強化学習 ~PyTorchによる実践プログラミング~ 18年6月28日発売 これから強化学習を勉強したい人に向けて、「どんなアルゴリズムがあるのか」、「どの順番で勉強すれば良いのか」を示した強化学習アルゴリズムの「学習マップ」を作成しました。 さらに、各手法を実際にどう実装すれば良いのかを、簡単な例題を対象に実装しました。 本記事では、ひとつずつ解説します。 オレンジ枠の手法は、実装例を紹介します。 ※今回マップを作るにあたっては、以下の文献を参考にしました。 ●速習 強化学習: 基礎理論とアルゴリズム（書籍） ●Deep Learning for Video Game Playing 強化学習とは 強化学習は、画像識別のような教師あり学習や、クラスタリングのような教師なし

こんにちは、せーのです。今日はアメリカで人気爆発となっているAWS IoT Buttonを検証してみます。 Re:Inventボタンの商用化 昨年のRe:Invent 2015にてIoT系のセッションに参加したユーザーには"Amazon Dash Button Re:Invent version"というボタンがプレゼントされていました。 クラメソでも早速やってみたブログがいくつか上がっていましたね。 AWS IoT ButtonでAWS IoTを体験してみた！ #reinvent Dash Button自体は既にAmazon.comで売りだされていましたが、基本的にそれらは全て特定の商品の購入にセットアップされていて、AWS IoTで使うにはハックする必要がありました。このAmazon Dash Buttonはそこをプログラマブルに構築できるようにされた、とても面白い製品でした。 このボタ

※2018年06月23日追記 PyTorchを使用した最新版の内容を次の書籍にまとめました。 つくりながら学ぶ! 深層強化学習 ~PyTorchによる実践プログラミング~ 18年6月28日発売 2016年に発表された強化学習のアルゴリズム「A3C」を実装しながら、解説します。 （エイ・スリー・シー）と呼ぶそうです。 A3Cは、アルファ碁ゼロをはじめ、最新の強化学習を学ぶうえで、避けては通れない重要なアルゴリズムです。 世界一分かりやすいA3C、猫でもわかるA3Cの紹介を目指して、記事を書きます。 ※ 171115 tarutoさまにお気づきいただき、AgentクラスのAct関数を修正しました。 概要 OpenAI GymのCartPoleを題材に、「A3C」の実装・解説をします。 プログラムが1ファイルで完結し、学習・理解しやすいようにしています。 本記事では、 A3Cとは（概要） A3C

サンプルコード OpenAI Gymの倒立振子は， - 状態空間: 連続(座標と傾き) - 行動空間: 離散(左 or 右) なので，上記表よりDQNかCEM, Deep Sarsaで解けば良いことがわかります． Keras-RLにあるCEMで解くサンプルです． import gym from keras.models import Sequential from keras.layers import Dense, Activation, Flatten from rl.agents.cem import CEMAgent from rl.memory import EpisodeParameterMemory env = gym.make("CartPole-v0") nb_actions = env.action_space.n model = Sequential() model.

【強化学習中級者向け】実装例から学ぶDueling Network DQN 【CartPoleで棒立て：1ファイルで完結】Python機械学習DeepLearning強化学習Keras ※2018年06月23日追記 PyTorchを使用した最新版の内容を次の書籍にまとめました。 つくりながら学ぶ! 深層強化学習 ~PyTorchによる実践プログラミング~ 18年6月28日発売 強化学習DQNの発展編である「Dueling Network」を実装・解説したので、紹介します。 概要 Open AI GymのCartPoleで、Dueling NetworkにしたDQNの実装・解説をします。 プログラムが1ファイルで完結し、学習・理解しやすいようにしています。 【対象者】 ・強化学習DQNの発展版に興味がある方 ・速習 強化学習: 基礎理論とアルゴリズム（書籍）を読んで、Dueling Netw

Chainerを使った深層強化学習ライブラリChainerRLを公開しました． https://github.com/pfnet/chainerrl PFNエンジニアの藤田です．社内でChainerを使って実装していた深層強化学習アルゴリズムを”ChainerRL”というライブラリとしてまとめて公開しました．RLはReinforcement Learning（強化学習）の略です．以下のような最近の深層強化学習アルゴリズムを共通のインタフェースで使えるよう実装してまとめています． Deep Q-Network (Mnih et al., 2015) Double DQN (Hasselt et al., 2016) Normalized Advantage Function (Gu et al., 2016) (Persistent) Advantage Learning (Bellemar

強化学習といえばDeep Q learningみたいなのりで、DQNがもてはやされていますが、AlphaGoとかロボットの機械学習では数年前くらいからActor-Criticに移行してきているように見えます。 その一方でパワーポイントに飼い慣らされた漫画お脳には論文なんて読んでも面白みがない感じの毎日なのに、一方に解説が出てくる気配が感じられません。ということで、鳩山イニシアチブが如く、恥を忍んで今の理解をざっくり紙芝居にします。 復習 強化学習 だいたい世の強化学習ってこんな絵で始まります。 これをロボット制御に使う場合は実際の出力は、動作指令値であって出力ではなく、こんな感じ。 神の設計というか、リワードの設計がいろいろ面倒で、OpenAIとかdeep mindとかからの共同論文にも言及ありましたね。 ここでAgentが獲得を目指すのはQ値で評価される値で長期的にみて報酬rの合計値が最