これから強化学習を勉強する人のための「強化学習アルゴリズム・マップ」と、実装例まとめ - Qiita
※2018年06月23日追記 PyTorchを使用した最新版の内容を次の書籍にまとめました。 つくりながら学ぶ! 深層強化学習 ~PyTorchによる実践プログラミング~ 18年6月28日発売 これから強化学習を勉強したい人に向けて、「どんなアルゴリズムがあるのか」、「どの順番で勉強すれば良いのか」を示した強化学習アルゴリズムの「学習マップ」を作成しました。 さらに、各手法を実際にどう実装すれば良いのかを、簡単な例題を対象に実装しました。 本記事では、ひとつずつ解説します。 オレンジ枠の手法は、実装例を紹介します。 ※今回マップを作るにあたっては、以下の文献を参考にしました。 ●速習 強化学習: 基礎理論とアルゴリズム（書籍） ●Deep Learning for Video Game Playing 強化学習とは 強化学習は、画像識別のような教師あり学習や、クラスタリングのような教師なし
Microsoft Word - 数実研レポート「高校生のための不動点定理」.doc
「高校生のための不動点定理」 北海道札幌国際情報高等学校 和 田 文 興 はじめに 第 14 回北海道高等学校数学コンテストの第 5 問に、 「縮小写像の不動点定理」を題材にした問題を出題し ました。問題の背景にあるこの定理の１次元の場合を、高校生の読み物としてプリントにしましたので紹介 します。 十年くらい前に北海道算数数学教育会高等学校部会第 59 回大会で発表したものとは違った方法をと り、証明を工夫して高校生向けにしました。また，高校生が自習用としても学べるように、単に「定義」 ， 「定 理」 、 「証明」の羅列ではなく、例題や練習、問題も取り入れて、理解しやすいようにしたつもりです。 ＝＝＝＝＝＝＝＝＝＝＝ 以下は高校生の読み物としてつくったプリントです ＝＝＝＝＝＝＝＝＝＝＝＝ 縮小写像の不動点定理 ここでは、 「帰納的に定義された数列の極限値を求める方法」の背後にある定理につ
RLApplications.bib
Castanon:1997p23922 Approximate dynamic programming for sensor management D. Castanon Decision and Control, 1997., Proceedings of the 36th IEEE Conference on 2 1202 -- 1207 vol.2 (1997) http://ieeexplore.ieee.org/search/srchabstract.jsp?arnumber=657615&isnumber=14272&punumber=5239&k2dockey=657615@ieeecnfs http://dx.doi.org/10.1109/CDC.1997.657615 This paper studies the problem of dynamic schedulin
ゆるふわ強化学習2 - Qiita
推敲してたら長くなりそうなので、一旦投稿しておきます。 内容 今回は、価値関数を用いた最適行動学習としてQ学習、SARSA、Expected SARSAを説明します。それらの導入として、非同期式価値反復・方策反復を紹介します。上記のアルゴリズム達は、非同期式価値反復・方策反復の確率近似版として理解されます。その後、適格度トレースについて説明します。適格度トレースは、方策反復と価値反復を繋ぐようなダイナミックプログラミングの手法として紹介します。（長くなるので次回にします。）これは、Sutton等の本ではなく、Bertsekas等の本（Neuro-Dynamic Programming）に紹介されています。というより、前回の記事も後者の本を参考にしています。Bertsekas等の新しい本も欲しいのでボスに最近おねだりしました。その本が来たら、記事たちもアップデートするかもしれません。あと、間
強化学習 - Qiita
「機械学習と深層学習」の文献中に例題として取り上げられているプログラムを実装してみる。 文献ではC言語でプログラムを記述しており、これをPythonで自分なりに実装してみた。 今回は強化学習による迷路抜け知識の学習を取り上げる。 強化学習とは 一連の行動の最後に評価が与えられるような場合に用いる学習方法 例）将棋 教師あり学習の場合 コンピュータプレイヤーが一手ごとにその手の評価を先生から教わる方法 効率的な学習は可能だが、大量の教師データを用意する必要があり大変 一手だけ取り出してその手が正しいかどうかは、多くの場合判断することができない 強化学習の場合 一連の着手が終了した後に評価を得て、その評価に基づいて学習を進める ゲームの勝敗によって評価（勝ち、負け、引き分け） → 報酬 最終の評価から、一手一手の行動に関する知識を学習する Q学習 強化学習を実現する方法として、Q学習がある あ
強化学習@PyData.Tokyo
PyData.Tokyo Meetup #12 での強化学習に関する講演スライドです． https://pydatatokyo.connpass.com/event/48563/Read less
ゆるふわ強化学習1 - Qiita
はじめに 強化学習について日本語で説明したゆるふわ入門があればいいなと思ったので書きます。ちょっと冗長だったので、簡潔にしました。 重要な注意点として、今回の記事では、環境のモデル（MDPの全ての要素）が分かっている場合を扱います。後に環境のモデルが不明な場合を扱いますが、そのための数学的なバックグラウンドとなるものが今回の記事で扱われます。 強化学習とは 強化学習が何かについては、たくさんの人がゆるふわな紹介を行っているので、飛ばします。代わりに、数学的な定義を説明します。 マルコフ決定過程（MDP） 強化学習において、環境の定義が必要となる。この環境の定義には、通常、マルコフ決定過程またはMarkov(ian?) Decision Process（MDP）を用いる。 MDPは5-tuple $(\mathcal{S}, \mathcal{A}, p, r, \gamma)$によって定ま
外部メモリ（External Memory）を利用した強化学習 - Qiita
今年（2016年）の8月9月にPFNのインターンに参加させてもらいました． そのインターンで，ICML2016にて発表されたControl of Memory, Active Perception, and Action in Minecraft (Oh et al. 2016)で提案されたニューラルネットを使った強化学習のモデルを実装しました．この記事はその解説です．実装にはChainerを使いました． 実装はGithubにあります． ちなみに，レッドブルは一度も飲みませんでした（麦茶ばかり飲んでいた）． そもそも強化学習？ DQNとはなんぞや？ ugonamaさんがめっちゃわかりやすい記事を書いてくれているのでそっちを参照してください． Oh(2016)の概要 Oh(2016)は，部分的な観測（Partial observation）しか与えられないようなタスクを解くことを主眼として，
強化学習(DQN) - Qiita
強化学習を勉強したのでまとめてみます。勉強時間はかなり短時間ですが、割と分かった気になったので、ポイントを記載してみたいと思います(数式は一切用いません)。このポイントを押さえてソースコードを読むと、理解が早いです。一部用語は私が勝手に定義したものもありますが、その他間違えていたら遠慮なくご指摘お願いします。 強化学習を理解するにあたって、環境・エージェント・トレーナーの3人が登場します。その登場人物をベースに説明します。環境、エージェントは一般的に使われる用語ですが、トレーナーは筆者が勝手に名付けています。 環境 エージェントが学習を行う舞台です。オセロだったりシューティングゲームだったりブロック崩しだったり。環境は定量的な状態と行動パターン、ルール(状態と行動を入力として次の状態と報酬を決定)を持ちます。ブロック崩しの場合を例に説明してみます。 定量的な状態: 現在のブロックの数やボー
ChainerでDQN。強化学習を三目並べでいろいろ試してみた。（Deep Q Network、Q-Learning、モンテカルロ） - Qiita
ChainerでDQN。強化学習を三目並べでいろいろ試してみた。（Deep Q Network、Q-Learning、モンテカルロ）PythonMachineLearningChainerReinforcementLearning 初めてのQiita投稿です。Ridge-iという会社で機械学習を中心としたコンサル～開発をしてます。 強化学習について教える機会が出てきたので、三目並べをベースに モンテカルロ Q-Learning Deep Q Network (いわゆるDQN) についてJupyter（ipython) で実装して教材を作りました。 ちなみに強いプレーヤー同士ならば、ドローだけが繰り返されるはずです。（WarGameの有名なやつですね。） 結論としては モンテカルロ 実装簡単。100回試行位でほぼ負けなし（50回くらいだと時々負ける） Q-Learning 更新式の設計に気
Deep Learning覚え書き（ChainerでDQN） - 八谷大岳の覚え書きブログ
以前インストールしたChainerで、Deep Q Network（DQN）を動かしてみたのでメモっておく。 hirotaka-hachiya.hatenablog.com DQNの論文については、以下参照。 hirotaka-hachiya.hatenablog.com 以下、ATARIでDQNを学習するまでの手順である。 １）RL-Glueのインストール RL-Glueはアルバータ大で開発された強化学習のエージェント、環境、実験プログラムを接続する標準インタフェースである。それぞれのプログラムは、C/C++、Java、Python、MatlabおよびLispのうちどの言語で書いても大丈夫です。ただし、それぞれの言語のcodecをインストールする必要があります。 http://glue.rl-community.org/wiki/Main_Page 今回は、RL-Glueのコアパッケージ
（調査）【 ゲームとAI 】深層強化学習の学習対象 & 実装AIエージェントの動作テスト環境 として の ゲーム環境 - Qiita
※ 作成中 1. Atari 深層強化学習によるゲーム攻略学習 の 草分けとなった舞台 （ 使い方 ） Hatena Blog Stimulator （2015-12-11） 「DQN-chainerリポジトリを動かすだけ」 Hatena Blog 覚え書きブログ （2016-06-05） 「Deep Learning覚え書き（ChainerでDQN）」 2. Minecraft Project Malmo Microsoft が 自社AIエージェント の動作テスト 実行環境 に 採用した３次元ゲーム空間 Gigazine（2016年07月11日 12時00分00秒）マインクラフトでAI（人工知能)を育てる「Project Malmo」をMicrosoftがGitHubで一般公開スタート ITmediaニュース（2016年07月10日 06時24分 更新）マインクラフトで人工知能を育てる「
NeuroEvolutionモデル 〜 深層学習 と 遺伝的アルゴリズム の 融合モデル について - Qiita
NeuroEvolutionモデル 〜 深層学習 の ネットワーク構成 と 隠れ層のパラメータ を 環境の変化 に 適応させながら、「進化論的」に世代を繰り返して、動的 に 修正進化するモデル １. 今回 見つけたもの NeuroEvolution: Evolutionary Artificial Neural Network, EANN ＝ 「ニューラルネットワーク」or 「深層ニューラルネットワーク」 × 「遺伝的進化計算アルゴリズム」 Wikipedia NeuroEvolution Neuroevolution または Neuro-evolution は人工ニューラルネットワークの学習に遺伝的アルゴリズムを用いる機械学習の手法である。 ネットワークの性能を測るのが容易であるが、教師あり学習を用いて正しい入力と出力の対の概要を作るのが困難または不可能であるゲームやロボットのモーター制
【 比較 】 深層強化学習 と 深層カルマンフィルター - Qiita
※ 作成中 両アルゴリズム と 比較させる対象 として、さらに 以下 の 「遺伝的ファジィ決定木アルゴリズム」 が 面白いかもしれない。 HirofumiYashima Qiita記事（2016/09/10）「【 調査メモ 】先端AI設計 に おける「遺伝的ファジィ決定木」アルゴリズム の 有用性 ～ RaspberryPi上で動作可能 な 軽量 無人戦闘機(UCAVs) 制御プログラム "ALPHA"（米国 Psibernetix社）が 示す その可能性」 （ 共通点 ） 選択した行動の結果が、時間的に遅延して観測 or 報酬取得 される 予測値と（事後的に得られる）観測値との誤差、（期待と）報酬との誤差（正負）を次の行動を決めるモデルを（誤差）修正するための情報として、自律的、積極的・能動的に用いる これにより、刻々と変化する環境に適応した行動をとるように、行動決定モデルをリアルタイム
いまさらだけどTensorflowでDQN（完全版）を実装する - Qiita
はじめに この記事は前回の記事の続きです。 前回は素のTensorflow(2016年7月時点)だけで実装できる、なんちゃってDQN(不完全版)を紹介しましたが、ここではMnihらの2015年の論文で実際に実装された方法を忠実に再現する方法について書いています。 不完全版と今回の完全版の違い Optimizerを通常のRMSPropからA.Gravesが導入したRMSPropに変更 Loss clippingを行う 特に1は問題で、素のTensorflowには実装されていないため、独自で実装する必要があります。 ここでは、Tensorflowでの実装方法とそこから得られる結果を紹介します。 A.GravesによるRMSPropの実装 Tensorflowで新しいOptimizerを作るには、TensorflowのPythonコードとCppのコードに手を加える必要があります。 具体的には下記
いまさらだけどTensorFlowでDQN(不完全版)を実装する - Qiita
{\begin{align} n &\leftarrow \rho n + (1-\rho)g_r^2 \\ g &\leftarrow \rho g + (1-\rho)g_r \\ m &\leftarrow \beta m - \frac \alpha {(n - g^2 + \gamma)}g_r \end{align}} イメージ的には、RMSPropが平均的な傾きの大きさを見て、値の更新幅を変えるのに対して、RMSPropGravesは傾きの分散に応じて、更新幅を変える感じでしょうか。 あとここで実装したDQNが、もう一点オリジナルと違うのは、通常のRMSPropを使う関係で、論文にあるLoss Clippingも行いません。 理由は、Clippingしたら、まともに学習が進まなかったからです・・・ DQN(不完全版)を実装するには 必要なライブラリ等 TensorFlow A
TensorFlowで逆強化学習
TensorFlow 勉強会 (4) の発表資料です。 途中の動画を見るには↓の元ファイルを御覧ください。 https://docs.google.com/presentation/d/1CWHjeiDJovG4ymuaoGCFLiBcSHNuNccMQQYkoFtpHxc/pub?start=false&loop=false&delayms=3000Read less
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - LantaoYu/MARL-Papers: Paper list of multi-agent reinforcement learning (MARL)
Google Scholar
Decoupled Neural Interfaces Using Synthetic Gradients | Google DeepMind
