Kerasで最短で強化学習（reinforcement learning）する with OpenAI Gym - Qiita
はじめに 強化学習よくわからないけど，理論そっちのけでとりあえずパパッと動かして見たいせっかちな人向けです．つまり僕のような人間です． OpenAI Gymで，強化学習の環境を提供してくれているので，それを用います． OpenAI Gymはあくまでも環境だけで，実際に学習させるには他のものが必要です． 調べて見ると，Kerasで強化学習をやるkeras-rlを書いた人がいて，これを使うと簡単に試せそうだったので使います．先人に感謝． 環境の準備 今回の環境 Python 3.6.0 :: Anaconda 4.3.1 (x86_64) Mac OS Sierra 10.12.5 keras 2.0.5 (backend tensorflow) tensorflow 1.2.0 最初はディスプレイのないサーバーでやっていましたが，めんどくさかったので，ローカル環境でやりました． ちなみにディ
[TF]KerasからTensorboardを使用する方法 - Qiita
learning_phaseはTrainingとTestで動作が異なる場合に使います。TrainingとTestでネットワークが変わらない場合は入りません。 learning_phaseは、Training時に１にセットされ、Test時には０にセットされます。この値によりネットワークを切り替えています。値の入力はkerasが自動で行っているので何もしなくてよいです。例えばValidationの時は0が設定されます。 簡単な例 簡単なMaltilayer Neural Networkの例はこんな感じになります。 import numpy as np from keras.datasets import mnist from keras.models import Sequential from keras.layers.core import Dense, Dropout, Activati
![[TF]KerasからTensorboardを使用する方法 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/6a2df91ba550b307b0a9ee15eae79d4818236af2/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCVEYlNURLZXJhcyVFMyU4MSU4QiVFMyU4MiU4OVRlbnNvcmJvYXJkJUUzJTgyJTkyJUU0JUJEJUJGJUU3JTk0JUE4JUUzJTgxJTk5JUUzJTgyJThCJUU2JTk2JUI5JUU2JUIzJTk1JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz1mMmI1MjQxZjIyY2UxZTRhOTU0ZThlOGFjYzQzZjc3NA%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBzdXBlcnNhaWFrdWppbiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9NDM4YTY0ZDdkYWRmMTQxNDhkYTFiMzYzY2M5NjlkNjA%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D1d039f53cfc10fa51022cb87b623bf31)
[TF]KerasでModelとParameterをLoad/Saveする方法 - Qiita
import numpy as np from keras.datasets import mnist from keras.models import Sequential from keras.layers.core import Dense, Activation, Flatten from keras.layers.convolutional import Convolution2D, MaxPooling2D from keras.layers.normalization import BatchNormalization from keras.utils import np_utils from keras.optimizers import Adam import keras.callbacks import keras.backend.tensorflow_backend
![[TF]KerasでModelとParameterをLoad/Saveする方法 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/bc160300e95370b673d6d7fa5030633bcc3609e4/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCVEYlNURLZXJhcyVFMyU4MSVBN01vZGVsJUUzJTgxJUE4UGFyYW1ldGVyJUUzJTgyJTkyTG9hZCUyRlNhdmUlRTMlODElOTklRTMlODIlOEIlRTYlOTYlQjklRTYlQjMlOTUmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPTdiYzM5ZjE1YTAxNmVmM2MwZDIzOGJjMTBkOWI4ZWFk%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBzdXBlcnNhaWFrdWppbiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9NDM4YTY0ZDdkYWRmMTQxNDhkYTFiMzYzY2M5NjlkNjA%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D4924a53eabe2b1c0e0285732493281c7)
コールバック - Keras Documentation
コールバックの使い方 コールバックは訓練中で適用される関数集合です．訓練中にモデル内部の状態と統計量を可視化する際に，コールバックを使います．SequentialとModelクラスの.fit()メソッドに（キーワード引数callbacksとして）コールバックのリストを渡すことができます．コールバックに関連するメソッドは，訓練の各段階で呼び出されます． [source] Callback keras.callbacks.Callback() この抽象基底クラスは新しいコールバックを構築するために使用されます． プロパティ params: 辞書．訓練のパラメータ（例: 冗長性，バッチサイズ，エポック数...）． model: keras.models.Modelのインスタンス．学習されたモデルへの参照． コールバック関数が引数としてとる辞書のlogsは，現在のバッチ数かエポック数に関連したデー
How to Checkpoint Deep Learning Models in Keras - MachineLearningMastery.com
Deep learning models can take hours, days, or even weeks to train. If the run is stopped unexpectedly, you can lose a lot of work. In this post, you will discover how to checkpoint your deep learning models during training in Python using the Keras library. Kick-start your project with my new book Deep Learning With Python, including step-by-step tutorials and the Python source code files for all
【Day-17】DeepLearning系ライブラリ、『Keras』の使い方まとめ(2.x対応版) - プロクラシスト
【最終更新 : 2017.12.17】 ※以前書いた記事がObsoleteになったため、2.xできちんと動くように書き直しました。 データ分析ガチ勉強アドベントカレンダー 17日目。 16日目に、1からニューラルネットを書きました。 それはそれでデータの流れだとか、活性化関数の働きだとか得るものは多かったのですが、Kerasと言うものを使ってみて、何て素晴らしいんだと感動してしまいました 今まで苦労して数十行書いていたものが、わずか3行で書ける！ 正直、スクラッチで書く意味って、理解にはいいけど研究や分析には必要あんまないんですよね。車輪の再発明になるし。 と言うわけで、使えるものはどんどん使っていこうスタンスで、今日はKerasの紹介です！ Tutorial+気になった引数を掘り下げて補足のような感じで書いています。 ちなみに、各部のコード以下をつなぎ合わせるとmnistの分類器が動くよ
Home - Ike-ON
Unlock Your Potential: Top 10 Reasons to Learn Python Python is one of the most popular programming languages in the world. As technology advances and more companies use Python … Read More C# course from scratch for beginners If you have only a general idea of what programming is and have never been professionally engaged in it, we recommend that you start learning from the very basics. Read More
[Python]強化学習(DQN)を実装しながらKerasに慣れる - Qiita
はじめに この記事はいまさらながらに強化学習(DQN)の実装をKerasを使って進めつつ，目的関数のカスタマイズやoptimizerの追加，複数入力など，ちょっとアルゴリズムに手を加えようとした時にハマった点を備忘録として残したものです．そのため，DQNの解説記事というよりも初心者向けKerasTipsになります． 実行環境 Python3.5.2 Keras 1.2.1 tensorflow 0.12.1 DQNとは DQN(DeepQNetwork)がDeepMindから発表されて2年以上経つので，もはやいたる所に解説記事や実装サンプルがあり，ここでの詳しい解説は不要だと思います．が，ざっくり言うと，Q-Learningという強化学習手法のQ関数部分を，深層学習により近似することで、動画像から直接Q値を推定することを可能にした学習手法です． DQNの理論としては ゼロからDeepまで学
![[Python]強化学習(DQN)を実装しながらKerasに慣れる - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/773bd14b547c7947b7dd6fba6003f5d6d71a0135/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCUHl0aG9uJTVEJUU1JUJDJUI3JUU1JThDJTk2JUU1JUFEJUE2JUU3JUJGJTkyJTI4RFFOJTI5JUUzJTgyJTkyJUU1JUFFJTlGJUU4JUEzJTg1JUUzJTgxJTk3JUUzJTgxJUFBJUUzJTgxJThDJUUzJTgyJTg5S2VyYXMlRTMlODElQUIlRTYlODUlQTMlRTMlODIlOEMlRTMlODIlOEImdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPWU2MGY2YjQ3OTUyYzA0ZWE0MzEzYWJiOWQxZTg4OTNm%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB5dWtpQiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MmUzODc2ZTk3MWM5YTdjNGFlYWUzNWZjMDZhMzcxYjQ%26blend-x%3D142%26blend-y%3D436%26blend-mode%3Dnormal%26txt64%3DaW4g5qCq5byP5Lya56S-44OG44Oz44Kv44O8%26txt-width%3D770%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%2523212121%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D36%26txt-x%3D156%26txt-y%3D536%26s%3D0275a3de2a5a242ca538cec406289f2c)
DQNをKerasとTensorFlowとOpenAI Gymで実装する
はじめに 少し時代遅れかもしれませんが、強化学習の手法のひとつであるDQNをDeepMindの論文Mnih et al., 2015, Human-level control through deep reinforcement learningを参考にしながら、KerasとTensorFlowとOpenAI Gymを使って実装します。 前半では軽くDQNのおさらいをしますが、少しの強化学習の知識を持っていることを前提にしています。 すでにいくつか良記事が出ているので紹介したいと思います。合わせて読むと理解の助けになると思うので、是非参考にしてみてください。 DQNの生い立ち ＋ Deep Q-NetworkをChainerで書いた DQNが生まれた背景について説明してくれています。Chainerでの実装もあるそうです。 ゼロからDeepまで学ぶ強化学習 タイトルの通り、ゼロからDeepま
Deep Learningによる株価変動の予想 - GMOインターネットグループ グループ研究開発本部
次世代システム研究室のJK（男）です。初ブログです。 よろしくお願いします。 今回はディープラーニングの中でも、時系列解析に強いLSTM（Long short-term memory）を紹介します。時系列解析のひとつのターゲットが金融商品の価格予想です。最近、英国のEU離脱で市場が大荒れですが、そういう市場の荒れ具合を予想できたら色々と嬉しいですよね。そんな予想をディープラーニングでやってみた、というのが今回の主旨です。 この記事は、参考文献[1]の論文を参考にしました。今回の記事に興味を持ったら、ぜひ読んでみてください。 1. LSTM LSTMは、RNN (Recurrent Neural Network)の改良版です。 そこで、まずRNNについて解説します。 RNNはディープラーニングの一種ですが、普通のニューラルネットと違い、現在の入力値に加えて自身の前の状態を入力しています。詳し
深層強化学習でシステムトレードをやる時に役に立ちそうな資料まとめ - ニートの言葉
Photo via Visual Hunt 少し前のことですが、AlphaGoという囲碁の人工知能プログラムがイ・セドル九段に勝利したことで話題になりました。*1 また、一部のゲームにおいて「DQN（Deep Q-network）」が人間よりも上手くプレイするようになったというニュースも話題になっていましたね。*2 今回はこれらの事例で使われている「深層強化学習」という仕組みを使って、FXのシステムトレードができないかと思い、調べてみました。 注意：強化学習もFXも勉強し始めたばかりなので、色々間違っている箇所があるかもしれません。ご指摘いただけると幸いです。 今回の内容 1.強化学習について 1-1.強化学習 1-2.Reinforcement Learning: An Introduction (2nd Edition) 1-3.UCL Course on RL 1-4.強化学習につい
Python: Keras/TensorFlow の学習を GPU で高速化する (Mac OS X) - CUBE SUGAR CONTAINER
Keras というのは Python を使ってニューラルネットワークを組むためのフレームワーク。 Python でニューラルネットワークのフレームワークというと、他にも TensorFlow とか Chainer なんかが有名どころ。 Keras はそれらに比べると、より高い抽象度の API を提供しているところが特徴みたい。 実のところ Keras はデフォルトで TensorFlow をバックエンドとして動作する。 バックエンドとしては、他にも Theano が選べるらしい。 今回は Keras で組んだニューラルネットワークを GPU で学習させてみることにした。 そのとき CPU と比べて、どれくらい速くなるかを試してみたい。 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.12.3 BuildVersi
KerasがTensorFlow本体に統合される？ - studylog/北の雲
TensorFlowをバックエンドとして使用しており、Python製DeepLearningライブラリとしては頭5つぐらい抜け出している感じのあったKerasですが、TensorFlow本体に取り込まれる？動きがあるようです。TensorFlow/Keras人気はさらに加速して他のライブラリを寄せ付けないでしょう。 自分が使いやすいライブラリを使えばいいと思いますし各ライブラリごとにいい所はあるので多様性万歳ではあるんですが、TensorFlow本体にKeras由来の使いやすいAPIが統合されちゃうと、DeepLearningライブラリのシェア争いという観点ではほぼ勝負あったかなという感じがします。 以下ソースなど。fcholletさんはKerasの開発者でGoogleにお勤めの人です。 @rbhar90 @tensorflow we will be integrating Keras (
Deep Learning環境はKeras + Docker + Jupyter Notebook + GPUがいいカンジ - もょもとの技術ノート
はじめに ポチポチKeras動かすのにどのような環境がいいのか考えてみました Keras + Docker + Jupyter Notebook + GPUの環境構築作業ログを紹介します Keras GitHub - fchollet/keras: Deep Learning library for Python. Convnets, recurrent neural networks, and more. Runs on Theano or TensorFlow. わかりやすいインターフェースがかなり好き Docker TensorFlowで学ぶディープラーニング入門～畳み込みニューラルネットワーク徹底解説 を参考にしました この本ではDockerを使用してます 当初はvirtualenv使用して環境作る予定だったので、勉強になりました 環境の移植性いいね GPU使用できるのいいね Ju
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - matthiasplappert/keras-rl: Deep Reinforcement Learning for Keras.
[Python] Keras-RLで簡単に強化学習(DQN)を試す - Qiita![[Python] Keras-RLで簡単に強化学習(DQN)を試す - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/15b089e476fff5f50fa0b4baed1c33c676367c07/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGNjE0NjglMkZwcm9maWxlLWltYWdlcyUyRjE0NzM2OTU2NjQ_aXhsaWI9cmItNC4wLjAmYXI9MSUzQTEmZml0PWNyb3AmbWFzaz1lbGxpcHNlJmZtPXBuZzMyJnM9ZWE0NWMzNTIzOTlkMDdjMjFmNTZlNGJkMzE2OTk1NWY%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253Df86bbceb36a2b1fb9e87276eb69a5313%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCUHl0aG9uJTVEJTIwS2VyYXMtUkwlRTMlODElQTclRTclQjAlQTElRTUlOEQlOTglRTMlODElQUIlRTUlQkMlQjclRTUlOEMlOTYlRTUlQUQlQTYlRTclQkYlOTIlMjhEUU4lMjklRTMlODIlOTIlRTglQTklQTYlRTMlODElOTkmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtcGFkPTAmcz0wODM0YWU3M2ZiY2M2MGNkY2YxNWE2ZDViMjA4YmMwMw%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBpbm9vcnkmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtcGFkPTAmcz0xZjk5MjgyMmJlYjBlNjM4NzllZDcyZjJmMDY3YjBhMA%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3Dafc04e9ffc07203caafac1d3f97f9bd1)