Keras を勉強します。 keras-rl でオリジナルの強化学習タスク・オリジナルのDQNモデルを学習したという記事が本日 Qiita に投稿されていましたが(参考記事)、まず keras-rl と gym がわからないので example コードを実行することにします。 参考記事 やること 手順 感想 参考記事 以下の記事を参考にさせていただきましたが、やったことは記事内容のトレースよりはるか低みです。 qiita.com やること 強化学習で伝統的なポールバランシングタスクをエージェントに学習させます。 小学生のとき掃除の時間に、手のひらに箒をのせて倒れないようにバランスを取るのをよくやったと思います。 今回のタスクのポールの動く範囲は2次元平面内に制約されています。台車も直線上を動きます。 gym でのタスク設定は以下のページ参照。 OpenAI Gym CartPole-v0
何の話かというと qiita.com 上記の記事では、「倒立振子」を題材にした、DQN(Deep Q Network)による強化学習の解説があり、非常によくまとまっています。 一方、この記事の中では、全結合層を4層に重ねたネットワークを利用しているのですが、倒立振子の問題に限定すれば、もっとシンプルなネットワークでも対応できる気がしなくもありません。 というわけで、「0層(パーセプトロン)」「1層」「2層」のネットワークでどこまで学習できるのか、モデルの複雑さと学習内容の関係を確認してみたよー、というのがこのブログのネタになります。 DQNとは? まずは簡単にDQNを解説しておきます。 ビデオゲームの自動プレイで有名になりましたが、「与えられた環境において、最善の行動を選択する」という処理を実現することが目標です。ここで言う「行動」は、ビデオゲームの操作のように、「どのボタンを押すのか」と
強化学習の一手法であるQ-learning とディープニューラルネットを組み合わせた Deep Q Network、通称DQNを使って倒立振子の振り上げ問題を解決してみます。 問題設定 「倒立振子の振り上げ問題」というのは、今回はこういう問題設定です。 まず空中に静止したモータがあって、モータ軸に棒の一端がつながっています。棒は中心に質量が集中していて剛性$\infty$で太さ0の、よくある棒です。初期状態では棒は重力にしたがって下向きにぶら下がっています。この状態から振り子を振り上げて倒立状態で静止させてください、という問題です。古きよき制御工学では、振り上げ用と静止用に別設計されたコントローラを2つ用意して切り替えるなど、非線形要素を含むコントローラを用いて対処することになります。いや、やったことないですけど、そうらしいです。 今回は、モータは右か左に一定トルクの回転しかできない、とし
microSDまたはmicroSDHCにコピー † microSDXCは使えない。microSDのデバイス名が /dev/sdb とすると、以下のようにddでイメージをメディアに書き込む。 xzcat ~/Download/ev3dev-jessie-ev3-generic-yyyy-mm-dd.img.xz | sudo dd bs=4M of=/dev/sdb xzcat ~/Download/snapshot-ev3dev-stretch-ev3-generic-2018-04-22.img.xz | sudo dd bs=4M of=/dev/sdb デバイス名が不明な場合は cat /proc/partitions などのコマンドで調べる。 USB経由で接続した場合は /dev/sdb のようなUSBメモリと同じようなデバイス名に、SDカードスロットに入れた場合は /dev/mm
本記事はETロボコンAdvent Calendar 2016 12/22のエントリです。 こんにちは、はねうまです。 昨年まで、私達のチーム「銀河系はねうま」はJavaでETロボコンに参加してきましたが、 今年は心機一転、Pythonでの参加に挑戦してみました。 しかし、いざ挑戦しようと情報を調べても中々必要な情報に辿り着けませんでした。 そこで、これからPythonでLEGO Mindstorms EV3を動かしてみたい人の参考になればと思い、 この記事を書く事にしました。 今回の記事は利用者が多いと思われるため、Windowsを対象にしています。 また、今後はPythonの開発環境やev3devのクロスコンパイル環境の話などを投稿しようと思います。 実行環境 OS:ev3dev 2016-10-17Release版 (DebianベースのLinux) 使用ライブラリ:python-ev
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く