【強化学習初心者向け】シンプルな実装例で学ぶSARSA法およびモンテカルロ法【CartPoleで棒立て：1ファイルで完結】 - Qiita
※2018年06月23日追記 PyTorchを使用した最新版の内容を次の書籍にまとめました。 つくりながら学ぶ! 深層強化学習 ~PyTorchによる実践プログラミング~ 18年6月28日発売 強化学習の代表的な手法である「SARSA法」と「モンテカルロ法」の、実装コード紹介と解説を行います 学習する対象には、強化学習の「Hello World！」的存在である「CartPole」を使用します。 概要 強化学習の代表的な手法であるSARSA法、モンテカルロ法の2通りを実装・解説します。 ※ディープラーニングは使用しません。古典的？な強化学習です。 ・どちらも150行程度の短いプログラムです ・外部の強化学習ライブラリなどを使用せず、自力で組んでいます ・コメント多めです ・保守性よりも、初学者が分かりやすいことを優先してコードを書いています 【対象者】 ・Qiitaの強化学習の記事「ゼロから
強化学習入門 ～これから強化学習を学びたい人のための基礎知識～ - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 こんにちは。アナリティクスサービス本部の仲田です。 本日は、「強化学習」について、その基礎的なアルゴリズムと、簡単なデモをご紹介します。 強化学習とは機械学習の手法のひとつ (画像はhttps://www.engadget.com/2016/03/12/watch-alphago-vs-lee-sedol-round-3-live-right-now/より) 「強化学習（Reinforcement Learning）」と呼ばれる学問分野をご存知でしょうか。 機械学習にはさまざまな分類方法がありますが、「教師付き学習（Supervised Learning）」「教師なし学習（Unsupervised Learning）」「強化学習」という3種類に分ける考え方があります。 この考え方では、強化
ゼロからDeepまで学ぶ強化学習 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ロボットから自動運転車、はては囲碁・将棋といったゲームまで、昨今多くの「AI」が世間をにぎわせています。 その中のキーワードとして、「強化学習」というものがあります。そうした意味では、数ある機械学習の手法の中で最も注目されている(そして誇張されている・・・)手法ともいえるかもしれません。 今回はその強化学習という手法について、基礎から最近目覚ましい精度を出しているDeep Q-learning(いわゆるドキュン、DQNです)まで、その発展の流れと仕組みについて解説をしていきたいと思います。 本記事の内容をベースに、ハンズオンイベントを開
バンディットアルゴリズムことはじめ - Qiita
巷で話題のバンディットアルゴリズムを、 ネット上の素晴らしい資料を参考にしたり引用したりしながら、 おおまかなイメージがつかめるようにまとめていきます。 導入：タカシ君のお年玉 20XX年、元旦。 タカシ君は、この冬休みずっと、コインに念を送って表を出す練習に励んできました。 というのも、 コインが5種類(A,B,C,D,E)あるが、どうやらそれぞれ形が違うようで、表が出る確率が違う（が変化はしない） 「1回ごとにコインを1つ選んで、50回コイン投げていいよ」と両親に言われている 表が出た回数×1000円をお年玉としてもらえる ので、なんとかして表が出る回数を最大にしたいのです。 冗談はさておき、タカシ君は、どういう方針でコインを選ぶのがいいのでしょうか。 同じコインを投げ続ける？「コインB、君に決めた！」 全てのコインを均等に投げる？「平等にコインAを10回、Bを10回、...」 これま
違法アップロードサイトが人気なのは「無料だから」だけではない
ここ数日、違法漫画アップロードサイトが俄に話題だ。 皆いろいろと憤っている。当然だ。完全なる著作権侵害、知財の無断利用で金を儲けている奴など断じて許してはならぬ。別に違法サイトを擁護しようというつもりはさらさら無い。 が、それを前提にちょっと皆に聞いて欲しいことがある。どうしても言いたい事がある。 あそこの配信サイトもこの電子書籍ビューアも、お前ら全員もっと漫画村を見習えクソが！！ いやもう正直言って今更サイト名伏せる意味もそこまで無いやろと思うので特に伏せずに発言する。 漫画村は確かに違法サイトであり、「タダで漫画が読める」というのが一番大きなセールスポイントだ。しかし、だ。ハッキリ言うが漫画村は「タダで漫画が読める」という点を差っ引いても、下手な正規ルートよりよっぽどユーザーに優しい作りになっている。その事については強く主張したい。 私が漫画村という名前を知ったのは半年ほど前だ。確か「
KerasモデルをCloud ML Engineで学習してOnline Predictionしてみた - Qiita
Cloud ML Engine のruntime versionが1.2になったので、Kerasが小細工なしで使えるようになりました。TensorFlowの高レベルAPIもいい感じになって来ていますが、やはりKerasのpretrained modelの多さは魅力的です。とりあえずやり方だけ把握しておこうと、せっかくなので学習だけでなくOnline PredictionもKerasモデルでserveしてみました。 Cloud ML Engineとは TensorFlowのフルマネージドな実行環境です。分散環境で学習、オートスケールしAPIで推論リクエスト可能なOnline Prediction等、TensorFlowの運用には最高の環境です。 KerasをCloud ML Engine(training)で使う 注意するのは、 Kerasのimportをtf.contribからする job
Google Cloud ML EngineをJupyterから簡単に使えるMagic - Qiita
Cloud ML Engineへ学習JobをJupyterから簡単に投げたいなぁと思い、そんなJupyter用 Magic Command Extensionを作りました。 Jupyterで書いたモデルを、Runすればクラウド上で実行することができます。 こんな感じ。 Cloud ML Engineとは 簡単に言えばTensorFlowの学習や予測JobをCloud上で実行できるマネージドな環境です。一般的にはDistributed TensorFlowで大規模に学習をさせるケースが多いかと思いますが、私のようにメインマシンがMacBookでGPUも使えない環境の場合は、GPUを気軽に使えるリモートの環境として重宝しています。 また、GCEとは違ってJobが終われば自動で立ち下がるため、インスタンス落とし忘れで課金が大変な事になる心配もありません。 準備 Google Cloud SDKの
[GCP]Cloud Machine Learningを使ってハイパーパラメータチューニング | Workpiles
GCP Cloud MLを使ってハイパーパラメータチューニングをやる方法です。 普段の開発環境にはGPU付いてないので、ここぞという時はGCP（Tesla K80）使ってます。お値段は１時間使って約1.5ドル（160円）ほどです。 ※ちなみにTesla K80のお値段って80マンもするんですね。たかっ！ ハイパーパラメータチューニングみたいにPCぶん回さないといけない場合も、CPUだと厳しいのでGCPを使います。 CloudMLを使ってトレーニングができる環境が構築済みという前提で話を進めていきます。 準備 まずは、CloudML上でハイパーパラメータチューニングを行うためにいくつか準備が必要です。 １．パラメータを実行時オプションから指定出来るようにソースコードを書き換える チューニング対象のパラメータをプログラム実行時のオプションで指定できるように書き換えます。 例えば、下記のように学
[TF]KerasからTensorboardを使用する方法 - Qiita
learning_phaseはTrainingとTestで動作が異なる場合に使います。TrainingとTestでネットワークが変わらない場合は入りません。 learning_phaseは、Training時に１にセットされ、Test時には０にセットされます。この値によりネットワークを切り替えています。値の入力はkerasが自動で行っているので何もしなくてよいです。例えばValidationの時は0が設定されます。 簡単な例 簡単なMaltilayer Neural Networkの例はこんな感じになります。 import numpy as np from keras.datasets import mnist from keras.models import Sequential from keras.layers.core import Dense, Dropout, Activati
![[TF]KerasからTensorboardを使用する方法 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/6a2df91ba550b307b0a9ee15eae79d4818236af2/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCVEYlNURLZXJhcyVFMyU4MSU4QiVFMyU4MiU4OVRlbnNvcmJvYXJkJUUzJTgyJTkyJUU0JUJEJUJGJUU3JTk0JUE4JUUzJTgxJTk5JUUzJTgyJThCJUU2JTk2JUI5JUU2JUIzJTk1JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz1mMmI1MjQxZjIyY2UxZTRhOTU0ZThlOGFjYzQzZjc3NA%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBzdXBlcnNhaWFrdWppbiZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9NDM4YTY0ZDdkYWRmMTQxNDhkYTFiMzYzY2M5NjlkNjA%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D1d039f53cfc10fa51022cb87b623bf31)
Google Cloud Machine Learning : 入門編 (1) – ClassCat® AI Research
Google Cloud Machine Learning がパブリック・ベータになった旨のお知らせを頂きましたのでさっそく試してみました。サービスの概要は以下に記されています : Google Cloud Big Data and Machine Learning Blog 要約すれば、Google Cloud Machine Learning は GCP (Google Cloud Platform) と統合され、Google Cloud Dataflow、BigQuery、Cloud Storage そして Cloud Datalab のようなクラウド・コンピューティング・ツールと TensorFlow に渡るリッチな環境をスケールして作成可能なフルマネージドサービスになります。 また、新しい特徴として HyperTune があります。これは自動的に予測精度を改善します。モデルのため
await って言う単語
C# 5.0で非同期メソッドが導入されてから、 正式リリースを基準にしても5年以上、 最初の発表からだと7年以上経っています。 で、5年経っても、「なんて読むの」「asyncのaとawaitのaは違う」などなどが「定番ネタ」として定期的に出てくるわけですが。 特に、ECMAScript 2017がasync/awaitを導入したり、 Unity 2017がやっとC#のバージョンを6.0に上げれる感じになってきたり、 5年の断絶を経て去年からasync/awaitに触れる人が増えているようです。 5年も離れたら、世代断絶も起こりますよね… そりゃ、「定番ネタ」が改めて増えもしますよね… ということで、5年くらい前に同じようなことをどこかで書いてるはずなんですけど、改めて。 英単語 えいしんく まず読み方。 async: エイシンク await : アウェイト ってやつ。async の方が「ア
gnu-efiでUEFI遊びをはじめよう - Qiita
こちらはNTTコミュニケーションズアドベントカレンダー9日目の投稿です（1日遅れてすみません）。 新入社員です。面白そうなので参加させていただきました。 趣味は組み込み系の開発です。学生の時はGSoC2016でGregさんに教わりながらマイコンでLinux動くようにしたり、U-Bootにパッチ投げたりしていました。 https://summerofcode.withgoogle.com/archive/2016/projects/6617849892175872/ https://lists.denx.de/pipermail/u-boot/2016-July/259988.html 最近、趣味でUEFIアプリを作っていたので、忘れないうちにUEFIアプリの基本的なところについて書こうと思います。 なお、OSはArch Linuxを使っているものとします。 UEFIとは UEFIとは、一言
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kerasの使用例:Input(Embedding + Flatten) - Qiita
Kerasでちょっと難しいModelやTrainingを実装するときのTips - Qiita
UEFI