各種正則化から転移学習まで。tensorflowソースコードで見るDL性能改善手法 まとめ(ver 2)
最近DL(Deep Learning)の各手法についてtensorflowで実装する場合の実際のコードを聞かれることが多くなってきたので一度まとめておきます。 (10/17/2017 Batch Normalization, Gradient Clipping, ビジュアライズ関連 追加) 下のリストはInside of Deep Learning （ディープラーニングの性能改善手法 一覧）に載せたものです。しかし個人的な経験からも性能改善は一筋縄ではいきません。単に性能の高いモデルを使えば良いといういうわけではなくデータの規模や質によってはシンプルなモデルを使った方が良い時もあります。 ↑ Best より表現力があり問題の処理に適したモデルを利用する より多くのデータあるいはより精度の良いデータを使う パラメータを収束／学習させるための工夫 汎化性能をあげるための工夫 ↓ Better
週刊少年ジャンプの短命作品を，機械学習で予測する （前編：データ分析） - Qiita
1. はじめに 週刊少年ジャンプ（以下，ジャンプ）は，日本で最も売れている漫画雑誌1です．言うまでもなく，私は大ファンです． ジャンプ編集部の連載会議は非常にシビアです．ジャンプ作家の奮闘を描いたフィクション漫画「バクマン。」では，編集部が毎号の読者アンケートをもとに各漫画の人気を評価し，掲載順や打ち切り作品を決定する様子が描かれています2．連載開始から10週以内（単行本約1冊分）で連載が打ち切られてしまうことも珍しくありません．とても厳しい世界です． 本記事では，機械学習を使って，短命作品（10週以内に終了する作品）の予測を行います．究極の目標は，ジャンプ編集部より先に打ち切り作品を予測し，好みの作品が危ない場合はアンケートを出して打ち切りを回避することです3．我々は読者アンケートの結果を知ることができないので，掲載順の履歴を入力とし，短命作品か否かを出力する多層パーセプトロン4をTen
d3.jsでベジェ曲線をドラッグで変形するサンプル - Qiita
ソースとデモ ソース: https://github.com/hnakamur/d3.js-drag-bezier-curves-example デモ: http://hnakamur.github.io/d3.js-drag-bezier-curves-example/ メモ d3.jsでのドラッグ Drag Behavior · mbostock/d3 Wikiからリンクされているサンプルを真似しました。 以下のようにd3.behavior.drag()の結果に .origin() を呼んでdragイベントのハンドラを設定します。ハンドラ内では d3.event.x, d3.event.y でドラッグ中の座標が取得できます。 var drag = d3.behavior.drag() .origin(function(d) { return d; }) .on("drag", drag
WindowsでGPU使ってTensorFlowを動かすメモ(TensorBoardも動かす) - Qiita
ここ何年か数ヶ月おきに「なんか流行ってるし機械学習やらねば」と思って手をつけるけどすぐに頓挫するというのを繰り返すうち，続かない原因のひとつが実行時間だと気づきました．自分以外にも実際に動くものを触りながらじゃないと勉強のモチベーションを保てない人は実行時間で苦戦しているかと思います． GPU使うと10倍くらい高速化するらしいので使いたいなと思っていたところで，TensorFlowがWindowsに対応していたので，ひとまず普段使っているWindowsノートで実行してみました． TensorFlow 0.12 が Windows をサポート CPU/GPU/AWSでのTensorflow実行速度比較 準備 環境． Windows 10(64bit) Python 3.5 (今回は本家のやつを使いました．Anaconda等のお好きな物を) NVIDIAのGPU CUDA + cuDNN 使え
過渡期にあるTensorFlowとKerasの関係を調べる - Qiita
（ 変数名コントロールの違い について追記しました．） はじめに TensorFlow Dev Summitなどで情報がリリースされていますが，TensorFlowとKerasの統合が進められています．Keras Blog - Introducing Keras 2 から引用します． Keras is best understood as an API specification, not as a specific codebase. In fact, going fowards there will be two separate implementations of the Keras spec: the internal TensorFlow one, available as tf.keras, written in pure TensorFlow and deeply comp
Google Cloud ML EngineをJupyterから簡単に使えるMagic - Qiita
Cloud ML Engineへ学習JobをJupyterから簡単に投げたいなぁと思い、そんなJupyter用 Magic Command Extensionを作りました。 Jupyterで書いたモデルを、Runすればクラウド上で実行することができます。 こんな感じ。 Cloud ML Engineとは 簡単に言えばTensorFlowの学習や予測JobをCloud上で実行できるマネージドな環境です。一般的にはDistributed TensorFlowで大規模に学習をさせるケースが多いかと思いますが、私のようにメインマシンがMacBookでGPUも使えない環境の場合は、GPUを気軽に使えるリモートの環境として重宝しています。 また、GCEとは違ってJobが終われば自動で立ち下がるため、インスタンス落とし忘れで課金が大変な事になる心配もありません。 準備 Google Cloud SDKの
Udacity自動運転エンジニアコースのTerm1を終えた感想 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? オンライン講座のUdacityが提供する自動運転エンジニアコースのTerm1を修了したので，その感想を書こうと思います． Udacityとは UdacityとはCourseraやedX等のオンライン講座MOOCの一つであり，自動運転エンジニアコース，AIコース，フルスタックエンジニアコースなど様々なコースがあります．他のMOOCとの違いは，Coursera等はどちらかといえば知識ベースであるのに対し，Udacityはプロジェクトベースであるという点です．また自動運転コースの講義はMercedes-Benz等からも提供されており，最先端の
TensorFlowの基礎 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? きっと今後も似たような話をすることが多そうなのでQiitaのプレゼンテーションモードにしてみようとも思ったらうまくいかなかったので、結局PDF化したものをSpakerDeckに用意しましたが、それなりに書いたのでQiitaの方も残しておきます。 SpeakerDeckにあるものと内容としてはほぼ同じです。 TensorFlowの概要 まずはTensorFlowの概要っぽい部分のお話です。 TensorFlowとは？ TensorFlowのサイト Googleがオープンソース化した機械学習ライブラリ 2015年11月に公開 Google社
TensorFlowのHighLevelAPIについての雑感つき解説 - Qiita
TensorFlow v1.0での目玉の１つにHigh Level APIがあります。v1.0の発表から何故かギョームが忙しくなり、しっかり追いかけきれていませんでしたが、現時点で日本語のまとめ記事っぽいのがなかったので雑感付きでサンプルコードを添えて書いてみようと思います。雑感は、まあ個人の意見ということで、Kerasはちょっと、という方が結構いるのも事実かと思います。 サンプルコードは以前書いた記事同様にirisデータに対して適当なDNNを作ってみたらどうなるか、という感じにしています。厳密にそれぞれの条件を揃えているわけではないのでその辺りはご容赦を。 TensorFlowの基本 まずは改めてTensorFlowの基本的な記述方法です。細かく言い出すとキリがないので、ざっくり言うと以下のような感じでしょうか。 入力用にplaceholderを用意 重みやバイアス用にVariableを
keras-1チュートリアル流し読み - Qiita
始めに chainerと似て抽象化がされている。 違いの一例としてはネットワークの定義でユニット数の書き方がchainerと逆になってる。Dense(1, input_dim=784,... 出力ユニット数,入力ユニット数の順になってる。 この記事では関数の紹介、使い方、どこで使われてるかを説明できる範囲で紹介します。 ※layer_testというサンプルが多用されてますが、ただのテストコードなことに後で気づきましたので、そのうち直します。 継承関係 Layer ↑ Container ↑ Model ↑ Sequential Keras v2では名前が変わったりしてます。 今はv1を元に書いています。 http://qiita.com/miyamotok0105/items/322b29339e1771184b9e from keras.models import Sequential
D3.jsなどで出力されるsvgを画像として表示する方法 - Qiita
D3.js(http://d3js.org/ )などで出力されるsvg要素を画像として使いたくなったので、d3.jsでsvgとして表示し、javascriptでsvgデータをbase64形式にして保存し、base64形式の画像データを画面上に表示する方法をまとめました。 【手順】 データをD3.jsを使ってグラグフィカルに表示する 出力されたsvg要素を画像に変換して保存する(※今回はbase64にして保存にしました) 画像として保存したデータを表示する という三段階でやり方をまとめてみました。 1.については、たくさん種類があるのでD3.jsのexampleページを参考にしてみてください。 2.出力されたsvg要素を画像に変換して保存する var svg = document.querySelector( "svg" ); var svgData = new XMLSerializer(
TensorFlow Fold 入門
はじめに TensorFlow Foldのノートです。 TensorFlow Foldとは 以下の記事でわかりやすく解説されています。 TensorFlow Foldによる動的な計算グラフとDynamic Batching - DeepAge 参考ページ Announcing TensorFlow Fold: Deep Learning With Dynamic Computation Graphs ― Google Research Blog tensorflow/fold TensorFlow Foldについて ― 過去・現在・未来 上記のページのまとめ 構造化データを使用するTensorFlowモデルを作成するためのライブラリ 構造化データ : 自然言語理解の構文解析木、ソースコードの抽象構文木、WebページのDOM木 入力データのサイズや構造はやっかい サイズや構造が異なる入力は、
Getting Started With TensorFlow を翻訳 - Qiita
TensorFlowを始めてみることにした。 チュートリアルとしてMNIST等はすでに先人の日本語訳があるため、見当たらなかったGetting Started With TensorFlow (https://www.tensorflow.org/get_started/get_started) (2017/3/11現在)を訳すことにした。 間違い等、ご指摘下さい。 #Getting Started With TensorFlow このガイドであなたはTensorFlowでのプログラミングの準備ができます。このガイドを使う前に、TensorFlowをインストールして下さい。このガイドを最大限活用するには以下のことを知っている必要があります。 Pythonでのプログラムの仕方 配列(arrays)について最低限少しでも知っていること 理想的には何かしら機械学習について。もし少し、または全く知
TensorFlow(+Keras)がWindowsで簡単にインストールできた件 - Qiita
GoogleのブログでTensorFlow 0.12 が Windows をサポートとあったので、試してみると簡単にできました。 実行環境 以前にインストールしたものになります。 Windows 10 Professional 64bit Anaconda3 4.2.0 (Python 3.5) ⇒ CPU版、GPU版どちらでもpython3.5が必要 GeForce GTX 1070 ⇒ GPU版に必要 CUDA Toolkit 8.0 (8.0.44) ⇒ GPU版に必要 cuDNN 5.1 ⇒ GPU版に必要 CPU版でとりあえず試したい方はこちらより「Anaconda3-4.2.0-Windows-x86_64.zip」をそのままイントールしてください。python3.5やJupyterなどがインストールされます。 Tensorflowのインストール Windowsスタートメニュー
[How to!] スーパーマリオをTensorflowで学習＆プレイしよう!! - Qiita
import tensorflow as tf import gym import gym_pull import ppaquette_gym_super_mario from gym.wrappers import Monitor import random import numpy as np class Game : def __init__(self): self.episode_count = 10000; ## select stage self.env = gym.make('ppaquette/SuperMarioBros-1-1-Tiles-v0') def weight_variable(self, shape): initial = tf.truncated_normal(shape, stddev = 0.01) return tf.Variable(initial
![[How to!] スーパーマリオをTensorflowで学習＆プレイしよう!! - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/d59e9847de3f8a59f26af1c306d3dbd7ce92e0a5/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCSG93JTIwdG8lMjElNUQlMjAlRTMlODIlQjklRTMlODMlQkMlRTMlODMlOTElRTMlODMlQkMlRTMlODMlOUUlRTMlODMlQUElRTMlODIlQUElRTMlODIlOTJUZW5zb3JmbG93JUUzJTgxJUE3JUU1JUFEJUE2JUU3JUJGJTkyJUVGJUJDJTg2JUUzJTgzJTk3JUUzJTgzJUFDJUUzJTgyJUE0JUUzJTgxJTk3JUUzJTgyJTg4JUUzJTgxJTg2JTIxJTIxJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz1mMGUyMTViNzM5NjEzMTY0MWExMjE3YjRiMTQzYTk2ZQ%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB0c3VuYWtpJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0zYjlkMmVmODE2ZDcyYWQ3MzlkNWU4YjUzYTIzNmQ5Nw%26blend-x%3D142%26blend-y%3D436%26blend-mode%3Dnormal%26txt64%3DaW4g5qCq5byP5Lya56S-R0FVU1M%26txt-width%3D770%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%2523212121%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D36%26txt-x%3D156%26txt-y%3D536%26s%3D9924d81b7a49a6dc8af535aca6e1277b)
スーパーファミコンのソフトをTensorFlowで学習させてみる！ - Qiita
学習方法 ゲームキャプチャ + アクションで報酬(game score)を与えそれを学習させる。 game scoreの取得については、ROMのバイナリ情報を解析する必要があります。 この辺はあまり詳しくありませんが海外にROMの情報が出ているとのことです。 ニューラルネットワークアーキテクチャ 学習関数は定番のReLU。教科学習のアルゴリズムは勾配降下法(Adam)でやってます。 ReLU 勾配降下法 ニューラルネットワークの外観 手順 ⅰ.エミュレータの準備 エミュレータの動作に関しては処理が複雑なのでgitにあげておきます。 https://github.com/tsunaki00/siva_game ※ 他のマシンで試してないので動くかわかりません。 エミュに興味あるかたは海外のgitなどをぐぐってみてください！ ⅱ.ROMの抜き出し 上記にも記載しましたが、ROMの抜き出し方法は
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://qiita.com/Dr_ASA/items/14901441e9845c32f28b
TensorFlow (ディープラーニング)で為替(FX)の予測をしてみる CNN編 - Qiita
TensorFlowのiOSデモをビルドする - Qiita
D3.jsで日本地図を描き、都道府県別に色を塗る - Qiita
