KerasのImageDataGeneratorのメモリ消費を約1/4にする方法 - Qiita
STL-10のunlabeledの画像10万枚（96x96）をImageDataGeneratorで回してたらメモリ12GB近く使ってパンクしそうになったので対処法を考えました。 環境：Keras=v2.2.4、TensorFlow=v1.8.0、CPU環境 結論だけ見たい方は「解決法」のとこまで飛んでください。 ImageDataGenerator.flow()は入力データを全部float32にキャストしてる？ STL-10はtrain（5000枚）, test（8000枚）, unlabeled（10万枚）の3種類のデータからなり、それぞれ1つずつの大きなバイナリファイルに固められています。Pythonの実装は詳しくはこちらにあります。 STL-10の実装は本質的なことではないのですが、このバイナリの画像データがuint8のNumpy配列で定義されているのがポイントなのです。uint8
昔作ったCNNの簡単な(2層)モデルが出てきたので、貼っておく - Qiita
from keras.models import Sequential from keras.layers import Activation, Dense, Dropout from keras.utils.np_utils import to_categorical from keras.optimizers import Adagrad from keras.optimizers import Adam import numpy as np from PIL import Image import os # 学習用のデータを作る. image_list = [] label_list = [] for dir in os.listdir("data/dog/ForFinalTrain/"): dir1 = "data/dog/ForFinalTrain/" + dir label =
【dqn】dqnで遊んでみた♬ - Qiita
時代はDQNということで、久しぶりに遊んでみた。というか、ここからひと月毎日DQNで遊んでみようと思う。 その心機一転、Exampleから一つずつ遊び倒す。 まずは、インストールだが、以前の環境で動かそうとしたら、怒られた。 >python ddpg_pendulum.py Using TensorFlow backend. Traceback (most recent call last): File "ddpg_pendulum.py", line 8, in <module> from rl.agents import DDPGAgent ImportError: No module named 'rl' >pip install keras-rl Collecting keras-rl Requirement already satisfied: keras>=2.0.7 in c
BatchNormalizationはどこに入れればいいのか?(CNN編①） - Qiita
BatchNormalization（以下BN）を入れると 過学習が起きにくくなるという事は経験的にわかっていましたが どこに入れればいいのか不明なので、簡単なCNNのモデルを作成し確認してみました BNの細かい説明はお魚の本P.186～を参照 データセットによって動きが変わることは十分考えられますので、参考程度にお願いします ただ、思ったよりも動きが変わって面白かったです ※△１ 2018.10.7追記 上記の予想通り、データセットをcifer10に変更したところ BNを入れた方がlossが大きくなる結果となりました 検証はこちらに掲載します 簡単にまとめると データ数が十分に多く、モデルのパラメータが少ない 過学習が起きづらいモデルに対してBNを導入すると lossが大きくなるようです 確認環境 python3.6.6 Tensorflow:1.10.0 Keras：2.2.2 学習デ
MacOS Mojave & Python3.7 でTensorflow環境構築しようとして詰まった話 - Qiita
前提 MacOS 10.14 Mojave python 3.7.0 基本的には「Python3 TensorFlow for Mac 環境構築」の記事（python 3.6.0）のやり方を参考にpython3.7で構築しようとしてつまずいて調べたことをまとめておきます。 先に結論 記事を書いておいてアレなんですが、現時点（2018/10/13）で**python 3.7に正式に対応できているTensorflowのpipパッケージはまだ追いついてないようです。。**一応強引な回避策もあるにはあるようなのでそちらも書いておきます。 MacOS 10.14 Mojave MacOS 10.13 High Sierra をお使いの方は「1. pyenv install でエラー」の項のみ参考にしてください。 普通に構築されたい方は素直にpythonを3.6にダウングレードして、対応するpipのt
KerasのConv2Dの行列式演算 - Qiita
KerasでいうところのConv2Dがどのような演算をやっているかどういう風に理解してますか。 よくモデルの図解では直方体のデータ変形の例で示されますよね。 じゃあこれがどんな演算かっていうと初心者向け解説だと、畳み込みや特徴量抽出の説明をしてそれで終わってしまうことがままあります。 そうすると自分は、いや、畳み込みわかるけどConv2Dのパラメータ数とかどうなってるのか分らないよ、と思うわけです。 ということでConv2Dの自分なりの行列計算の理解をまとめたいと思います。もしかしたら詳しい参考書とかには書かれてるのかもしれませんが自分の読んだ本には行列計算は載っていませんでしたので……。 畳み込みや行列自体については解説しませんので畳み込みの原理は理解されたうえでお読みください。 もしも書いてる内容が間違っている場合は指摘していただけると幸いです。 inputs = Input(shap
windows10にPython3.6とtensorflowをインストールする方法 - Qiita
Python3.6のインストール ※ 2018/10現在、tensorflowを動かすにはPython3.7ではダメらしい。 下記URLよりPython本体をダウンロードする。 https://www.python.org/downloads/windows/ ・ Python 3.6.7rc1 - 2018-09-26 「Windows x86-64 executable installer」あたりが妥当。 ダウンロードしたインストーラに従い、Pythonをインストールする。 Pythonのインストール確認 $> C:\WINDOWS\system32>python --version $> Python 3.6.7rc1 ※ うまくいかない場合、環境変数のパスが通っていないと考えられるため システム環境変数のPathにインストールしたPyrthonフォルダ 例：[「C:~~\Pytho
TensorFlowSharp を VisualStudio2010 から使う - Qiita
はじめに 仕事の話がきっかけですが、顔写真に対する証明写真としての適正具合を画像分類で判定できるんじゃないか？ という個人的興味がわいたため、適当にWebで顔写真を集めて VGG16 をベースに転移学習した Keras のお試しモデルを作りました。0.0 ～ 1.0 の不適切度を出力し、しきい値 0.5 で 93% くらいの精度でした。 現場のサーバーが Windows Server なので、もしそこで動かすならということで「C#で学習済みVGG16モデルを使ってアプリを作る方法」を参考に VisualStudio2017 と TensorFlowSharp を使って動くことを確認しましたが、ついでに現場の開発用IDEである VisualStudio2010 でもビルドできるようにしてみました。 作ったもの github に TensorFlowSharpNet40 というレポジトリで公開
tensorflow+Geforce RTXシリーズでパフォーマンスを確認してみる（その２） - Qiita
--profile-child-processesと-oについてる%pに注意。 前者のオプションでjupyterからpythonまで芋づる式に拾ってくれるようになります。このオプションを指定した場合は出力ファイル名に%p(プロセス番号に置換)を含めないと駄目らしい。 2. Jupyter側で操作 Jupyter notebook側（ブラウザ）でtensorflow実行、終わったらDOS窓でCtrl+Cして終了させます。 最初は前記事のImages/Pix2Pixを解析しようとしたんですが、プロファイル結果が訳わからないことになったのでもう少し単純なものを。 Keras作者の本を写経したやつが残ってたので、これを使うことにしました。3.5章のやつです。 fp16/fp32の切り替えは例によってkeras.backend.set_floatx()で行っています。 # 題材はロイター記事の解析
学習済みMobileNetV2モデルによる推論をTensorFlow.jsとWebWorkerを使ってブラウザ上で実行 - すぎゃーんメモ
将棋駒画像分類の話の続き。 memo.sugyan.com 学習させたモデルでの分類結果を実際に試すときに Web上でもインタラクティブに出来ると便利そう、と思ってやってみた。 学習させたMobileNetV2のモデルを使ってTensorFlow.jsでの推論をWebWorker経由で行わせて結果表示、ていうのをようやく出来た… pic.twitter.com/L1xwjBSaXo— すぎゃーん💯 (@sugyan) October 7, 2018 学習済みモデルの変換 まずは学習済みのモデルをTensorFlow.js用に変換する必要がある。ここまではPythonの領域。 Importing a TensorFlow GraphDef based Models into TensorFlow.js 普通に tf.train.Saver を使っていると、checkpoint形式でパラメー
tensorflow+Geforce RTXシリーズでパフォーマンスを確認してみる - Qiita
という状況で、どちらもCUDA10は組み込まれていません（10/9現在）。 なければビルド...ということでビルドしてみましたが、どちらも一筋縄ではビルドできず。 そもそもWindowsビルドなんてそんな検証されてない（であろう）ため、解決策を探すのに難儀しましたが、こちらの神記事のお蔭で無事解決。 自分がWindowsビルドで嵌った以下4か所はすべてこの文書でカバーされてました。 VC2015 update3以上じゃないとだめ(VS2017 CommunityはOK) checkout version/configure.pyで成功する組み合わせ（v1.11+CUDA10.0+CuDNN7.3.1でOK） cuda/half.hでビルドエラーが出る問題(patchで対応） ビルドは通るんだけどパッケージができない問題(zipファイルが2GBを超えないよう手修正) なおビルド時のconfi
kerasでGrad-CAM 自分で作ったモデルで - Qiita
はじめに kerasでGrad-CAMを行ってみました。自分で作成したモデルで試しています。 モデルは、kaggleの dog vs cat のデータについてResnet50で転移学習をおこない 作成しました。 犬か猫かを判別するモデルについて、どこの影響が大きいのかをみてみます。 なお、画像サイズは200x200でモデルを作成したので、そのサイズにしています。 まずは関数の部分。 # coding:utf-8 import pandas as pd import numpy as np import cv2 from keras import backend as K from keras.preprocessing.image import array_to_img, img_to_array, load_img from keras.models import load_model
CoLabでAutoEncoder - Qiita
これまで、KerasでAutoEncoderとか、KerasでAutoEncoderその2とかの記事を書いてきたんだけれど、これをGoogle Colaboratoryで動かしてみようか、というココロミについて。 Google Colaboratoryで動かせば、GPUが使えるのが大きい。 目的 手書きの数字の「1」を学習する 手書きの「1以外の数字」が入力された際に、その画像が「1」とは何やら違う、ということを示す まずは、KerasでAutoEncoderその2で書いたネタを、tensorflowのKerasで動作するようにするのがゴール。 Colab上で実装する Colabでpip install -U Kerasしようかと思ったけれど、tf.kerasを使うことにする。 まずは、Colabの「ファイル」メニューで「Python3の新しいノートブック」を選択して、ノートブックを作成す
dockerで機械学習(10) with anaconda(10)「実践 Deep Learning ――PythonとTensorFlowで学ぶ次世代の機械学習アルゴリズム」Nikhil Buduma 著 - Qiita
以下のshell sessionでは (base) root@f19e2f06eabb:/#は入力促進記号(comman prompt)です。実際には数字の部分が違うかもしれません。この行の#の右側を入力してください。 それ以外の行は出力です。出力にエラー、違いがあれば、コメント欄などでご連絡くださると幸いです。 それぞれの章のフォルダに移動します。 dockerの中と、dockerを起動したOSのシェルとが表示が似ている場合には、どちらで捜査しているか間違えることがあります。dockerの入力促進記号(comman prompt)に気をつけてください。 ファイル共有または複写 dockerとdockerを起動したOSでは、ファイル共有をするか、ファイル複写するかして、生成したファイルをブラウザ等表示させてください。参考文献欄にやり方のURLを記載しています。 複写の場合は、dockerを
Python×Keras×GANチュートリアル 人工知能でファッション生成（2） - Qiita
コードの解説 （２）もお読み頂きありがとうございます。 それでは、さっそく、コードの解説に移らせていただきたいと思います。まずはganの仕組みをしっかり理解する必要があります。原論文をきちんと読んだ上で、実装に即した形で説明したいと思います。 GANの実装の仕組み 基本の構成要素 GANは、２つのニューラルネットワークでできています。 generaterとdescriminaterです。面倒なので、ｇ，ｄと呼びます。ｇは、ニセの画像を作り出すニューラルネットワークです。ｄは、ｇが作ったニセの画像と、本物の画像を識別するニューラルネットワークです。 なので、ｇが偽造者、ｄが判別者などと呼ばれたりもします。 ｇとｄをトレーニングしていくと、最終的には、本物っぽい画像を生み出すｇが得られることになります。このｇを使えば、以後、本物っぽい画像をいくらでも生成できることになります。 gとｄの実装理念
Kerasでの学習とEagerModeでの学習の比較 - Qiita
概要 TensorFlowに導入されているEager Modeについて、プログラムの書き方を理解するため、Kerasとの書き方の比較をしてみました。また、学習結果の差がどうなるかを検証しました。 環境 TensorFlow v1.10 Windows10 Eager Modeの起動 まずは、TensorFlowをEagerModeに切り替えます。KerasはEagerModeにしておいても動くようです。 import tensorflow as tf tf.enable_eager_execution() tfe = tf.contrib.eager print("TensorFlow version: {}".format(tf.VERSION)) # TensorFlowのバージョン確認 print("Eager execution: {}".format(tf.executing_e
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
keras.preprocessing.image使い方メモ - Qiita
BatchNormalizationはどこに入れればいいのか?(CNN編②）
補足: vision-basedモデルを構築する上で作成したモジュール - Qiita
TensorFlow関連のコマンドメモ - Qiita
