dockerで機械学習(73) with R (3)「RとKerasによるディープラーニング」François Chollet、J. J. Allaire著 統計(46) - Qiita
1.すぐに利用したい方へ(as soon as) 「RとKerasによるディープラーニング」François Chollet、J. J. Allaire 著 https://www.oreilly.co.jp/books/9784873118574/ <この項は書きかけです。順次追記します。> docker dockerを導入し、Windows, Macではdockerを起動しておいてください。 Windowsでは、BiosでIntel Virtualizationをenableにしないとdockerが起動しない場合があります。 また、セキュリティの警告などが出ることがあります。 docker pull and run 以下のshell sessionでは (base) root@473fc1bb505d:/#は入力促進記号(comman prompt)です。実際には数字の部分が違うかもし
iMacにGPU版tensorflowをインストール。を挫折するまで。 - Qiita
環境 iMac, Late 2012 macOS High Sierra 10.13.4 CPU: 2.7GHz intel Core i5 GPU: NVIDIA GeForce GT 640M 512MB GPU Driver Version: 355.11.10.10.30.120 卒論でDeep Learningを扱うため、研究室のNVIDIA製GPUを積んでいるマシンでGPU版tensorflowを使えるようにセットアップしようと試みました。 まぁ、今さっきメキメキっと音を立てて心が折れたところなんですけど。。。 結論(推論)からいいますと、おそらく今回のGPUドライバのバージョンに対応するバージョンのCUDAドライバをNVIDIAが提供していないのではないかと思われます。正しくセットアップできる方法をご存知の方！お願いします！教えてください！ CUDA ドライバ＋ツールキットを
Chainerを高速化するiDeepをインストールする - Qiita
はじめに Chainer 4からiDeepが正式にサポートされるようになりました。iDeepを使うことでCPUによる学習・推論が高速になります。もちろん、iDeepはXeon系のCPUを主なターゲットとしていますが、経験上ノートPCレベルでも多少の速度向上があります。 iDeepの活用方法について説明したウェブサイトはいくつかあるのですが、導入をMKLのインストールから通しで説明しているサイトがなかったので、備忘録のためにiDeepの導入方法を記載します。 なお、本説明はUbuntu 16.04、Chainer 5.0.0rc1を対象にしています。iDeepやChainerのAPIは今後どんどんかわってゆくと思われるので、適宜ソースのサイトを参照してください。 手順 Pythonの導入 適当な方法でPythonが使える環境を作ります。このとき、Pythonのshared objectを忘れ
CNNの学習結果を可視化する - Qiita
※△１ 2019.02.01 動かない環境があった為修正 ※△２ 2019.02.03 文章を各所修正 CNNの任意の特長マップを使用して可視化をするスクリプトです 下記にある通りGrad-CAMで表示がおかしくなる学習結果に対しても そこそこ良好な可視化結果を得られています。 ただし問題がありまして、識別率が低い画像を可視化すると 判別に使用していない特長フィルターも可視化されてしまうので 関係ないところまで反応してしまうという問題があります この辺はGrad-CAMの手法で解決できるので 両方を使い分けるのがいいと思います 確認環境 python3.6.6 , 3.6.7 , 3.6.8 Tensorflow:1.10.0 Keras：2.2.2 , 2.2.4 やり始めたきっかけ Grad-CAMを使って作成したモデルの評価を行っていました いつものデータセットを使いVGG16のファ
【dqn】初恋はあきらめろ？？ - Qiita
前回取り上げた秘書問題を再度取り上げようと思います。 秘書問題の大きな課題として以下二つの問題があります １．応募者１００人を超えてどこまで学習できるのか ２．理論はnが大きいとして$e/n$を導いているが、$n$が小さいときはどうなるの？？ 恋するウワンとしては、２の課題の方が切実なので今回はこれを取り上げてみたいと思います。 ２．理論はnが大きいとしてe/nを導いているが、nが小さいときはどうなるの？？ まず、採用成功率の推移を見てみましょう。 n=50 Episode 1: reward: 0.000, steps: 27 採用成功率(1000回)：0.394 n=20 Episode 1: reward: 0.000, steps: 20 採用成功率(1000回)：0.396 n=10 Episode 1: reward: 0.000, steps: 6 採用成功率(1000回)：
KerasのImageDataGeneratorのメモリ消費を約1/4にする方法 - Qiita
STL-10のunlabeledの画像10万枚（96x96）をImageDataGeneratorで回してたらメモリ12GB近く使ってパンクしそうになったので対処法を考えました。 環境：Keras=v2.2.4、TensorFlow=v1.8.0、CPU環境 結論だけ見たい方は「解決法」のとこまで飛んでください。 ImageDataGenerator.flow()は入力データを全部float32にキャストしてる？ STL-10はtrain（5000枚）, test（8000枚）, unlabeled（10万枚）の3種類のデータからなり、それぞれ1つずつの大きなバイナリファイルに固められています。Pythonの実装は詳しくはこちらにあります。 STL-10の実装は本質的なことではないのですが、このバイナリの画像データがuint8のNumpy配列で定義されているのがポイントなのです。uint8
brew install mecab-ipadicでsyntax error - Qiita
$ brew install mecab-ipadic Error: mecab-ipadic: /usr/local/Homebrew/Library/Taps/homebrew/homebrew-core/Formula/mecab-ipadic.rb:39: syntax error, unexpected << <<~EOS ^ /usr/local/Homebrew/Library/Taps/homebrew/homebrew-core/Formula/mecab-ipadic.rb:40: syntax error, unexpected tIDENTIFIER, expecting keyword_do or '{' or '(' ... enable mecab-ipadic dictionary, add to #{HOMEBREW_PREFIX}/e... ... ^
昔作ったCNNの簡単な(2層)モデルが出てきたので、貼っておく - Qiita
from keras.models import Sequential from keras.layers import Activation, Dense, Dropout from keras.utils.np_utils import to_categorical from keras.optimizers import Adagrad from keras.optimizers import Adam import numpy as np from PIL import Image import os # 学習用のデータを作る. image_list = [] label_list = [] for dir in os.listdir("data/dog/ForFinalTrain/"): dir1 = "data/dog/ForFinalTrain/" + dir label =
【dqn】dqnで遊んでみた♬ - Qiita
時代はDQNということで、久しぶりに遊んでみた。というか、ここからひと月毎日DQNで遊んでみようと思う。 その心機一転、Exampleから一つずつ遊び倒す。 まずは、インストールだが、以前の環境で動かそうとしたら、怒られた。 >python ddpg_pendulum.py Using TensorFlow backend. Traceback (most recent call last): File "ddpg_pendulum.py", line 8, in <module> from rl.agents import DDPGAgent ImportError: No module named 'rl' >pip install keras-rl Collecting keras-rl Requirement already satisfied: keras>=2.0.7 in c
BatchNormalizationはどこに入れればいいのか?(CNN編①） - Qiita
BatchNormalization（以下BN）を入れると 過学習が起きにくくなるという事は経験的にわかっていましたが どこに入れればいいのか不明なので、簡単なCNNのモデルを作成し確認してみました BNの細かい説明はお魚の本P.186～を参照 データセットによって動きが変わることは十分考えられますので、参考程度にお願いします ただ、思ったよりも動きが変わって面白かったです ※△１ 2018.10.7追記 上記の予想通り、データセットをcifer10に変更したところ BNを入れた方がlossが大きくなる結果となりました 検証はこちらに掲載します 簡単にまとめると データ数が十分に多く、モデルのパラメータが少ない 過学習が起きづらいモデルに対してBNを導入すると lossが大きくなるようです 確認環境 python3.6.6 Tensorflow:1.10.0 Keras：2.2.2 学習デ
MacOS Mojave & Python3.7 でTensorflow環境構築しようとして詰まった話 - Qiita
前提 MacOS 10.14 Mojave python 3.7.0 基本的には「Python3 TensorFlow for Mac 環境構築」の記事（python 3.6.0）のやり方を参考にpython3.7で構築しようとしてつまずいて調べたことをまとめておきます。 先に結論 記事を書いておいてアレなんですが、現時点（2018/10/13）で**python 3.7に正式に対応できているTensorflowのpipパッケージはまだ追いついてないようです。。**一応強引な回避策もあるにはあるようなのでそちらも書いておきます。 MacOS 10.14 Mojave MacOS 10.13 High Sierra をお使いの方は「1. pyenv install でエラー」の項のみ参考にしてください。 普通に構築されたい方は素直にpythonを3.6にダウングレードして、対応するpipのt
KerasのConv2Dの行列式演算 - Qiita
KerasでいうところのConv2Dがどのような演算をやっているかどういう風に理解してますか。 よくモデルの図解では直方体のデータ変形の例で示されますよね。 じゃあこれがどんな演算かっていうと初心者向け解説だと、畳み込みや特徴量抽出の説明をしてそれで終わってしまうことがままあります。 そうすると自分は、いや、畳み込みわかるけどConv2Dのパラメータ数とかどうなってるのか分らないよ、と思うわけです。 ということでConv2Dの自分なりの行列計算の理解をまとめたいと思います。もしかしたら詳しい参考書とかには書かれてるのかもしれませんが自分の読んだ本には行列計算は載っていませんでしたので……。 畳み込みや行列自体については解説しませんので畳み込みの原理は理解されたうえでお読みください。 もしも書いてる内容が間違っている場合は指摘していただけると幸いです。 inputs = Input(shap
windows10にPython3.6とtensorflowをインストールする方法 - Qiita
Python3.6のインストール ※ 2018/10現在、tensorflowを動かすにはPython3.7ではダメらしい。 下記URLよりPython本体をダウンロードする。 https://www.python.org/downloads/windows/ ・ Python 3.6.7rc1 - 2018-09-26 「Windows x86-64 executable installer」あたりが妥当。 ダウンロードしたインストーラに従い、Pythonをインストールする。 Pythonのインストール確認 $> C:\WINDOWS\system32>python --version $> Python 3.6.7rc1 ※ うまくいかない場合、環境変数のパスが通っていないと考えられるため システム環境変数のPathにインストールしたPyrthonフォルダ 例：[「C:~~\Pytho
TensorFlowSharp を VisualStudio2010 から使う - Qiita
はじめに 仕事の話がきっかけですが、顔写真に対する証明写真としての適正具合を画像分類で判定できるんじゃないか？ という個人的興味がわいたため、適当にWebで顔写真を集めて VGG16 をベースに転移学習した Keras のお試しモデルを作りました。0.0 ～ 1.0 の不適切度を出力し、しきい値 0.5 で 93% くらいの精度でした。 現場のサーバーが Windows Server なので、もしそこで動かすならということで「C#で学習済みVGG16モデルを使ってアプリを作る方法」を参考に VisualStudio2017 と TensorFlowSharp を使って動くことを確認しましたが、ついでに現場の開発用IDEである VisualStudio2010 でもビルドできるようにしてみました。 作ったもの github に TensorFlowSharpNet40 というレポジトリで公開
tensorflow+Geforce RTXシリーズでパフォーマンスを確認してみる（その２） - Qiita
--profile-child-processesと-oについてる%pに注意。 前者のオプションでjupyterからpythonまで芋づる式に拾ってくれるようになります。このオプションを指定した場合は出力ファイル名に%p(プロセス番号に置換)を含めないと駄目らしい。 2. Jupyter側で操作 Jupyter notebook側（ブラウザ）でtensorflow実行、終わったらDOS窓でCtrl+Cして終了させます。 最初は前記事のImages/Pix2Pixを解析しようとしたんですが、プロファイル結果が訳わからないことになったのでもう少し単純なものを。 Keras作者の本を写経したやつが残ってたので、これを使うことにしました。3.5章のやつです。 fp16/fp32の切り替えは例によってkeras.backend.set_floatx()で行っています。 # 題材はロイター記事の解析
tensorflow+Geforce RTXシリーズでパフォーマンスを確認してみる - Qiita
という状況で、どちらもCUDA10は組み込まれていません（10/9現在）。 なければビルド...ということでビルドしてみましたが、どちらも一筋縄ではビルドできず。 そもそもWindowsビルドなんてそんな検証されてない（であろう）ため、解決策を探すのに難儀しましたが、こちらの神記事のお蔭で無事解決。 自分がWindowsビルドで嵌った以下4か所はすべてこの文書でカバーされてました。 VC2015 update3以上じゃないとだめ(VS2017 CommunityはOK) checkout version/configure.pyで成功する組み合わせ（v1.11+CUDA10.0+CuDNN7.3.1でOK） cuda/half.hでビルドエラーが出る問題(patchで対応） ビルドは通るんだけどパッケージができない問題(zipファイルが2GBを超えないよう手修正) なおビルド時のconfi
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
画像等の配列を扱うときの操作方法 - Qiita
Tensorflow ObjectDetection APIでミレミアム・ファルコン検出 - Qiita
mecabの出力をpythonで整形 - Qiita
「この先生きのこる」を4つの自然言語処理エンジンに食わせてみる - Qiita
