Kerasからパラメータ抽出についてのメモ - Qiita
WeightとBiasを見るために Kerasでモデルをsaveしたときにハマったので、一応の自分用のメモ もし抽出で悩んだ人がいれば幸い 例として以下のMNISTの３層MLP(下はFunctional API) # coding utf-8 from __future__ import function import keras from keras.datasets import mnist from keras.models import Model from keras.layers import Dense, Dropout, Input from keras.optimizers import RMSprop (x_train, y_train), (x_test, y_test) = mnist.load_data() x_train = x_train.reshape(60
ONNX形式モデルをDocker/CPU上のTensorFlow Servingで予測する - Qiita
抄訳 ONNXはNCHW形式のデータを受け付ける 他方通常ビルド形式のTensorflowはNHWC形式のデータしか受け付けない 実際のサーバではGPUを使いたくない MKLを使用するとCPUでもHCHW形式の予測が可能になる tensorflow-serving公式のDockerfileはMKL形式でビルドしていない 公式Dockerfileを改造したら予測が動くようになった 詳細 Pytorchで訓練したモデルをONNX形式にexportしてtensorflow-servingで配信というフローがやりたかった。 公式のDocker Imageを普通にpullすると、config=nativeoptでビルドされたtensorflowを使用することになる為、MKLを導入するにはビルドの仕方を改造する必要がある。 公式のDockerfileからローカルでビルドを行う方法についてはこちらを参照
Kerasでメモリに乗りきらない量のデータを扱うための、fit_generator関数を試してみる - Qiita
画像関係のKaggleコンテストで、Kerasを使いつつコードを書いていたところ、前処理などで工夫しても厳しそうなレベルでメモリ不足に悩まされました。（しかし、一方で精度を上げるためになるべく多くのデータを使いたい） 他の人はどうやっているんだろう？と他人のカーネルを見ていたところ、KerasのSequentialクラスにfit_generator関数という、バッチ単位でデータを扱ってくれる（＝瞬間的なメモリが少なくて済む）関数を使っているようでした。 過去に読んだ書籍だと、この関数は使っていなかったので、触りながら色々調べてみます。 簡単な例で試してみる。 MNISTで試してみます。モデルのコード自体は、以前書いたGoogle colaboratoryを試してみる（Keras ＆ MNIST）のものをほぼそのまま使います。 X.shapeが(60000, 1, 28, 28)、y.sha
Kerasで実装するSeq2Seq −その4 Attention - Qiita
本稿では、KerasベースのSeq2Seq（Sequence to Sequence）モデルによるチャットボット作成にあたり、Attention機能をBidirectional多層LSTM(Long short-term memory)アーキテクチャに追加実装してみます。 １． はじめに 本稿はSeq2SeqをKerasで構築し、チャットボットの作成を目指す投稿の4回目です。前回の投稿では、Bidirectional多層LSTMのSeq2Seqニューラルネットワークを構築しましたが、今回は、これにAttention機能を追加します。 また、これまでの結果では、生成された応答文の内容が今一つだったので、Early stoppingをやめてとことん訓練したら、どの程度ましになるか確認してみます。 ２． 本稿のゴール 以下のとおりです。 Attention付きニューラルネットワークの構築と、訓練
dockerで機械学習(36) with anaconda(36)「Learning TensorFlow」 By Itay Lieder, Yehezkel Resheff, Tom Hope - Qiita
1.すぐに利用したい方へ(as soon as) 「Learning TensorFlow」 By Itay Lieder, Yehezkel Resheff, Tom Hope http://shop.oreilly.com/product/0636920063698.do docker dockerを導入し、Windows, Macではdockerを起動しておいてください。 Windowsでは、BiosでIntel Virtualizationをenableにしないとdockerが起動しない場合があります。 また、セキュリティの警告などが出ることがあります。 docker run 以下のshell sessionでは (base) root@f19e2f06eabb:/#は入力促進記号(comman prompt)です。実際には数字の部分が違うかもしれません。この行の#の右側を入力して
TensorFlow内部構造解析 (4.4) 計算グラフ最適化処理1 Grappler - Qiita
1. Layout Optimizer ソースコード：tensorflow/core/grappler/optimizers/layout_optimizer.cc TensorFlowがデフォルトで採用するデータフォーマットはNHWC形式ですが、GPUに最適なデータフォーマットはNCHW形式です。 このため、GPUで実行するノードについてはNCHW形式のデータフォーマットで実行するように計算グラフを変形することで、GPUで最適な演算が行えるようにします。 なお、計算グラフを変形するときに、必要に応じてNCHW→NHWCまたはNHWC→NCHWのデータフォーマット変換を行うためのTransposeノードを挿入し、計算グラフ内でデータフォーマットの一貫性が取れていることを保証します。 2. Model Pruner ソースコード：tensorflow/core/grappler/optimi
jupyter notebook上でkeras+tensorflow-gpuで学習するとGPUメモリが開放されなくて困ってる - Qiita
環境 windows10 64bit cpu: Ryzen7 1700X gpu: GTX1080Ti CUDA9.0 cuDNN7.3.1 for cuda9.0 python3.6 tensorflow-gpu 1.11.0 keras 2.2.4 やったこと jupyter notebookで実行後にgc.collect() jupyter notebookで実行後にdel model 1つのclassにまとめてjupyter notebookで実行後インスタンスをdelする pyファイルにまとめてjupyter notebookから%runで呼ぶ terminalでpyファイルを実行 pycharmでpyファイルを実行 何故やったか GPU使った画像認識をjupyter notebookでやろうとしたんですが、2回目以降学習が止まってしまって困りました。nvidia-smiでメモリ
Ubuntu 18.04(Corei7-7700,GTX1050)へのCUDA、TensorFlowインストール方法 - Qiita
自作のPCにUbuntu18.04とTensorFlowをインストールした内容を紹介します。 ■PCの構成とセットアップ 構成は以下の通りです。 MB：Asrock Fatal1ty Z270 Gaming-ITX/ac グラフィック出力：HDMI,DisplayPort(２台の4Kのモニターに対応） Tunderbolt 3 ( (USB Type-C)、Ultra M.2(PCIe Gen3 x 4) CPU：Intel Corei7-7700、メモリ：DDR4 8GBx2 SSD：M.2 2280 512GB HDD：STA3 2TB VGA: GTX1050Ti 4GB(CUDA用GPU） BIOS更新・設定 モニターはMB（マザーボード）のグラフィック出力に接続します。 PC起動後、表示がなければGPUのVGAカードの端子にディスプレイを接続しBios設定画面で、Priority
Stop Installing Tensorflow using pip for performance sake!
Stop installing Tensorflow using pip! Use conda instead. If you don’t know what conda is, it’s an open source package and environment management system that runs cross-platform. So it works on Mac, Windows, and Linux. If you aren’t already using conda, I recommend that you start as it makes managing your data science tools much more enjoyable. Here are two pretty big reasons why you should install
dockerで機械学習(31) with anaconda(31)「Fundamentals of Deep Learning」 By Nikhil Buduma - Qiita
以下のshell sessionでは (base) root@f19e2f06eabb:/#は入力促進記号(comman prompt)です。実際には数字の部分が違うかもしれません。この行の#の右側を入力してください。 それ以外の行は出力です。出力にエラー、違いがあれば、コメント欄などでご連絡くださると幸いです。 それぞれの章のフォルダに移動します。 dockerの中と、dockerを起動したOSのシェルとが表示が似ている場合には、どちらで捜査しているか間違えることがあります。dockerの入力促進記号(comman prompt)に気をつけてください。 ファイル共有または複写 dockerとdockerを起動したOSでは、ファイル共有をするか、ファイル複写するかして、生成したファイルをブラウザ等表示させてください。参考文献欄にやり方のURLを記載しています。 複写の場合は、dockerを
dockerで機械学習(32) with anaconda(32)「Hands-On Deep Learning with TensorFlow 」By Dan Van Boxel - Qiita
以下のshell sessionでは (base) root@f19e2f06eabb:/#は入力促進記号(comman prompt)です。実際には数字の部分が違うかもしれません。この行の#の右側を入力してください。 それ以外の行は出力です。出力にエラー、違いがあれば、コメント欄などでご連絡くださると幸いです。 それぞれの章のフォルダに移動します。 dockerの中と、dockerを起動したOSのシェルとが表示が似ている場合には、どちらで捜査しているか間違えることがあります。dockerの入力促進記号(comman prompt)に気をつけてください。 ファイル共有または複写 dockerとdockerを起動したOSでは、ファイル共有をするか、ファイル複写するかして、生成したファイルをブラウザ等表示させてください。参考文献欄にやり方のURLを記載しています。 複写の場合は、dockerを
KerasでF1スコアをmetircsに入れる際は要注意 - Qiita
KerasでF1スコアをモデルのmetrics（評価関数）に入れて訓練させてたら、えらい低い値が出てきました。「なんかおかしいな」と思ってよく検証してみたら、とんでもない穴があったので書いておきます。 環境：Keras v2.2.4 要点 KerasのmetricsにF1スコアを入れることはできるが、調和平均で出てくる値をバッチ間の算術平均で計算しているので正確な値ではない 正確な値を計算したかったらmetricsではなく、コールバックでエポックの最後に一括で求めるべき F1スコアとは Precision-recallのトレードオフの最適解を求めるための尺度。特に精度が意味をなさなくなる歪んだデータに対して有効。F1スコアについて知っている方は飛ばしていいです。 歪んだデータとは 2クラス分類を考えるとしましょう。設定は猫と犬の分類、メールがスパムかスパムではないか、なんでもいいです。2ク
Google Colaboratoryで初めての機械学習 - Qiita
はじめに ディープラーニングというワードは聞いたことがあるけどどこから手を出したら良いかわからないという人向け。 PythonとかCNNとかKerasとかさわったことない初心者が画像分類やるぞという記事です。 SIGNATE Data Science Competitionに参加して初めてディープラーニングを触ってみたところとっつきやすかったので知見を残したいというのが本記事投稿のきっかけです。 Google Colaboratoryとは Google Colaboratory(以下、Colab)は、クラウドで実行されるJupyterノートブック環境である。 機械学習などの基本的な環境構築は設定済みで、Tesla系のK80 GPUを無料で最大12時間まで使えるという神環境。 機械学習初心者からそれなりの規模までの学習の実行を行うのに適している。 今回やること Colabを初めて使うときの設
dockerで機械学習(30) with anaconda(30)「Advanced Deep Learning with Keras」 By Philippe Remy - Qiita
1.すぐに利用したい方へ(as soon as) 「Advanced Deep Learning with Keras」 By Philippe Remy http://shop.oreilly.com/product/0636920154891.do docker dockerを導入し、Windows, Macではdockerを起動しておいてください。 Windowsでは、BiosでIntel Virtualizationをenableにしないとdockerが起動しない場合があります。 また、セキュリティの警告などが出ることがあります。 docker pull and run 以下のshell sessionでは (base) root@f19e2f06eabb:/#は入力促進記号(comman prompt)です。実際には数字の部分が違うかもしれません。この行の#の右側を入力してくださ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[Docker]TensorFlowをJupyter Notebook上で使用できる環境を10分で構築[Mac] - Qiita![[Docker]TensorFlowをJupyter Notebook上で使用できる環境を10分で構築[Mac] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/01f5d33522100d9df15bfb749a0889d4ac26fe5f/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMjA1MzQ3JTJGcHJvZmlsZS1pbWFnZXMlMkYxNTM3ODM2NTg3P2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZmbT1wbmczMiZzPWZkNTkyNjk3MGZjODJhZWM2OGMxNWE3YmEyODNkNTUz%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253Db0e377c54996304a7808b3eefb5417f7%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCRG9ja2VyJTVEVGVuc29yRmxvdyVFMyU4MiU5Mkp1cHl0ZXIlMjBOb3RlYm9vayVFNCVCOCU4QSVFMyU4MSVBNyVFNCVCRCVCRiVFNyU5NCVBOCVFMyU4MSVBNyVFMyU4MSU4RCVFMyU4MiU4QiVFNyU5MiVCMCVFNSVBMiU4MyVFMyU4MiU5MjEwJUU1JTg4JTg2JUUzJTgxJUE3JUU2JUE3JThCJUU3JUFGJTg5JTVCTWFjJTVEJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9MGZlYTg2ZDBlMWI1MDY3MzUyNGU1ZWNlYzkyODgzNTA%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDB5X2thbmkmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtcGFkPTAmcz0wNDllMzhkYTQ0MzgyZjNlOWM3MzE3ODg2NDNkYTcyYw%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3Dc5640e8ee8313464a3fa7fc11e283700)
TensorflowでGradientの値を計算グラフ外から読み込み - Qiita
Proxy下でTensorFlowのMNIST - Qiita
AnacondaによるKeras-TensorFlowインストール(Win10, CPU版) - Qiita
tesorflowでGPU id指定 - Qiita
Windowsで強化学習フレームワークGoogle_Dopamineを使う - Qiita
