DeepMindのLibraryの graph_nets を使ってとにかく「５」と出力するGraphNetを作る
はじめに GraphNets というライブラリが DeepMind からリリースされています。 このライブラリは この論文 の実装として公開されたもので、 端的に言うと 「ノード、エッジ、Globalに任意の属性(≒任意のtensor)を持ったグラフを入力にし、 構造は同じだが属性が更新されたグラフ を出力する」 というネットワークブロックを提供するものです。 何が面白そうかというと、グラフという知識表現として非常に表現力の高いデータ構造を扱うことができるということです。 以前から、グラフ畳み込みニューラルネットワークというものが(やや)注目されていましたが、それの汎用的なデータフォーマットを定めて、扱いやすくしてくれたような位置づけだと思います。 とはいうものの、現状ほとんどドキュメントも無く、デモのソースコードを見ても中々使い方がわかりません。 試行錯誤の末、なんとか GraphNet
dockerで機械学習(18) with anaconda(18)「Deep Learning with Keras」 Antonio Gulli, Sujit Pal著 - Qiita
以下のshell sessionでは (base) root@f19e2f06eabb:/#は入力促進記号(comman prompt)です。実際には数字の部分が違うかもしれません。この行の#の右側を入力してください。 それ以外の行は出力です。出力にエラー、違いがあれば、コメント欄などでご連絡くださると幸いです。 それぞれの章のフォルダに移動します。 dockerの中と、dockerを起動したOSのシェルとが表示が似ている場合には、どちらで捜査しているか間違えることがあります。dockerの入力促進記号(comman prompt)に気をつけてください。 ファイル共有または複写 dockerとdockerを起動したOSでは、ファイル共有をするか、ファイル複写するかして、生成したファイルをブラウザ等表示させてください。参考文献欄にやり方のURLを記載しています。 複写の場合は、dockerを
TensorFlowを使って猫の種類の判別機を作る - Qiita
TensorFlowを使って猫の種類の判別機を作る TensorFlowを使って猫の種類の判別機を作ります。TensorFlowをインストールしている前提で話します。 pythonのバージョンはpython3です。 まずは、TensorFlowのフォルダをGithubから落としてきてください 画像を集める google_images_downloadをインストール pip install google_images_download 画像をダウンロードする googleimagesdownload -k 猫の種類で画像を集めに行きます。 アメショーかわいいですね。 学習 集めた猫の画像を学習させます。 その際、学習データのフォルダを英語に変更しておいてください。 そして、そのフォルダをgakusyu_data（作ってください）という名前のフォルダに入れて、落としたTensorFlowのフォ
Tensorflow Lite (TensorflowLite) / Tensorflow+RaspberryPi+Python で超軽量 "Semantic Segmentation" モデル "UNet" "ENet" を実装する_軽量モデル_その２ - Qiita
Tensorflow Lite (TensorflowLite) / Tensorflow+RaspberryPi+Python で超軽量 "Semantic Segmentation" モデル "UNet" "ENet" を実装する_軽量モデル_その２PythonRaspberryPiDeepLearningTensorFlowSemanticSegmentation TensorflowLite-UNet Tensorflow-bin TensorflowLite-bin I wrote in English article, here (TensorflowLite-UNet) 【!注意!】 この記事を先頭から末尾までクソ真面目にトレースすると、「ただひたすら待つ」 という苦行に耐えるために カップラーメン６００個 を手配する必要がある。 精神 と 財力 に余裕がある方、あるいは 悟
google colaboratoryで転移学習を使ってみました - Qiita
import google.colab import googleapiclient.discovery import googleapiclient.http google.colab.auth.authenticate_user() drive_service = googleapiclient.discovery.build('drive', 'v3') upload_filename = 'all.zip' file_list = drive_service.files().list(q="name='" + upload_filename + "'").execute().get('files') # ファイル ID を取得します。 file_id = None for file in file_list: if file.get('name') == upload_filena
Kerasで実装するSeq2Seq −その3 多層LSTMとBidirectional - Qiita
本稿では、KerasベースのSeq2Seq（Sequence to Sequence）モデルによるチャットボットを、Bidirectionalの多層LSTM(Long short-term memory)アーキテクチャで作成し、Google Colaboratory上で動かしてみます。 １． はじめに 本稿はSeq2SeqをKerasで構築し、チャットボットの作成を目指す投稿の3回目です。前回の投稿では、単層LSTMのSeq2Seqニューラルネットワークを構築しましたが、今回は、これをBidirectionalの多層LSTMに拡張します。 ２． 本稿のゴール 以下のとおりです。 ニューラルネットワーク（Bidirectional多層LSTM）の構築と、訓練 応答文生成 なお、本稿の前提となる動作環境は、冒頭でも触れたとおり、Google Colaboratoryです。 ただし、Google
dockerで機械学習(73) with R (3)「RとKerasによるディープラーニング」François Chollet、J. J. Allaire著 統計(46) - Qiita
1.すぐに利用したい方へ(as soon as) 「RとKerasによるディープラーニング」François Chollet、J. J. Allaire 著 https://www.oreilly.co.jp/books/9784873118574/ <この項は書きかけです。順次追記します。> docker dockerを導入し、Windows, Macではdockerを起動しておいてください。 Windowsでは、BiosでIntel Virtualizationをenableにしないとdockerが起動しない場合があります。 また、セキュリティの警告などが出ることがあります。 docker pull and run 以下のshell sessionでは (base) root@473fc1bb505d:/#は入力促進記号(comman prompt)です。実際には数字の部分が違うかもし
iMacにGPU版tensorflowをインストール。を挫折するまで。 - Qiita
環境 iMac, Late 2012 macOS High Sierra 10.13.4 CPU: 2.7GHz intel Core i5 GPU: NVIDIA GeForce GT 640M 512MB GPU Driver Version: 355.11.10.10.30.120 卒論でDeep Learningを扱うため、研究室のNVIDIA製GPUを積んでいるマシンでGPU版tensorflowを使えるようにセットアップしようと試みました。 まぁ、今さっきメキメキっと音を立てて心が折れたところなんですけど。。。 結論(推論)からいいますと、おそらく今回のGPUドライバのバージョンに対応するバージョンのCUDAドライバをNVIDIAが提供していないのではないかと思われます。正しくセットアップできる方法をご存知の方！お願いします！教えてください！ CUDA ドライバ＋ツールキットを
CNNの学習結果を可視化する - Qiita
※△１ 2019.02.01 動かない環境があった為修正 ※△２ 2019.02.03 文章を各所修正 CNNの任意の特長マップを使用して可視化をするスクリプトです 下記にある通りGrad-CAMで表示がおかしくなる学習結果に対しても そこそこ良好な可視化結果を得られています。 ただし問題がありまして、識別率が低い画像を可視化すると 判別に使用していない特長フィルターも可視化されてしまうので 関係ないところまで反応してしまうという問題があります この辺はGrad-CAMの手法で解決できるので 両方を使い分けるのがいいと思います 確認環境 python3.6.6 , 3.6.7 , 3.6.8 Tensorflow:1.10.0 Keras：2.2.2 , 2.2.4 やり始めたきっかけ Grad-CAMを使って作成したモデルの評価を行っていました いつものデータセットを使いVGG16のファ
【dqn】初恋はあきらめろ？？ - Qiita
前回取り上げた秘書問題を再度取り上げようと思います。 秘書問題の大きな課題として以下二つの問題があります １．応募者１００人を超えてどこまで学習できるのか ２．理論はnが大きいとして$e/n$を導いているが、$n$が小さいときはどうなるの？？ 恋するウワンとしては、２の課題の方が切実なので今回はこれを取り上げてみたいと思います。 ２．理論はnが大きいとしてe/nを導いているが、nが小さいときはどうなるの？？ まず、採用成功率の推移を見てみましょう。 n=50 Episode 1: reward: 0.000, steps: 27 採用成功率(1000回)：0.394 n=20 Episode 1: reward: 0.000, steps: 20 採用成功率(1000回)：0.396 n=10 Episode 1: reward: 0.000, steps: 6 採用成功率(1000回)：
KerasのImageDataGeneratorのメモリ消費を約1/4にする方法 - Qiita
STL-10のunlabeledの画像10万枚（96x96）をImageDataGeneratorで回してたらメモリ12GB近く使ってパンクしそうになったので対処法を考えました。 環境：Keras=v2.2.4、TensorFlow=v1.8.0、CPU環境 結論だけ見たい方は「解決法」のとこまで飛んでください。 ImageDataGenerator.flow()は入力データを全部float32にキャストしてる？ STL-10はtrain（5000枚）, test（8000枚）, unlabeled（10万枚）の3種類のデータからなり、それぞれ1つずつの大きなバイナリファイルに固められています。Pythonの実装は詳しくはこちらにあります。 STL-10の実装は本質的なことではないのですが、このバイナリの画像データがuint8のNumpy配列で定義されているのがポイントなのです。uint8
昔作ったCNNの簡単な(2層)モデルが出てきたので、貼っておく - Qiita
from keras.models import Sequential from keras.layers import Activation, Dense, Dropout from keras.utils.np_utils import to_categorical from keras.optimizers import Adagrad from keras.optimizers import Adam import numpy as np from PIL import Image import os # 学習用のデータを作る. image_list = [] label_list = [] for dir in os.listdir("data/dog/ForFinalTrain/"): dir1 = "data/dog/ForFinalTrain/" + dir label =
【dqn】dqnで遊んでみた♬ - Qiita
時代はDQNということで、久しぶりに遊んでみた。というか、ここからひと月毎日DQNで遊んでみようと思う。 その心機一転、Exampleから一つずつ遊び倒す。 まずは、インストールだが、以前の環境で動かそうとしたら、怒られた。 >python ddpg_pendulum.py Using TensorFlow backend. Traceback (most recent call last): File "ddpg_pendulum.py", line 8, in <module> from rl.agents import DDPGAgent ImportError: No module named 'rl' >pip install keras-rl Collecting keras-rl Requirement already satisfied: keras>=2.0.7 in c
BatchNormalizationはどこに入れればいいのか?(CNN編①） - Qiita
BatchNormalization（以下BN）を入れると 過学習が起きにくくなるという事は経験的にわかっていましたが どこに入れればいいのか不明なので、簡単なCNNのモデルを作成し確認してみました BNの細かい説明はお魚の本P.186～を参照 データセットによって動きが変わることは十分考えられますので、参考程度にお願いします ただ、思ったよりも動きが変わって面白かったです ※△１ 2018.10.7追記 上記の予想通り、データセットをcifer10に変更したところ BNを入れた方がlossが大きくなる結果となりました 検証はこちらに掲載します 簡単にまとめると データ数が十分に多く、モデルのパラメータが少ない 過学習が起きづらいモデルに対してBNを導入すると lossが大きくなるようです 確認環境 python3.6.6 Tensorflow:1.10.0 Keras：2.2.2 学習デ
MacOS Mojave & Python3.7 でTensorflow環境構築しようとして詰まった話 - Qiita
前提 MacOS 10.14 Mojave python 3.7.0 基本的には「Python3 TensorFlow for Mac 環境構築」の記事（python 3.6.0）のやり方を参考にpython3.7で構築しようとしてつまずいて調べたことをまとめておきます。 先に結論 記事を書いておいてアレなんですが、現時点（2018/10/13）で**python 3.7に正式に対応できているTensorflowのpipパッケージはまだ追いついてないようです。。**一応強引な回避策もあるにはあるようなのでそちらも書いておきます。 MacOS 10.14 Mojave MacOS 10.13 High Sierra をお使いの方は「1. pyenv install でエラー」の項のみ参考にしてください。 普通に構築されたい方は素直にpythonを3.6にダウングレードして、対応するpipのt
KerasのConv2Dの行列式演算 - Qiita
KerasでいうところのConv2Dがどのような演算をやっているかどういう風に理解してますか。 よくモデルの図解では直方体のデータ変形の例で示されますよね。 じゃあこれがどんな演算かっていうと初心者向け解説だと、畳み込みや特徴量抽出の説明をしてそれで終わってしまうことがままあります。 そうすると自分は、いや、畳み込みわかるけどConv2Dのパラメータ数とかどうなってるのか分らないよ、と思うわけです。 ということでConv2Dの自分なりの行列計算の理解をまとめたいと思います。もしかしたら詳しい参考書とかには書かれてるのかもしれませんが自分の読んだ本には行列計算は載っていませんでしたので……。 畳み込みや行列自体については解説しませんので畳み込みの原理は理解されたうえでお読みください。 もしも書いてる内容が間違っている場合は指摘していただけると幸いです。 inputs = Input(shap
windows10にPython3.6とtensorflowをインストールする方法 - Qiita
Python3.6のインストール ※ 2018/10現在、tensorflowを動かすにはPython3.7ではダメらしい。 下記URLよりPython本体をダウンロードする。 https://www.python.org/downloads/windows/ ・ Python 3.6.7rc1 - 2018-09-26 「Windows x86-64 executable installer」あたりが妥当。 ダウンロードしたインストーラに従い、Pythonをインストールする。 Pythonのインストール確認 $> C:\WINDOWS\system32>python --version $> Python 3.6.7rc1 ※ うまくいかない場合、環境変数のパスが通っていないと考えられるため システム環境変数のPathにインストールしたPyrthonフォルダ 例：[「C:~~\Pytho
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[メモ]TensorFlowのアップデートとバージョン確認 - Qiita
画像等の配列を扱うときの操作方法 - Qiita
Tensorflow ObjectDetection APIでミレミアム・ファルコン検出 - Qiita
