脳死で覚えるkeras入門 - Qiita
前書き 全てのプログラマーは写経から始まる。 by俺 この記事は機械学習入門用ではありません。良質な写経元を提供するためにあります。無駄のないコードと無駄のない説明を用意したつもりです。kerasコーディングを忘れかけた時に立ち返られる原点となれば幸いです。 実行環境 python (3.7.10) tensorflow (2.4.1) keras (2.4.3) 対象者 pythonを自分の環境で動かせる人 かつ keras初心者 ■ kerasとは python で書かれた高水準のニューラルネットワークライブラリ。 (keras公式) もっとわかりやすく言うと... ディープラーニングを自力で全部作るのは大変。 でも、kerasを使うと簡単だよ！ ■ kerasコーディングの流れ データを用意する。 モデルを構築する。 モデルにデータを学習させる。 モデルを評価する。 ※モデルとは、デ
Entity Embeddings を使ってタイタニック号生存者を予測する深層学習モデルを作る - Qiita
Entity Embeddingsという深層学習の手法があります。深層学習がよく使われる画像分析や音声分析などのデータとは違う、カテゴリ変数や順序変数の特徴量を学習する時に使います。 Entity Embeddingsが広く知られるようになったきっかけは、KaggleのRossmann Store Salesコンペでした。１位と２位のチームがドメイン知識をフル活用したアプローチをしたのに対し、この手法を活用したチームはドメイン知識の無い中なんと３位に入賞しました。コンペの説明と、使われた手法については、３位のNeokami Incのインタビュー記事、使われたソースコード、コンペ後に発表した手法に関する論文などで学ぶことができます。 タイタニック号生存者予測コンペのサンプルデータに対し、このEntity Embeddingsを実装するにはどうすれば良いのでしょうか。 0. 環境構築 環境構築
アプリでまなぶNN：動かす人工知能ーテンソルフロープレイグラウンド - Qiita
直感的にニューラルネットワークの仕組みを理解してみましょう。 深層学習とかニューラルネットワークとか、人工知能という言葉が世間で飛び交っています。いったい、これらがどのようなものなのかを理解したいと思っている人は多いのではないでしょうか？でもプログラミングの知識もなければ、ITの知識もないという人には高いハードルのように感じられます。そのような人のために、テンソルフロープレイグラウンドというツール、アプリが用意されているのをご存知ですか。 ブラウザーを開いてつぎのURLを開いてみてください。 つぎのような画面が現れます。 これはニューラルネットワークを学ぶための学習ツールです。ニューラルネットワーク・シミュレーターとでも呼んだらいいのでしょうか？ この場合には、入力データは$X_1$と$X_2$が選ばれています。また出力はサークルが描かれています。青い点が円形に、赤い点がそれを取り巻く輪と
ubuntu18.04にCuda9.0を入れてtensorflow-gpuを使う - Qiita
#はじめに どうもubuntu18.04にCuda9.0を入れるのはまだ公式の対応はしていないらしい。 古いバージョンのものを使えばなんとか動かすことができたので、 その記録をする 細かいところは端折っているので、他の方が書かれている記事のおまけに読んでいただければ #公式から以下のファイルをダウンロードする ・cuda-repo-ubuntu1704-9-0-local_9.0.176-1_amd64.deb ・libcudnn7_7.2.1.38-1+cuda9.0_amd64.deb ・libcudnn7-dev_7.2.1.38-1+cuda9.0_amd64.deb ・libcudnn7-doc_7.2.1.38-1+cuda9.0_amd64.deb ここで注意なのが、ダウンロードするリポジトリはローカルのものを使用する ネットのリポジトリを使うとバージョン指定ができず、 Cu
初めての機械学習〜Python, Tensorflowのインストールまで〜 - Qiita
この記事は、初めて機械学習に触れる初心者を対象に書かれています。 Anaconda Navigaterを使おう Anacondaを使用したPythonのインストール（3.6） https://www.anaconda.com/download/#macos Anaconda Nabvigaterで新しいユーザーの作成をしよう 仮想環境ごとにパッケージを管理することで、バージョン管理ができる Jupyter Notebookを使ってみよう。 Jupyter Notebookとは？ 仮想環境を提供してくれるやつ。ここでPythonの命令が打てます。 インストールするには 実行環境のJupyter Notebookのインストール 上記でインストールしたAnaconda Nabvigaterからインストールしてください。 TensorFlowのインストール Anaconda NavigatorのE
KerasでTensorFlowの関数を使ったカスタムレイヤーを作る - Qiita
Kerasでちょっと複雑な計算をしようとすると、Kerasのバックエンドで定義されている関数だけでは物足りなくなることがあります。そういうときは豊富なTensorFlowの関数を使ってみましょう。TensorFlowの関数を使ったKerasのカスタムレイヤーは意外と簡単にできたので紹介します。 Kerasのバックエンド関数は実はTensorFlow関数のラッパー Kerasはバックエンドにより処理系統が異なりますが、TensorFlowがバックエンドのときはTensorFlowの関数をそのまま返しています。TensorFlowがバックエンドのときのソースコードを覗いてみます。こちらにあります。 例えば絶対値を返すバックエンド関数K.abs()はこんな定義になっています。 def abs(x): """Element-wise absolute value. # Arguments x: T
クロダイとキビレの画像識別 - Qiita
釣りが趣味で、よく黒鯛（チヌ）、キビレ（キチヌ）を釣るのですが、この2魚は姿、形がとても似ています。そのため、素人ではなかなか見分けがつきません。僕は余裕ですが。 上が黒鯛で下がキビレ。ほぼ同じですね。 一番の見分けポイントは下ビレが黒いほうが黒鯛、黄色いほうがキビレです。 釣れたときに、あれ？これ黒鯛？キビレ？どっちだ？ってことがよくあると思います。 そして、キビレは黒鯛に対し味が落ちるため、釣れた時に持ち帰るかリリースするか即座に判断しないといけません。 そこで今回は、この２魚を識別することができるのか、pythonで検証しました。 将来的にはその場で写真を撮って画像をアプリに投げ、判定する。そんなことができたらいいですね。いや、いらないですね。 ソースコード、手順は以下記事を参考にさせていただきました。 ■ TensorFlowで画像認識「〇〇判別機」を作る https://qiit
機械学習+Unityで水遁・水龍弾！（誇張） - Qiita
キーワード Unity, Perception Neuron, モーションキャプチャ, 機械学習, ニューラルネット, Tensorflow モチベーション Unity+Tensorflowといふものを、してみむとてするなり。 結果 Youtubeが開きます。 概要 何番煎じか分かりませんが、Unity+Tensorflowネタがやりたかったのです。 文字認識などはありきたりなので、お題はNARUTOより、十二支の印の判別としました。 具体的な個々の指の形に関しては、Googleの画像検索などでよろしくお願いします。 NARUTO + 印 臨兵闘......と続くものも検索に引っ掛かりますが、子、丑、と続く方です。 学習については画像判定ではなく、モーションキャプチャを用いて取得した値を用います。これは、最終的な利用シーンとしてカメラに正対する想定をしないためです。 印の画像を見比べるに、
EdwardとEdward2, TensorFlow Probabilityの相違点 - Qiita
Edward2,TFP import tensorflow_probability as tfp from tensorflow_probability import edward2 as ed bag_of_words = np.random.poisson(5., size=[256, 32000]) # training data as matrix of counts data_size, feature_size = bag_of_words.shape # number of documents x words (vocabulary) units = [100, 30, 15] # number of stochastic units per layer shape = 0.1 # Gamma shape parameter w2 = Gamma(0.1, 0.3, samp
KerasのImageDataGeneratorにおけるbrightness_rangeの挙動 - Qiita
自分の備忘録/メモも兼ねて。 画像認識系のDeep Learningする際に、訓練データ（画像）を回転させたり左右反転したり、とデータの水増し（data augumentation）することってよくあると思います。Kerasでは、ImageDataGeneratorクラスを使って簡単に水増しできちゃうわけですが、その際のオプション「brightness_range」の挙動について。 Kerasのbrigtness_rangeとは brightness_rangeは、画像データの水増しの際に、明るさをランダムに変更するオプションです。こんな感じでImageDataGeneratorのコンストラクタに、brightness_rangeのオプションとして、明るさ変更の強度の範囲をタプルかリストで渡すだけです。あとはflowとかflow_from_directoryとかに上記を渡してあげると、ラン
Kerasからパラメータ抽出についてのメモ - Qiita
WeightとBiasを見るために Kerasでモデルをsaveしたときにハマったので、一応の自分用のメモ もし抽出で悩んだ人がいれば幸い 例として以下のMNISTの３層MLP(下はFunctional API) # coding utf-8 from __future__ import function import keras from keras.datasets import mnist from keras.models import Model from keras.layers import Dense, Dropout, Input from keras.optimizers import RMSprop (x_train, y_train), (x_test, y_test) = mnist.load_data() x_train = x_train.reshape(60
[Docker]TensorFlowをJupyter Notebook上で使用できる環境を10分で構築[Mac] - Qiita
概要 MacでJupyter Notebook上でTensorFlowを使用できるDocker環境を構築する。 開発環境 [マシン] macOS High Sierra バージョン10.13.6 MacBook Pro (15-inch, 2018) CPU:2.2 GHz Intel Core i7 メモリ:16 GB 2400 MHz DDR4 [ツール] Docker version 18.06.1-ce, build e68fc7a Jupyter Notebook 4.4.0 Jupyter Notebook上でTensorFlowを使用して開発できるDocker環境を構築 Dockerイメージをプル（Python3の最新安定板を使用する場合） その他のイメージを使用する場合はこちら：https://www.tensorflow.org/install/docker?hl=ja
![[Docker]TensorFlowをJupyter Notebook上で使用できる環境を10分で構築[Mac] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/09c5031b9214e47a4f0427d0c79c44af44dbe233/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCRG9ja2VyJTVEVGVuc29yRmxvdyVFMyU4MiU5Mkp1cHl0ZXIlMjBOb3RlYm9vayVFNCVCOCU4QSVFMyU4MSVBNyVFNCVCRCVCRiVFNyU5NCVBOCVFMyU4MSVBNyVFMyU4MSU4RCVFMyU4MiU4QiVFNyU5MiVCMCVFNSVBMiU4MyVFMyU4MiU5MjEwJUU1JTg4JTg2JUUzJTgxJUE3JUU2JUE3JThCJUU3JUFGJTg5JTVCTWFjJTVEJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1lMDQyYjhhOWY4MjNjNGNlZGFjMDNiNjdkOTM1MjJlMA%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQweV9rYW5pJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz05YjEyMjQ1YWEyZGUxZjNkYzk0NzA5MzJjZTM1N2E5Nw%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Dc3cfc60b17ce693aa624c6c66418a363)
TensorflowでGradientの値を計算グラフ外から読み込み - Qiita
\vec{h_1} = \tanh\left(W_1\vec{x} + \vec{b_1}\right) \\ \vec{h_2} = \tanh\left(W_2\vec{h_1} + \vec{b_2}\right) \\ y = \vec{W_3}\cdot\vec{h_2} \\ という計算を考えます。各変数は $N\times N$行列のパラメータ：$W_1$, $W_2$ $N$次元ベクトルのパラメータ：$\vec{W_3}$, $\vec{b_1}$, $\vec{b_2}$ $N$次元ベクトルの入力・隠れ層：$\vec{x}$, $\vec{h_1}$, $\vec{h_2}$ スカラー値の出力：$y$ という形をしています。 まずは変数を宣言していきます。 ndim = 3 W1 = tf.Variable(np.random.rand(ndim*ndim).reshap
Kerasでメモリに乗りきらない量のデータを扱うための、fit_generator関数を試してみる - Qiita
画像関係のKaggleコンテストで、Kerasを使いつつコードを書いていたところ、前処理などで工夫しても厳しそうなレベルでメモリ不足に悩まされました。（しかし、一方で精度を上げるためになるべく多くのデータを使いたい） 他の人はどうやっているんだろう？と他人のカーネルを見ていたところ、KerasのSequentialクラスにfit_generator関数という、バッチ単位でデータを扱ってくれる（＝瞬間的なメモリが少なくて済む）関数を使っているようでした。 過去に読んだ書籍だと、この関数は使っていなかったので、触りながら色々調べてみます。 簡単な例で試してみる。 MNISTで試してみます。モデルのコード自体は、以前書いたGoogle colaboratoryを試してみる（Keras ＆ MNIST）のものをほぼそのまま使います。 X.shapeが(60000, 1, 28, 28)、y.sha
Proxy下でTensorFlowのMNIST - Qiita
#%% from tensorflow.examples.tutorials.mnist import input_data mnist = input_data.read_data_sets("MNIST_data/", one_hot=True) URLError: <urlopen error [WinError 10060] 接続済みの呼び出し先が一定の時間を過ぎても正しく応答しなかったため、接続できませんでした。または接続済みのホストが応答しなかったため、確立された接続は失敗しました。> #%% from tensorflow.examples.tutorials.mnist import input_data import urllib.request proxy = urllib.request.ProxyHandler({'https': 'https://path:por
dockerで機械学習(36) with anaconda(36)「Learning TensorFlow」 By Itay Lieder, Yehezkel Resheff, Tom Hope - Qiita
dockerで機械学習(36) with anaconda(36)「Learning TensorFlow」 By Itay Lieder, Yehezkel Resheff, Tom Hope機械学習DockerAnacondaTensorFlow小川メソッド 1.すぐに利用したい方へ(as soon as) 「Learning TensorFlow」 By Itay Lieder, Yehezkel Resheff, Tom Hope http://shop.oreilly.com/product/0636920063698.do docker dockerを導入し、Windows, Macではdockerを起動しておいてください。 Windowsでは、BiosでIntel Virtualizationをenableにしないとdockerが起動しない場合があります。 また、セキュリティ
TensorFlow内部構造解析 (4.4) 計算グラフ最適化処理1 Grappler - Qiita
1. Layout Optimizer ソースコード：tensorflow/core/grappler/optimizers/layout_optimizer.cc TensorFlowがデフォルトで採用するデータフォーマットはNHWC形式ですが、GPUに最適なデータフォーマットはNCHW形式です。 このため、GPUで実行するノードについてはNCHW形式のデータフォーマットで実行するように計算グラフを変形することで、GPUで最適な演算が行えるようにします。 なお、計算グラフを変形するときに、必要に応じてNCHW→NHWCまたはNHWC→NCHWのデータフォーマット変換を行うためのTransposeノードを挿入し、計算グラフ内でデータフォーマットの一貫性が取れていることを保証します。 2. Model Pruner ソースコード：tensorflow/core/grappler/optimi
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
プログラミング初心者がラズパイでカメラを作る 1 - Qiita
Deep Learningが視覚的にわかるサイト - Qiita
ツイートから学習した感情分析モデル - Qiita