初めての機械学習〜Python, Tensorflowのインストールまで〜 - Qiita
初めての機械学習 この記事は、初めて機械学習に触れる初心者を対象に書かれています。 Anaconda Navigaterを使おう Anacondaを使用したPythonのインストール（3.6） https://www.anaconda.com/download/#macos Anaconda Nabvigaterで新しいユーザーの作成をしよう 仮想環境ごとにパッケージを管理することで、バージョン管理ができる Jupyter Notebookを使ってみよう。 Jupyter Notebookとは？ 仮想環境を提供してくれるやつ。ここでPythonの命令が打てます。 インストールするには 実行環境のJupyter Notebookのインストール 上記でインストールしたAnaconda Nabvigaterからインストールしてください。 TensorFlowのインストール Anaconda Na
KerasでTensorFlowの関数を使ったカスタムレイヤーを作る - Qiita
Kerasでちょっと複雑な計算をしようとすると、Kerasのバックエンドで定義されている関数だけでは物足りなくなることがあります。そういうときは豊富なTensorFlowの関数を使ってみましょう。TensorFlowの関数を使ったKerasのカスタムレイヤーは意外と簡単にできたので紹介します。 Kerasのバックエンド関数は実はTensorFlow関数のラッパー Kerasはバックエンドにより処理系統が異なりますが、TensorFlowがバックエンドのときはTensorFlowの関数をそのまま返しています。TensorFlowがバックエンドのときのソースコードを覗いてみます。こちらにあります。 例えば絶対値を返すバックエンド関数K.abs()はこんな定義になっています。
クロダイとキビレの画像識別 - Qiita
釣りが趣味で、よく黒鯛（チヌ）、キビレ（キチヌ）を釣るのですが、この2魚は姿、形がとても似ています。そのため、素人ではなかなか見分けがつきません。僕は余裕ですが。 上が黒鯛で下がキビレ。ほぼ同じですね。 一番の見分けポイントは下ビレが黒いほうが黒鯛、黄色いほうがキビレです。 釣れたときに、あれ？これ黒鯛？キビレ？どっちだ？ってことがよくあると思います。 そして、キビレは黒鯛に対し味が落ちるため、釣れた時に持ち帰るかリリースするか即座に判断しないといけません。 そこで今回は、この２魚を識別することができるのか、pythonで検証しました。 将来的にはその場で写真を撮って画像をアプリに投げ、判定する。そんなことができたらいいですね。いや、いらないですね。 ソースコード、手順は以下記事を参考にさせていただきました。 ■ TensorFlowで画像認識「〇〇判別機」を作る https://qiit
機械学習+Unityで水遁・水龍弾！（誇張） - Qiita
キーワード Unity, Perception Neuron, モーションキャプチャ, 機械学習, ニューラルネット, Tensorflow モチベーション Unity+Tensorflowといふものを、してみむとてするなり。 結果 Youtubeが開きます。 概要 何番煎じか分かりませんが、Unity+Tensorflowネタがやりたかったのです。 文字認識などはありきたりなので、お題はNARUTOより、十二支の印の判別としました。 具体的な個々の指の形に関しては、Googleの画像検索などでよろしくお願いします。 NARUTO + 印 臨兵闘......と続くものも検索に引っ掛かりますが、子、丑、と続く方です。 学習については画像判定ではなく、モーションキャプチャを用いて取得した値を用います。これは、最終的な利用シーンとしてカメラに正対する想定をしないためです。 印の画像を見比べるに、
ディープラーニングによる異常検知手法ALOCCを実装した - Qiita
はじめに ディープラーニングを用いた異常検知手法であるALOCCをChainerで実装し，MNISTで実験しました。 全体のコードはGitHubのリポジトリにアップロードしました。 ALOCCについて ALOCCは画像データに対して異常検知を行うための手法です。 多くの場合，異常データは正常データに比べて極めて少ないか，全く無いです。 そこで，ALOCCでは正常データのみを利用して学習し，その分布から外れたデータを検出します。 学習 ALOCCのモデルは以下のようなオートエンコーダとGANを組み合わせたような構造をしています。 オートエンコーダ部分はGANのGeneratorに相当し，Reconstructor (${\cal R}$) と呼ばれます。 学習時には正常画像にノイズを加えたデータを入力し，元通りに復元することを学習します。 Discriminator (${\cal D}$)
KerasのImageDataGeneratorにおけるbrightness_rangeの挙動 - Qiita
自分の備忘録/メモも兼ねて。 画像認識系のDeep Learningする際に、訓練データ（画像）を回転させたり左右反転したり、とデータの水増し（data augumentation）することってよくあると思います。Kerasでは、ImageDataGeneratorクラスを使って簡単に水増しできちゃうわけですが、その際のオプション「brightness_range」の挙動について。 Kerasのbrigtness_rangeとは brightness_rangeは、画像データの水増しの際に、明るさをランダムに変更するオプションです。こんな感じでImageDataGeneratorのコンストラクタに、brightness_rangeのオプションとして、明るさ変更の強度の範囲をタプルかリストで渡すだけです。あとはflowとかflow_from_directoryとかに上記を渡してあげると、ラン
Deep Learning を使って衛星画像から建物を検出する - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? SpaceNetと呼ばれるデータセットを用いて、衛星画像から建物を検出する畳み込みニューラルネットワークを学習した 学習したニューラルネットワークにより、IoU=0.602 の精度で建物領域を抽出できることを確認した 衛星画像と既存のGISデータに対して機械学習を適用することにより、広域の衛星画像からの情報抽出を大幅に効率化できる可能性を示した Source on GitHub 1 機械学習による衛星写真の自動解析 近年、AIブームの影響もあり、衛星画像の自動解析に注目が集まりつつあります。 衛星画像や航空写真は、地図作成や変化抽出など
Kerasでメモリに乗りきらない量のデータを扱うための、fit_generator関数を試してみる - Qiita
画像関係のKaggleコンテストで、Kerasを使いつつコードを書いていたところ、前処理などで工夫しても厳しそうなレベルでメモリ不足に悩まされました。（しかし、一方で精度を上げるためになるべく多くのデータを使いたい） 他の人はどうやっているんだろう？と他人のカーネルを見ていたところ、KerasのSequentialクラスにfit_generator関数という、バッチ単位でデータを扱ってくれる（＝瞬間的なメモリが少なくて済む）関数を使っているようでした。 過去に読んだ書籍だと、この関数は使っていなかったので、触りながら色々調べてみます。 簡単な例で試してみる。 MNISTで試してみます。モデルのコード自体は、以前書いたGoogle colaboratoryを試してみる（Keras ＆ MNIST）のものをほぼそのまま使います。 X.shapeが(60000, 1, 28, 28)、y.sha
dockerで機械学習(36) with anaconda(36)「Learning TensorFlow」 By Itay Lieder, Yehezkel Resheff, Tom Hope - Qiita
以下のshell sessionでは (base) root@f19e2f06eabb:/#は入力促進記号(comman prompt)です。実際には数字の部分が違うかもしれません。この行の#の右側を入力してください。 それ以外の行は出力です。出力にエラー、違いがあれば、コメント欄などでご連絡くださると幸いです。 それぞれの章のフォルダに移動します。 dockerの中と、dockerを起動したOSのシェルとが表示が似ている場合には、どちらで捜査しているか間違えることがあります。dockerの入力促進記号(comman prompt)に気をつけてください。 ファイル共有または複写 dockerとdockerを起動したOSでは、ファイル共有をするか、ファイル複写するかして、生成したファイルをブラウザ等表示させてください。参考文献欄にやり方のURLを記載しています。 dockerを起動したOSの
TensorFlow内部構造解析 (4.4) 計算グラフ最適化処理1 Grappler - Qiita
1. Layout Optimizer ソースコード：tensorflow/core/grappler/optimizers/layout_optimizer.cc TensorFlowがデフォルトで採用するデータフォーマットはNHWC形式ですが、GPUに最適なデータフォーマットはNCHW形式です。 このため、GPUで実行するノードについてはNCHW形式のデータフォーマットで実行するように計算グラフを変形することで、GPUで最適な演算が行えるようにします。 なお、計算グラフを変形するときに、必要に応じてNCHW→NHWCまたはNHWC→NCHWのデータフォーマット変換を行うためのTransposeノードを挿入し、計算グラフ内でデータフォーマットの一貫性が取れていることを保証します。 2. Model Pruner ソースコード：tensorflow/core/grappler/optimi
jupyter notebook上でkeras+tensorflow-gpuで学習するとGPUメモリが開放されなくて困ってる - Qiita
環境 windows10 64bit cpu: Ryzen7 1700X gpu: GTX1080Ti CUDA9.0 cuDNN7.3.1 for cuda9.0 python3.6 tensorflow-gpu 1.11.0 keras 2.2.4 やったこと jupyter notebookで実行後にgc.collect() jupyter notebookで実行後にdel model 1つのclassにまとめてjupyter notebookで実行後インスタンスをdelする pyファイルにまとめてjupyter notebookから%runで呼ぶ terminalでpyファイルを実行 pycharmでpyファイルを実行 何故やったか GPU使った画像認識をjupyter notebookでやろうとしたんですが、2回目以降学習が止まってしまって困りました。nvidia-smiでメモリ
Ubuntu 18.04(Corei7-7700,GTX1050)へのCUDA、TensorFlowインストール方法 - Qiita
自作のPCにUbuntu18.04とTensorFlowをインストールした内容を紹介します。 ■PCの構成とセットアップ 構成は以下の通りです。 MB：Asrock Fatal1ty Z270 Gaming-ITX/ac グラフィック出力：HDMI,DisplayPort(２台の4Kのモニターに対応） Tunderbolt 3 ( (USB Type-C)、Ultra M.2(PCIe Gen3 x 4) CPU：Intel Corei7-7700、メモリ：DDR4 8GBx2 SSD：M.2 2280 512GB HDD：STA3 2TB VGA: GTX1050Ti 4GB(CUDA用GPU） BIOS更新・設定 モニターはMB（マザーボード）のグラフィック出力に接続します。 PC起動後、表示がなければGPUのVGAカードの端子にディスプレイを接続しBios設定画面で、Priority
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Deep Learningが視覚的にわかるサイト - Qiita
EdwardとEdward2, TensorFlow Probabilityの相違点 - Qiita
ツイートから学習した感情分析モデル - Qiita
Kerasからパラメータ抽出についてのメモ - Qiita
[Docker]TensorFlowをJupyter Notebook上で使用できる環境を10分で構築[Mac] - Qiita![[Docker]TensorFlowをJupyter Notebook上で使用できる環境を10分で構築[Mac] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/f3684b7cb1a97634be19d94026a2341c8ba1bf1c/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMjA1MzQ3JTJGcHJvZmlsZS1pbWFnZXMlMkYxNTM3ODM2NTg3P2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZiZz1GRkZGRkYmZm09cG5nMzImcz04YjQzZDJlMGEwNjQ5OTVhYTk4ZTBmMjIwMWI2ZDY1NA%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253Db0135e3095ba7e00a0c656d5aa760e97%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCRG9ja2VyJTVEVGVuc29yRmxvdyVFMyU4MiU5Mkp1cHl0ZXIlMjBOb3RlYm9vayVFNCVCOCU4QSVFMyU4MSVBNyVFNCVCRCVCRiVFNyU5NCVBOCVFMyU4MSVBNyVFMyU4MSU4RCVFMyU4MiU4QiVFNyU5MiVCMCVFNSVBMiU4MyVFMyU4MiU5MjEwJUU1JTg4JTg2JUUzJTgxJUE3JUU2JUE3JThCJUU3JUFGJTg5JTVCTWFjJTVEJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9MGZlYTg2ZDBlMWI1MDY3MzUyNGU1ZWNlYzkyODgzNTA%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDB5X2thbmkmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtcGFkPTAmcz0wNDllMzhkYTQ0MzgyZjNlOWM3MzE3ODg2NDNkYTcyYw%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3D66931cd3d77ba889204d72865c025ac0)
TensorflowでGradientの値を計算グラフ外から読み込み - Qiita
Proxy下でTensorFlowのMNIST - Qiita
AnacondaによるKeras-TensorFlowインストール(Win10, CPU版) - Qiita
