ubuntu18.04でTensorFlow-gpuを動かす - Qiita
ubuntu18.04でTensorFlow-gpuを動かすまでの環境構築記事です。 まっさらな環境で導入した際の手順なので、会社や学校、個人で新しく機械学習環境を作る方に役立つ記事だと思います。 それでは、Nvidia driver, CUDA, cuDNN, Anaconda, TensorFlow-gpuを順に導入していきます。 実施環境 Ubuntu 18.04 LTS 日本語 Remix NVIDIA Geforce GTX 1050Ti Ubuntuのインストール 割愛しますが、参考リンクを載せておきます。 参考：[/homeを残して、Ubuntu 16.04LTS をクリーンインストールする] (https://qiita.com/hkuno/items/52ef4a300262a51f982e) 公式インストーラー：Ubuntu 18.04 LTS 日本語 Remix リリ
【Python入門】Pythonで便利なライブラリ(numpy,pandas,matplotlib)をインストール後、pyファイルの中で使えるようにするまで(macOS編) - Qiita
なんのために共有するか？ ども！Masaです。 正直、初心者としては「コマンドラインいじるの！？…怖い…」「え、元に戻らなくなったらどうしよう…」みたいな不安があるとおもうんす。 そういう不安をへらすために得た知識・体験したものを共有します！ 疑問が解消されたり、不安が少しでも減ったら 左のいいねボタンをポチッとお願いします！ この記事でできるようになること、できないこと ・できること Pythonで便利なライブラリ(numpy,pandas,matplotlib)をインストール後、pyファイルの中で使えるようにimportしてサンプルコードを動かすことができるようにするところまで。 ・できないこと それぞれのライブラリの詳しい使い方 どんなライブラリをインストールしておきたいか？ とりま3つのライブラリ！ pandas -> 下2つと連携してデータ分析を支援。read_csvとread_
フォルダ内の画像を全部まとめてNumpy配列にしてnpyで保存 - Qiita
表題そのままのスクリプトです VGG16とSVMを使った判別機を作る際に使用したものの一部を切り取り、単独で機能するようにしました 動作概略 1)img2ndarray.pyと同じフォルダ内に保存された画像ファイルを読み込み 2)画像サイズを224x224にリサイズ後、Numpy配列化 3)**[npy]**ファイルとして保存 動作確認環境 python3.6.6 Tensorflow:1.10.0 Keras：2.2.2 スクリプト全体 import glob import numpy as np from keras.preprocessing.image import load_img,img_to_array # image array size img_size = (224,224) # load images Folder dir_name = 'test1' # File
佐藤健と亀梨和也を人よりも賢く見分けたい - Qiita
○佐藤健フォルダ ○亀梨和也フォルダ 環境 個人PCは非常にプアな環境なので、コーディング＆テストはCPUで行い、本格的な学習はGoogle Colaboratoryを使用しました。 ちなみにGoogle Colaboratoryの使い方ですが、詳しくは他の方の説明を見ていただくとして、ざっくりというと、 Google Driveにコード等が書かれたJupyter Notebookファイルをアップロードする 同じくGoogle Driveに画像ファイルをアップロードする Jupyter NotebookをGoogle Colaboratoryで起動する Google ColaboratoryからGoogle Driveが見えるようにする（ディレクトリのマウントもする） Jupyter Notebookを実行する といった感じになります。 以降は、Google Colaboratory上で実
tensorflow/models/research/slim を転移学習する時の注意点まとめ - Qiita
はじめに tensorflow/models/research/slim にあるモデルを転移学習させようとしたら半日躓いたので、備忘録として解決策等まとめ。 公式ドキュメントにも転移学習のやり方が書いてるが、クラス数が同じ・全てのパラメータをrestoreさせる等、融通が効かない。 やろうとしたこと ImageNet等で学習済みのInception-v4（https://arxiv.org/pdf/1602.07261.pdf） を別のタスクに転移学習させようとした。 ネットで調べたところ、tensorflow/models/research/slim 以外に「学習済みパラメータ＋コード」のセットが無かったので、これを利用することにした。 モデルの主要部分は tensorflow/models/blob/master/research/slim/nets/inception_v4.py h
Time Series Analysis の実装に関するメモ - Qiita
time_steps = 1000 # data 1 a = 0.4 b = 0.5 c = 0.1 T_0 = 50 T_1 = 15 data_x_1 = [] for t in range(time_steps): temp_x = a * np.sin(2 * np.pi * t / T_0) + b * np.sin(2 * np.pi * t / T_1) \ + c * np.random.normal(loc = 0.0, scale = 1.0) data_x_1.append(temp_x) # data 2 a = 0.75 b = 0.5 x_ = 0.0 u_ = 0.0 data_x_2 = [] for i in range(time_steps): u = np.random.normal(loc = 0.0, scale = 1.0) x = a * x_
Tensorflowの基本的な使い方のまとめ～変数・tensorboard ・重み管理 - Qiita
はじめに Deep learningをフルスクラッチで書いてきましたが，そろそろ内容も分かってきたので，ライブラリを使えるようになろうということで Tensorflowを導入しました 英語のDocumentationが分かりやすいですが，自分が詰まったところのメモを！ 自分なりにクラスとか作って テンプレートも作成してみていますのでよかったら まだ未完成ですが github : https://github.com/Shunichi09/Deep_learning_tensorflow ちなみにtensorflowのいいところは 以下の図みたい自分の書いたレイヤーが簡単に見えることです これレイヤーダブルクリックとかすると細部まで見れます これがめちゃくちゃ強力です 機械学習においてもっとも大切な可視化が簡単にできますから おしながき 変数管理について 名前空間の使用 sess run と
セマンティックセグメンテーションでフォントの違いを検出 - Qiita
(2018/09/07追記) 例えば結果画像の3枚目のベースのフォントと「告」のフォントが違うとはとても思えないとご指摘いただいたため、それぞれのフォントを比較してみました。 左から順に以下のフォントを使っています。 'Yu Gothic', 'Yu Mincho', 'MS Gothic', 'MS Mincho', 'Kosugi', 'Kosugi Maru', 'M PLUS 1p', 'M PLUS Rounded 1c', 'Sawarabi Gothic', 'Sawarabi Mincho' じっくり見るとそれぞれ微妙に違うようです。ほとんど見分け付きませんが… 前提 数ヶ月前に公文書が偽装じゃないかと騒がれていて、その理由は文章中のフォントが特定の箇所のみ違うから、であった。 私はその文章を見ても全くフォントの違いが分からないのだが、世の中には気づける人がいるらしい。 d
M5GOの加速度・角速度センサーから算出した回転角度のリアルタイムグラフ表示 - Qiita
概要 前の記事「M5GOの加速度・角速度センサーでBlenderの3Dモデルを動かす」でM5GOの加速度・角速度センサーから算出した回転角度を MQTT Broker へ送信するプログラムを作ったので、同時にMQTT Brokerから取得したデータをリアルタイムにグラフ化するプログラムです。 （データは100ms間隔で送信されていますが、完全には追随できていないようで、動かし続けると表示が遅延してしまいます） 環境 M5GO (Firmware 0.15) iMac (macOS High Sierra) MQTT Broker (mosquitto version 1.4.15) matplotlib (2.2.3) M5GOでBlenderの3Dモデルを動かすのと同時に、回転角度のリアルタイムグラフ表示https://t.co/yr8vwqtHl7#M5GO #M5Stack pic.
深層学習モデルの相互変換ツールMMdnnを試す - Qiita
MMdnnとは？ Microsoft Researchにより開発が進められているオープンソースの深層学習モデルの変換と可視化を行うツールです。中間表現を経由することで様々なフレームワーク間でのモデルデータの相互変換を実現しています。 これはものすごいパワーを秘めていそうな雰囲気です。 github:Microsoft/MMdnn サポートしているフレームワーク 上記githubのサイトに詳細な表や説明があるのでここでは簡単に。 以下のフレームワークでモデルの相互運用が可能になります。 Caffe、Keras、Tensorflow、CNTK、MXNet、PyTorch、CoreML ONNXへの変換もサポートしていますが、こちらは一方通行で、ONNXから別形式は未対応らしいです。 テスト済みのモデルとしては、 VGG19、Inception v4、ResNet v2、SqueezeNet あ
Keras+Tensorflow で猫の毛色分類（サビ猫は雑誌の表紙を飾ったのか？）1 - Qiita
サビ猫かわいいよね？ でも、世にあふれてる猫雑誌にサビ猫いなくない？ 特に表紙 もくじ 学習用画像を集める（ココ） 猫のご尊顔を検出 学習 猫雑誌の表紙画像を集めて判定 開発環境 Mac Pro (Late 2013) 3.5GHz 6Core XeonE5, 64GB DDR3, OSX Yosemite 10.10.5 Python 3.6.6 Tensorflow 1.9.0 Keras 2.2.0 画像集め Bingの画像検索APIを使って画像を大量に収集する スクレイピング初心者がpythonでかわいい猫ちゃん画像をコマンド一発でネットから収集してみた を参考に、Bing と Excite 2つのサイトから画像を集めた（全コードは末尾に）。 分類カテゴリともなる検索ワードは「cat」に続けて14通りの毛色の単語を投入。（例：cat redtabby） Bingの画像検索では「写真
Keras+Tensorflow で猫の毛色分類（サビ猫は雑誌の表紙を飾ったのか？）2 - Qiita
もくじ 学習用画像を集める 猫のご尊顔を検出（ココ） 学習 猫雑誌の表紙画像を集めて判定 猫のご尊顏を検出 「1」で集めた画像を何も考えずKerasに突っ込んだら、画像の水増ししても accuracy 0.5 ほど。 ぐぬぬ... 「そーだ！画像から猫だけ検出しよう！猫でない画像も弾かれるはず！」 そこでとても有名なこの記事、素晴らしいです。 ねこと画像処理 part 2 – 猫検出 (モデル配布) 配布いただいているモデルと検出のプログラムを使い、猫のご尊顏が検出された領域をクリップして保存した。 imagefilename：入力画像ファイル cascadefilename：上記でお配りいただいているOpenCVで読める学習済モデル.xmlファイル(cascade.xml) 検出条件は全てデフォルト、保存領域は検出結果より縦横10%づつ増量した（次の画像水増しで動かすため）。 下記のコー
Keras+Tensorflow で猫の毛色分類（サビ猫は雑誌の表紙を飾ったのか？）3 - Qiita
from PIL import Image import sys import os, glob import numpy as np import random, math def create(input_dir) : Image.LOAD_TRUNCATED_IMAGES = True categorys = [] dir_list = os.listdir(input_dir) for index, dir_name in enumerate(dir_list): if dir_name == '.DS_Store' : continue categorys.append(dir_name) image_size = 160 train_data = [] for idx, category in enumerate(categorys): try : print("---", c
Keras+Tensorflow で猫の毛色分類（サビ猫は雑誌の表紙を飾ったのか？）4 - Qiita
もくじ 学習用画像を集める 猫のご尊顔を検出 学習 猫雑誌の表紙画像を集めて判定（ココ） いったれ！ 学習用画像を集める 猫のご尊顔を検出 に従って、猫雑誌の表紙画像を集めて、顔を検出した。 まず表紙 そして、こう 「3」で作ったベストモデルを使って判定。 シェルのfor文で、ご尊顏ファイルを引数に与えて使うスクリプト。 元データのディレクトリ構成からカテゴリ名を取ってて、ディレクトリ名をベタ書き...（catimages） import training as train #import 3.'s training.py import sys, os from PIL import Image import numpy as np if len(sys.argv) <= 1: quit() image_size = 160 source_dir = "catimages" categor
UNet(系)で、マルチクラスセグメンテーション(1) - Qiita
マルチクラスのセグメンテーション 複数クラスのセグメンテーションを行おうと思って調べてみたが、 多くのモデルが、pixel単位に対して、各クラスの確率を出力し、 そこから、ピクセル毎に、「この位置は、〇〇だ」という形式をとる実装だった。 が、よく考えてみると、 自分たちって画像や風景をみた際に、「おっこの位置は、〇〇。あの位置は、△△」なんて言わなくね？ どっちかって言うと、 「あの辺に〇〇があって、あの後ろには、△△」みたいな、ある種レイヤー的な捉え方しない？ と思い、 pixel単位に対して、各クラスの確率を出力 ではなく、 クラス毎のセグメンテーションマップを出力 って形でできないかとやってみた。 クラス毎のセグメンテーションマップを出力 これの場合、うまくいって、学習データをちゃんと用意できれば、重なり合った領域に対しても、(おそらくこうあるはずという形式になるかもしてないが、)セ
UNet(系)で、マルチクラスセグメンテーション(2) - Qiita
はじめに この記事は、前記事からの続きです。 詳しい話は、そちらを。 改良 (1) ということで、惜しい感じにはなったが、 今回の条件では、2クラスしか対象にしておらず、そこに対して、RGBの3channelを出力しようとしており、どのクラスにも対応していない(=対象物がない)G channelが、うまく学習できなかったんじゃないだろうか 2クラスでも、この2クラスでRGBの全channelを使う様な設定 (例えば、1クラス目を(255, 255, 0)、2クラス目を(0, 255, 255)にするなど) すれば、うまく行くのかもしれないが、なんかそれは、嫌だった(ほんとになんとなく、負けた気がして。) RGBの3色出力にするとして、クラス数が3以上でも、使わない色素があるかもしれないじゃないか！ という思いもあった。(たぶん) ということで、 なんとかならないものかと思い まず考えたのが
UNet(系)で、マルチクラスセグメンテーション(3) - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに この記事は、前前記事、前記事からの続きです。 詳しい話は、そちらを。 改良 (2) 前回は、未使用なGチャンネルに、無視できる小さな値を入れて学習させてみたがうまくいかず、 全体で値がフラットになっているのが問題なのかと思ったので、 今回は、教師データに強制的に値の差をつけてみたらどうかということで、 教師データ(画像)の4辺を最大値で埋めてみることにした。 学習 (2) 前回からの変更点は、 教師画像に対して、各4辺の1pixel幅を255(/255)で埋めて、学習する様にした点。 それ以外は、前々回と同じにして学習。 結果
(C)RNN Domain Adaptation の実装に関するメモ - Qiita
time_steps = 1010 a_s = 0.3 b_s = 0.5 a_t = 0.3 b_t = 0.3 c_s = 0.1 c_t = 0.1 T_0 = 100 T_s = 10 T_t = 50 data_s = [] data_t = [] for t in range(time_steps): data_s.append(a_s * np.sin(2 * np.pi * t / T_0) + b_s * np.sin(2 * np.pi * t / T_s) \ + c_s * np.random.normal()) data_t.append(a_t * np.sin(2 * np.pi * t / T_0) + b_t * np.sin(2 * np.pi * t / T_t) \ + c_t * np.random.normal()) show_steps = 2
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kerasの多入力CNNとsklearnのLogisticRegressionのアンサンブル - Qiita
Kerasにおける"_make_predict_function()"の重要性 - Qiita
