Tensorflowの基本的な使い方のまとめ～変数・tensorboard ・重み管理 - Qiita
はじめに Deep learningをフルスクラッチで書いてきましたが，そろそろ内容も分かってきたので，ライブラリを使えるようになろうということで Tensorflowを導入しました 英語のDocumentationが分かりやすいですが，自分が詰まったところのメモを！ 自分なりにクラスとか作って テンプレートも作成してみていますのでよかったら まだ未完成ですが github : https://github.com/Shunichi09/Deep_learning_tensorflow ちなみにtensorflowのいいところは 以下の図みたい自分の書いたレイヤーが簡単に見えることです これレイヤーダブルクリックとかすると細部まで見れます これがめちゃくちゃ強力です 機械学習においてもっとも大切な可視化が簡単にできますから おしながき 変数管理について 名前空間の使用 sess run と
セマンティックセグメンテーションでフォントの違いを検出 - Qiita
(2018/09/07追記) 例えば結果画像の3枚目のベースのフォントと「告」のフォントが違うとはとても思えないとご指摘いただいたため、それぞれのフォントを比較してみました。 左から順に以下のフォントを使っています。 'Yu Gothic', 'Yu Mincho', 'MS Gothic', 'MS Mincho', 'Kosugi', 'Kosugi Maru', 'M PLUS 1p', 'M PLUS Rounded 1c', 'Sawarabi Gothic', 'Sawarabi Mincho' じっくり見るとそれぞれ微妙に違うようです。ほとんど見分け付きませんが… 前提 数ヶ月前に公文書が偽装じゃないかと騒がれていて、その理由は文章中のフォントが特定の箇所のみ違うから、であった。 私はその文章を見ても全くフォントの違いが分からないのだが、世の中には気づける人がいるらしい。 d
ニュース記事の分類を機械学習で予測する - Qiita
はじめに Pythonを用いて、ニュース記事の分類分けを教師ありの機械学習にかけて、未知の文章がどのニュース記事にあたるのかを予測する。ということをやってみました。 使うものとしては、 Mecab Gensim scikit-learnのSVM これらを利用しました。 また今回やるにあたり、主にMecabとGensimの利用の辺りを以下のサイトを参考（というよりもはやパクリ）に行ったので、まずはそちらの記事を見ていただいたらと思います。 scikit-learnとgensimでニュース記事を分類する gensimのコーパス操作 環境や各種ツールの説明 環境 OS : windows10 python : 3.6.6 ツール Mecab : 0.996.1 Gensim : 3.5.0 scikit-learn : 0.19.1 Mecabの用意 Mecabは、普段pythonでモジュールの
Raspberry Piとディープラーニングで画像認識やろうとしたら重かったのでサーバーに計算させた - Qiita
はじめに Raspberry Pi上でImageNetの学習済みモデルを使い，カメラから入力した画像を認識しようとしましたが，モデルが大きすぎてメモリに乗りませんでした。 そこで，以下のようにラズパイからサーバーに画像を送信して認識結果を返すような仕組みを実装しました。 方法 ソケット通信でサーバーとやり取りします。 コードはGitHubのリポジトリにもアップロードしてあります。 サーバー側 画像認識の部分はChainerで行っています。 モデルはVGGを利用しました。 # coding: utf-8 import socket, threading import chainer import chainer.links as L import numpy as np class ImageNetPredictor: def __init__(self): self.model = L.V
深層学習モデルの相互変換ツールMMdnnを試す - Qiita
MMdnnとは？ Microsoft Researchにより開発が進められているオープンソースの深層学習モデルの変換と可視化を行うツールです。中間表現を経由することで様々なフレームワーク間でのモデルデータの相互変換を実現しています。 これはものすごいパワーを秘めていそうな雰囲気です。 github:Microsoft/MMdnn サポートしているフレームワーク 上記githubのサイトに詳細な表や説明があるのでここでは簡単に。 以下のフレームワークでモデルの相互運用が可能になります。 Caffe、Keras、Tensorflow、CNTK、MXNet、PyTorch、CoreML ONNXへの変換もサポートしていますが、こちらは一方通行で、ONNXから別形式は未対応らしいです。 テスト済みのモデルとしては、 VGG19、Inception v4、ResNet v2、SqueezeNet あ
Keras+Tensorflow で猫の毛色分類（サビ猫は雑誌の表紙を飾ったのか？）1 - Qiita
サビ猫かわいいよね？ でも、世にあふれてる猫雑誌にサビ猫いなくない？ 特に表紙 もくじ 学習用画像を集める（ココ） 猫のご尊顔を検出 学習 猫雑誌の表紙画像を集めて判定 開発環境 Mac Pro (Late 2013) 3.5GHz 6Core XeonE5, 64GB DDR3, OSX Yosemite 10.10.5 Python 3.6.6 Tensorflow 1.9.0 Keras 2.2.0 画像集め Bingの画像検索APIを使って画像を大量に収集する スクレイピング初心者がpythonでかわいい猫ちゃん画像をコマンド一発でネットから収集してみた を参考に、Bing と Excite 2つのサイトから画像を集めた（全コードは末尾に）。 分類カテゴリともなる検索ワードは「cat」に続けて14通りの毛色の単語を投入。（例：cat redtabby） Bingの画像検索では「写真
Keras+Tensorflow で猫の毛色分類（サビ猫は雑誌の表紙を飾ったのか？）2 - Qiita
もくじ 学習用画像を集める 猫のご尊顔を検出（ココ） 学習 猫雑誌の表紙画像を集めて判定 猫のご尊顏を検出 「1」で集めた画像を何も考えずKerasに突っ込んだら、画像の水増ししても accuracy 0.5 ほど。 ぐぬぬ... 「そーだ！画像から猫だけ検出しよう！猫でない画像も弾かれるはず！」 そこでとても有名なこの記事、素晴らしいです。 ねこと画像処理 part 2 – 猫検出 (モデル配布) 配布いただいているモデルと検出のプログラムを使い、猫のご尊顏が検出された領域をクリップして保存した。 imagefilename：入力画像ファイル cascadefilename：上記でお配りいただいているOpenCVで読める学習済モデル.xmlファイル(cascade.xml) 検出条件は全てデフォルト、保存領域は検出結果より縦横10%づつ増量した（次の画像水増しで動かすため）。 下記のコー
Keras+Tensorflow で猫の毛色分類（サビ猫は雑誌の表紙を飾ったのか？）3 - Qiita
from PIL import Image import sys import os, glob import numpy as np import random, math def create(input_dir) : Image.LOAD_TRUNCATED_IMAGES = True categorys = [] dir_list = os.listdir(input_dir) for index, dir_name in enumerate(dir_list): if dir_name == '.DS_Store' : continue categorys.append(dir_name) image_size = 160 train_data = [] for idx, category in enumerate(categorys): try : print("---", c
Keras+Tensorflow で猫の毛色分類（サビ猫は雑誌の表紙を飾ったのか？）4 - Qiita
もくじ 学習用画像を集める 猫のご尊顔を検出 学習 猫雑誌の表紙画像を集めて判定（ココ） いったれ！ 学習用画像を集める 猫のご尊顔を検出 に従って、猫雑誌の表紙画像を集めて、顔を検出した。 まず表紙 そして、こう 「3」で作ったベストモデルを使って判定。 シェルのfor文で、ご尊顏ファイルを引数に与えて使うスクリプト。 元データのディレクトリ構成からカテゴリ名を取ってて、ディレクトリ名をベタ書き...（catimages） import training as train #import 3.'s training.py import sys, os from PIL import Image import numpy as np if len(sys.argv) <= 1: quit() image_size = 160 source_dir = "catimages" categor
UNet(系)で、マルチクラスセグメンテーション(1) - Qiita
マルチクラスのセグメンテーション 複数クラスのセグメンテーションを行おうと思って調べてみたが、 多くのモデルが、pixel単位に対して、各クラスの確率を出力し、 そこから、ピクセル毎に、「この位置は、〇〇だ」という形式をとる実装だった。 が、よく考えてみると、 自分たちって画像や風景をみた際に、「おっこの位置は、〇〇。あの位置は、△△」なんて言わなくね？ どっちかって言うと、 「あの辺に〇〇があって、あの後ろには、△△」みたいな、ある種レイヤー的な捉え方しない？ と思い、 pixel単位に対して、各クラスの確率を出力 ではなく、 クラス毎のセグメンテーションマップを出力 って形でできないかとやってみた。 クラス毎のセグメンテーションマップを出力 これの場合、うまくいって、学習データをちゃんと用意できれば、重なり合った領域に対しても、(おそらくこうあるはずという形式になるかもしてないが、)セ
UNet(系)で、マルチクラスセグメンテーション(2) - Qiita
はじめに この記事は、前記事からの続きです。 詳しい話は、そちらを。 改良 (1) ということで、惜しい感じにはなったが、 今回の条件では、2クラスしか対象にしておらず、そこに対して、RGBの3channelを出力しようとしており、どのクラスにも対応していない(=対象物がない)G channelが、うまく学習できなかったんじゃないだろうか 2クラスでも、この2クラスでRGBの全channelを使う様な設定 (例えば、1クラス目を(255, 255, 0)、2クラス目を(0, 255, 255)にするなど) すれば、うまく行くのかもしれないが、なんかそれは、嫌だった(ほんとになんとなく、負けた気がして。) RGBの3色出力にするとして、クラス数が3以上でも、使わない色素があるかもしれないじゃないか！ という思いもあった。(たぶん) ということで、 なんとかならないものかと思い まず考えたのが
UNet(系)で、マルチクラスセグメンテーション(3) - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに この記事は、前前記事、前記事からの続きです。 詳しい話は、そちらを。 改良 (2) 前回は、未使用なGチャンネルに、無視できる小さな値を入れて学習させてみたがうまくいかず、 全体で値がフラットになっているのが問題なのかと思ったので、 今回は、教師データに強制的に値の差をつけてみたらどうかということで、 教師データ(画像)の4辺を最大値で埋めてみることにした。 学習 (2) 前回からの変更点は、 教師画像に対して、各4辺の1pixel幅を255(/255)で埋めて、学習する様にした点。 それ以外は、前々回と同じにして学習。 結果
(C)RNN Domain Adaptation の実装に関するメモ - Qiita
time_steps = 1010 a_s = 0.3 b_s = 0.5 a_t = 0.3 b_t = 0.3 c_s = 0.1 c_t = 0.1 T_0 = 100 T_s = 10 T_t = 50 data_s = [] data_t = [] for t in range(time_steps): data_s.append(a_s * np.sin(2 * np.pi * t / T_0) + b_s * np.sin(2 * np.pi * t / T_s) \ + c_s * np.random.normal()) data_t.append(a_t * np.sin(2 * np.pi * t / T_0) + b_t * np.sin(2 * np.pi * t / T_t) \ + c_t * np.random.normal()) show_steps = 2
マルコフ連鎖を用いてなろう小説のタイトルを自動生成する - Qiita
概要 小説家になろう（通称：なろう）というサイトは、自分で小説を書いて公開できるというサイトであるが、なろうで公開されている小説タイトルは一般的に長く特徴的なものが多いとされています。そこで、文書生成の手段として有名なマルコフ連鎖を用いてなろう小説のタイトルの自動生成を行いました。 プログラム 1.title_correct.py : なろうのAPIを使ってなろう小説のタイトルを記録する 。 2.marcov.py : 1でできたテキストファイルからMeCabを用いて分かち書きを行いマルコフ連鎖のもととなるデータベースを作成しそこからタイトルを自動作成する。 タイトルを集める タイトルを集めるプログラムは「小説家になろう」の作品タイトルは、本当に長くなってるのか？ Pandasで確認しよう(https://qiita.com/dely13/items/5e949a384161c96
Kerasで複数GPUで学習するときに中間結果モデル保存が失敗する問題の対応 - Qiita
背景 Keras (Tensorflow backend)で一台のパソコンに載っている複数GPUでトレーニング処理を回すとき、中間結果(チェックポイント)のモデルを、keras.callbacks.ModelCheckpoint関数をコールバック関数に設定して定期保存しようとしたとき、以下のエラーが発生。 Epoch 01000: saving model to ./log_Stacked_Hourglass_Network_v1_320x240_fp16_3rd_multiGPU/weights.1000-0.0039607391-0.0131516113.hdf5 Traceback (most recent call last): File "train_customized_SHN_resume_baobab_fp16_1stack_multiGPU.py", line 304,
Raspberry PiにTensorFlowをインストールして基本的な分類サンプル実行まで試した - Qiita
ディープラーニングを学ぶ最初の一歩としてTensorFlowのインストールとチュートリアルにあるKerasハイレベルAPIを使った基本的な分類のサンプルを試したので資料としてまとめてみました。(資料としてはもはや何番煎じかもわからないぐらいですが...) まだまだ理解も浅いため説明はかなりざっくりです(;´Д｀) コマンドはRaspberry Pi 3BにRaspbian9.0がインストールされた環境で実行しています。 インストール手順およびコードサンプルは2018.08.23時点の公式サイトから引用したものです。[1][2] Attribution Portions of this page are modifications based on work created and shared by Google and used according to terms described
AndroidでTensorFlowを使ってアプリ作りたいけど何すりゃいいの(前編) - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? タイトルと同じことを心でつぶやいている人は結構いると思います。 当記事では、「どんな仕組みで動くのか」ではなく、「どうすれば動くのか」に焦点を当てています。 飛行機はどんな理屈で飛ぶのか、ではなく、飛行機はどう操作すれば飛ぶのか、という感じです。 要するに何すりゃいいの 端的に言えば次の通り: 学習済みモデルを用意 プロジェクトにTensorFlowのライブラリを追加 TensorFlowInferenceInterface をnewして学習済みモデルを読み込ませる 画像とかを配列化してTensorFlowInferenceInterf
tf.keras.layers配下pool関連サブクラス - Qiita
pooling関連sub-class一覧 AveragePooling1D AveragePooling2D AveragePooling3D AvgPool1D AvgPool2D AvgPool3D GlobalAveragePooling1D GlobalAveragePooling2D GlobalAveragePooling3D GlobalAvgPool1D GlobalAvgPool2D GlobalAvgPool3D GlobalMaxPool1D GlobalMaxPool2D GlobalMaxPool3D GlobalMaxPooling1D GlobalMaxPooling2D GlobalMaxPooling3D MaxPool1D MaxPool2D MaxPool3D MaxPooling1D MaxPooling2D MaxPooling3D よく見ると、名
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kerasの多入力CNNとsklearnのLogisticRegressionのアンサンブル - Qiita
Kerasにおける"_make_predict_function()"の重要性 - Qiita
