開発環境 jupyterとDockerを使って、Kerasで学習してます。 問題だったこと モデルをロードしてさらに学習させたいけど、エポック数が0からになって上手く保存できない! 100epoch学習したあと追加で100epoch学習させたい! という時にどうしたら良いかわからずハマってしまったのでその解決策 保存されるファイル名を変化させる さて、早速本題です. どうすればファイル名の{epoch:02d}部分を変更させることができるのか. 答えは簡単! model.fitメソッドに引数として 'initial_epoch' を追加すれば良いです. これだけで学習が101epoch目から始まるようになります. モデルをloadしなくなった時にはinitial_epochを0に戻すように気をつけましょう. コールバックとは 学習と一緒に使うと効果的なのが、ModelCheckPointや
ubuntu18.04でTensorFlow-gpuを動かすまでの環境構築記事です。 まっさらな環境で導入した際の手順なので、会社や学校、個人で新しく機械学習環境を作る方に役立つ記事だと思います。 それでは、Nvidia driver, CUDA, cuDNN, Anaconda, TensorFlow-gpuを順に導入していきます。 実施環境 Ubuntu 18.04 LTS 日本語 Remix NVIDIA Geforce GTX 1050Ti Ubuntuのインストール 割愛しますが、参考リンクを載せておきます。 参考:[/homeを残して、Ubuntu 16.04LTS をクリーンインストールする] (https://qiita.com/hkuno/items/52ef4a300262a51f982e) 公式インストーラー:Ubuntu 18.04 LTS 日本語 Remix リリ
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Keras + TensorFlow で Ape-X を実装しました。 コードはgithubにあげてあります。 https://github.com/omurammm/apex_dqn 強化学習の知識として、 DQNまでは知っているとわかりやすいと思います。 DQNまでの勉強では以下のサイトが非常に参考になります。 ・ゼロからDeepまで学ぶ強化学習 ・強化学習について学んでみた。(その1) Ape-Xとは 論文:DISTRIBUTED PRIORITIZED EXPERIENCE REPLAY 簡単にいうと、論文のタイトルにもあるよう
kerasを使ったMuti-task Learning(CNN + Autoencoder) 最新のモデルでは一般的になってきているMuti-taskなモデルについて取り上げたいと思います。 Multi-task Learningとは Muti-task Learning(MTL)とは、1つのネットワークで複数のタスクを解くモデルです。 MTLの内容はこちらの記事にわかりやすくまとめられています。 直感的な理解としては、人は新しいタスクを学習しようとするとき、これまでの知識を活用することでスムーズに新しいタスクを学習することができます。例えば、将棋ができる人とできない人が新しくチェスを覚えようと思ったとき、将棋ができる人の方が覚えが早いことが多いと思います。 このように別の分野の知識を複合的に学習することで、学習のスピードや最終的な精度を上げようということがMTLのモチベーションです。 今
表題そのままのスクリプトです VGG16とSVMを使った判別機を作る際に使用したものの一部を切り取り、単独で機能するようにしました 動作概略 1)img2ndarray.pyと同じフォルダ内に保存された画像ファイルを読み込み 2)画像サイズを224x224にリサイズ後、Numpy配列化 3)**[npy]**ファイルとして保存 動作確認環境 python3.6.6 Tensorflow:1.10.0 Keras:2.2.2 スクリプト全体 import glob import numpy as np from keras.preprocessing.image import load_img,img_to_array # image array size img_size = (224,224) # load images Folder dir_name = 'test1' # File
○佐藤健フォルダ ○亀梨和也フォルダ 環境 個人PCは非常にプアな環境なので、コーディング&テストはCPUで行い、本格的な学習はGoogle Colaboratoryを使用しました。 ちなみにGoogle Colaboratoryの使い方ですが、詳しくは他の方の説明を見ていただくとして、ざっくりというと、 Google Driveにコード等が書かれたJupyter Notebookファイルをアップロードする 同じくGoogle Driveに画像ファイルをアップロードする Jupyter NotebookをGoogle Colaboratoryで起動する Google ColaboratoryからGoogle Driveが見えるようにする(ディレクトリのマウントもする) Jupyter Notebookを実行する といった感じになります。 以降は、Google Colaboratory上で実
はじめに tensorflow/models/research/slim にあるモデルを転移学習させようとしたら半日躓いたので、備忘録として解決策等まとめ。 公式ドキュメントにも転移学習のやり方が書いてるが、クラス数が同じ・全てのパラメータをrestoreさせる等、融通が効かない。 やろうとしたこと ImageNet等で学習済みのInception-v4(https://arxiv.org/pdf/1602.07261.pdf) を別のタスクに転移学習させようとした。 ネットで調べたところ、tensorflow/models/research/slim 以外に「学習済みパラメータ+コード」のセットが無かったので、これを利用することにした。 モデルの主要部分は tensorflow/models/blob/master/research/slim/nets/inception_v4.py h
time_steps = 1000 # data 1 a = 0.4 b = 0.5 c = 0.1 T_0 = 50 T_1 = 15 data_x_1 = [] for t in range(time_steps): temp_x = a * np.sin(2 * np.pi * t / T_0) + b * np.sin(2 * np.pi * t / T_1) \ + c * np.random.normal(loc = 0.0, scale = 1.0) data_x_1.append(temp_x) # data 2 a = 0.75 b = 0.5 x_ = 0.0 u_ = 0.0 data_x_2 = [] for i in range(time_steps): u = np.random.normal(loc = 0.0, scale = 1.0) x = a * x_
はじめに Deep learningをフルスクラッチで書いてきましたが,そろそろ内容も分かってきたので,ライブラリを使えるようになろうということで Tensorflowを導入しました 英語のDocumentationが分かりやすいですが,自分が詰まったところのメモを! 自分なりにクラスとか作って テンプレートも作成してみていますのでよかったら まだ未完成ですが github : https://github.com/Shunichi09/Deep_learning_tensorflow ちなみにtensorflowのいいところは 以下の図みたい自分の書いたレイヤーが簡単に見えることです これレイヤーダブルクリックとかすると細部まで見れます これがめちゃくちゃ強力です 機械学習においてもっとも大切な可視化が簡単にできますから おしながき 変数管理について 名前空間の使用 sess run と
(2018/09/07追記) 例えば結果画像の3枚目のベースのフォントと「告」のフォントが違うとはとても思えないとご指摘いただいたため、それぞれのフォントを比較してみました。 左から順に以下のフォントを使っています。 'Yu Gothic', 'Yu Mincho', 'MS Gothic', 'MS Mincho', 'Kosugi', 'Kosugi Maru', 'M PLUS 1p', 'M PLUS Rounded 1c', 'Sawarabi Gothic', 'Sawarabi Mincho' じっくり見るとそれぞれ微妙に違うようです。ほとんど見分け付きませんが… 前提 数ヶ月前に公文書が偽装じゃないかと騒がれていて、その理由は文章中のフォントが特定の箇所のみ違うから、であった。 私はその文章を見ても全くフォントの違いが分からないのだが、世の中には気づける人がいるらしい。 d
MMdnnとは? Microsoft Researchにより開発が進められているオープンソースの深層学習モデルの変換と可視化を行うツールです。中間表現を経由することで様々なフレームワーク間でのモデルデータの相互変換を実現しています。 これはものすごいパワーを秘めていそうな雰囲気です。 github:Microsoft/MMdnn サポートしているフレームワーク 上記githubのサイトに詳細な表や説明があるのでここでは簡単に。 以下のフレームワークでモデルの相互運用が可能になります。 Caffe、Keras、Tensorflow、CNTK、MXNet、PyTorch、CoreML ONNXへの変換もサポートしていますが、こちらは一方通行で、ONNXから別形式は未対応らしいです。 テスト済みのモデルとしては、 VGG19、Inception v4、ResNet v2、SqueezeNet あ
サビ猫かわいいよね? でも、世にあふれてる猫雑誌にサビ猫いなくない? 特に表紙 もくじ 学習用画像を集める(ココ) 猫のご尊顔を検出 学習 猫雑誌の表紙画像を集めて判定 開発環境 Mac Pro (Late 2013) 3.5GHz 6Core XeonE5, 64GB DDR3, OSX Yosemite 10.10.5 Python 3.6.6 Tensorflow 1.9.0 Keras 2.2.0 画像集め Bingの画像検索APIを使って画像を大量に収集する スクレイピング初心者がpythonでかわいい猫ちゃん画像をコマンド一発でネットから収集してみた を参考に、Bing と Excite 2つのサイトから画像を集めた(全コードは末尾に)。 分類カテゴリともなる検索ワードは「cat」に続けて14通りの毛色の単語を投入。(例:cat redtabby) Bingの画像検索では「写真
もくじ 学習用画像を集める 猫のご尊顔を検出(ココ) 学習 猫雑誌の表紙画像を集めて判定 猫のご尊顏を検出 「1」で集めた画像を何も考えずKerasに突っ込んだら、画像の水増ししても accuracy 0.5 ほど。 ぐぬぬ... 「そーだ!画像から猫だけ検出しよう!猫でない画像も弾かれるはず!」 そこでとても有名なこの記事、素晴らしいです。 ねこと画像処理 part 2 – 猫検出 (モデル配布) 配布いただいているモデルと検出のプログラムを使い、猫のご尊顏が検出された領域をクリップして保存した。 imagefilename:入力画像ファイル cascadefilename:上記でお配りいただいているOpenCVで読める学習済モデル.xmlファイル(cascade.xml) 検出条件は全てデフォルト、保存領域は検出結果より縦横10%づつ増量した(次の画像水増しで動かすため)。 下記のコー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く