Kerasでクラスバランスを保ったまま各Batchを作成するBalancedImageDataGeneratorを作った - Qiita
cifar ├── labels.txt ├── test │ ├── 0_cat.png │ ├── 1000_dog.png │ ├── 1001_airplane.png │ ├── ... ├── train │ ├── 0_cat.png │ ├── 1000_dog.png │ ├── 1001_airplane.png │ ├── ... import numpy as np import pathlib from decimal import Decimal, ROUND_HALF_UP from keras.utils import to_categorical from sklearn.preprocessing import LabelEncoder from PIL import Image from keras.applications.mobilenet imp
TensorFlow/Kerasでネットワーク内でData Augmentationする方法
NumpyでData Augmentationするのが遅かったり、書くの面倒だったりすることありますよね。今回はNumpy（CPU）ではなく、ニューラルネットワーク側（GPU、TPU）でAugmetationをする方法を見ていきます。 こんなイメージ Numpy（CPU）でやる場合 NumpyでDataAugmentation→model.fit_generator(…)→Input→ニューラルネットワーク ニューラルネットワークでやる場合 model.fit(…)/.fit_generator(…)→Input→Data Augmetation層→ニューラルネットワークの隠れ層 今回はこちらを見ていきます。 Data Augmentation層 今回はランダムなHorizontal Flip＋Random Cropといういわゆる「Standard Data Augmentation」を実
KerasでGPUメモリの使用量を抑える方法
バックエンドをTensorFlowとしてKerasを利用しようとすると，デフォルトだとGPUのメモリを全部使う設定になっていて複数の実験を走らせられないので，GPUメモリの使用量を抑える設定方法について紹介します．1 2 検証環境 GPUのメモリ使用量を抑える 下記コードを貼り付けるなり，importするなりすれば大丈夫です． 最小限のGPUメモリのみ確保 gpu_options.allow_growthで設定可能です． 実行時に必要な分だけ確保する方法で，さらに必要になるとメモリ領域を拡張するようになっています． ただし自動的にはメモリを開放しないので，メモリが断片化して性能が悪化する可能性があり注意が必要です．1 import tensorflow as tf from keras import backend as K config = tf.ConfigProto() config
[Keras/TensorFlow] 転移学習（Fine-tuning） - Qiita
目的 ゼロからKerasとTensorFlow(TF)を自由自在に動かせるようになる。 そのための、End to Endの作業ログ(備忘録)を残す。 ※環境はMacだが、他のOSでの汎用性を保つように意識。 ※アジャイルで執筆しており、精度を逐次高めていく予定。 目次 Keras(Tensorflow)の環境構築 KerasでMINSTの学習と予測 KerasでTensorBoardの利用 Kerasで重みファイルの保存/読み込み Kerasで自前データの学習と予測 Kerasで転移学習 <---いまココ 概要 このページを読んでできるようになること VGG16のFine-tuningによる17種類の花の分類 で紹介されている fine tuning のサンプルプログラムを動かす。 上記の学習はCPUだと2日間近くかかるため、事前に用意してある学習済みのパラメータを読み込み、学習結果を確認
![[Keras/TensorFlow] 転移学習（Fine-tuning） - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/53d3afe975d08456c4d674b10114b472530cb7d2/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCS2VyYXMlMkZUZW5zb3JGbG93JTVEJTIwJUU4JUJCJUEyJUU3JUE3JUJCJUU1JUFEJUE2JUU3JUJGJTkyJUVGJUJDJTg4RmluZS10dW5pbmclRUYlQkMlODkmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPTA2YmIyZThkMWViZjZjYzEzZjdkM2VhMmY2OWE4ZjRk%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB0c2hpbWJhJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz01YTQ4NmU0NTZjMWI3MWE0OTZlYzk2N2M1NDUxYTc4Zg%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D8a9a5c9deb6eec805a1a6cfca3632c1c)
KerasモデルをCloud ML Engineで学習してOnline Predictionしてみた - Qiita
Cloud ML Engine のruntime versionが1.2になったので、Kerasが小細工なしで使えるようになりました。TensorFlowの高レベルAPIもいい感じになって来ていますが、やはりKerasのpretrained modelの多さは魅力的です。とりあえずやり方だけ把握しておこうと、せっかくなので学習だけでなくOnline PredictionもKerasモデルでserveしてみました。 Cloud ML Engineとは TensorFlowのフルマネージドな実行環境です。分散環境で学習、オートスケールしAPIで推論リクエスト可能なOnline Prediction等、TensorFlowの運用には最高の環境です。 KerasをCloud ML Engine(training)で使う 注意するのは、 Kerasのimportをtf.contribからする job
ディープラーニング実践入門 〜 Kerasライブラリで画像認識をはじめよう！ - エンジニアHub｜若手Webエンジニアのキャリアを考える！
ディープラーニング実践入門 ～ Kerasライブラリで画像認識をはじめよう！ ディープラーニング（深層学習）に興味あるけど「なかなか時間がなくて」という方のために、コードを動かしながら、さくっと試して感触をつかんでもらえるように、解説します。 はじめまして。宮本優一と申します。 最近なにかと話題の多いディープラーニング（深層学習、deep learning）。エンジニアHubの読者の方でも、興味ある人は多いのではないでしょうか。 しかし、ディープラーニングについて周りのエンジニアに聞いてみると、 「なんか難しそう」 「なかなか時間がなくて、どこから始めれば良いかも分からない」 「一回試してみたんだけど、初心者向けチュートリアル（MNISTなど）を動かして挫折しちゃったんだよね」 という声が聞こえてきます。 そこで！ この記事では、そうした方を対象に、ディープラーニングをさくっと試して感触を
Generative Adversarial Networks(GAN)を勉強して、kerasで手書き文字生成する - 緑茶思考ブログ
Generative Adversarial Nets（GAN）はニューラルネットワークの応用として、結構な人気がある。たとえばYann LeCun（現在はFacebookにいる）はGANについて以下のように述べている。 “Generative Adversarial Networks is the most interesting idea in the last ten years in machine learning.” GANを始めとする生成モデル系研究は、 これまで人間にしかできないと思われていたクリエイティブな仕事に対して、 機械学習が踏み込んでいく構図なためか、個人的にもワクワクする分野だ。 これまで分類問題を中心に実装してきてそろそろ飽きてきたため， 一番最初のGAN論文を頑張って理解して、 その内容をkerasで実装してみることにする． Generative Adver
Kerasでちょっと難しいModelやTrainingを実装するときのTips - Qiita
はじめに ※ Keras2 を対象にしています。 Kerasのコードはシンプルでモジュール性が高いのでシンプルに記述可能で、理解しやすく使いやすいです。 ただし、標準で用意されている以外のLayerや学習をさせようとすると、あまりサンプルがなくてどう書いていいかわからなくなることが多いです。 最近いくつか変わったModelを書いた時に学んだTipsを備忘録も兼ねて共有します。 目次 Functional APIを使おう Weightを共有したい場合は Container を使うと便利 「LayerのOutput」と「生のTensor」は似て非なるもの Lambdaを使った簡易変換は便利 カスタムなLoss FunctionはSample別にLossを返す LayerじゃないところからLoss関数に式を追加したい場合 学習時にパラメータを更新しつつLossに反映した場合
KerasがTensorFlow本体に統合される？ - studylog/北の雲
TensorFlowをバックエンドとして使用しており、Python製DeepLearningライブラリとしては頭5つぐらい抜け出している感じのあったKerasですが、TensorFlow本体に取り込まれる？動きがあるようです。TensorFlow/Keras人気はさらに加速して他のライブラリを寄せ付けないでしょう。 自分が使いやすいライブラリを使えばいいと思いますし各ライブラリごとにいい所はあるので多様性万歳ではあるんですが、TensorFlow本体にKeras由来の使いやすいAPIが統合されちゃうと、DeepLearningライブラリのシェア争いという観点ではほぼ勝負あったかなという感じがします。 以下ソースなど。fcholletさんはKerasの開発者でGoogleにお勤めの人です。 @rbhar90 @tensorflow we will be integrating Keras (
VGG16のFine-tuningによる犬猫認識 (1) - 人工知能に関する断創録
VGG16はILSVRCのコンペ用に学習されたニューラルネットなのでImageNetの1000クラスを認識できる。しかし、前の記事（2017/1/4）で実験したように「ひまわり」のようなImageNetに存在しないクラスはそのままでは認識できない。 この問題を解決するためVGG16の高い認識能力を継承しつつ、新しい独自のクラス（今回は犬か猫かの2クラス）を認識できるように少量のデータでニューラルネットの重みを再調整することをFine-tuningという*1。「少量のデータで」というところがすごく重要。もし大量データでないとダメだったらAWSの利用料で破産するのでこの記事は書けない(^^;; 今回は、Keras Blogの - Building powerful image classification models using very little dat を参考に犬と猫の2クラス認識を
【Day-17】DeepLearning系ライブラリ、『Keras』の使い方まとめ(2.x対応版) - プロクラシスト
【最終更新 : 2017.12.17】 ※以前書いた記事がObsoleteになったため、2.xできちんと動くように書き直しました。 データ分析ガチ勉強アドベントカレンダー 17日目。 16日目に、1からニューラルネットを書きました。 それはそれでデータの流れだとか、活性化関数の働きだとか得るものは多かったのですが、Kerasと言うものを使ってみて、何て素晴らしいんだと感動してしまいました 今まで苦労して数十行書いていたものが、わずか3行で書ける！ 正直、スクラッチで書く意味って、理解にはいいけど研究や分析には必要あんまないんですよね。車輪の再発明になるし。 と言うわけで、使えるものはどんどん使っていこうスタンスで、今日はKerasの紹介です！ Tutorial+気になった引数を掘り下げて補足のような感じで書いています。 ちなみに、各部のコード以下をつなぎ合わせるとmnistの分類器が動くよ
Raspberry Pi 深層学習ライブラリで物体認識（Keras with TensorFlow・Open CV） - Qiita
以前からやってみたかったRaspberry Piの物体認識を試してみました。今回はクラウドサービスを使わずに深層学習ライブラリと学習済みモデルを使ってみました。 環境 Raspberry Pi3 (RASPBIAN JESSIE WITH PIXEL 4.4 / Python 3.4.2) LOGICOOL ウェブカム HD画質 120万画素 C270 ミニロボットPC等用スピーカー小型かわいい白 7インチ(1024*600) IPS液晶パネル ディスプレイ 今までカメラモジュールを利用していたのですが、OpenCVでストリーミングをさせるためWebカメラを購入しました。ついでにちょっと可愛らしいロボット型のスピーカーも合わせて買ってみました。 ロボット型のスピーカーがWebカメラに映った物をしゃべってくれます（英語です）。 こんな感じ Deep Learning Object Recog
半年ほどKerasを使ってみた感想など - toshiemon18のブログ
※この記事は苫小牧高専 AdventCalendar-2016の5日目の記事です。 はじめに 最近流行りのDeepLearningについての記事を書こうと思います。ただし、理論についてではなく、理論をプログラムに落とし込むためのツールに関するお話です。それも1つのフレームワークに関することなので、比較などではなく自分が使ってみた感想をつらつら書いていきます。 僕は4月から卒業研究でDeepLearningに関する研究をしており、PythonとDeepLearning用フレームワークKeras（バックエンドはTensorflow）な環境で色々コードを書いています。そこで、半年くらいKerasを使ってみていいなと思ったこと、苦しかったことを書こうと思います。テーマはなんでもいいってことだったので、刺さる人が少ないのは申し訳ないですが、この記事がきっかけで機械学習をKeras使って始めてみようみ
Kerasで学ぶAutoencoder
Kerasの公式ブログにAutoencoder（自己符号化器）に関する記事があります。今回はこの記事の流れに沿って実装しつつ、Autoencoderの解説をしていきたいと思います。間違いがあれば指摘して下さい。また、Kerasの公式ブログはKerasでの実装に関してだけでなく、機械学習自体についても勉強になることが多く、非常におすすめです。 今回の記事では様々なタイプのAutoencoderを紹介しますが、日本語ではあまり聞き慣れないものもあるかと思いますので、今回は名称を英語で統一したいと思います。 目次 イントロダクション Undercomplete Autoencoder Sparse Autoencoder Deep Autoencoder Convolutional Autoencoder Denoising Autoencoder まとめ イントロダクション Autoencod
Kerasで学ぶ転移学習
前回記事では、KaggleのFacial Keypoints Detectionを題材にして、単純なニューラルネットワークから転移学習まで解説しました。 事前に学習した重みを読み込んだ後、全ての層で学習するのではなく、一部の層をフリーズさせることもできるという話を最後に少しだけしました。ちょうどその後、転移学習について詳細に解説しているKerasの公式ブログ記事が公開されましたこともあり、今回はこの記事を参考にしつつ、転移学習をメインに解説していきます。間違いがあれば指摘してください。今回もFacial Keypoints Detectionのデータを使って解説していくので、前回記事も是非合わせて読んでみてください。 また、Keras 1.0.4が公開されたのでまだの人はアップデートしておくと良いかと思います。 目次 転移学習 可視化 全結合層のみ学習（前回モデル） 全結合層+一部の畳み込
ChainerをKerasのように書く
概要 Chainerのネットワーク構造をKerasのように書きたい 構造を保存したい はじめに KerasというDeep Learningフレームワークがあります。 Kerasではレイヤーを以下のように作ることができます。 from keras.layers import Dense, Activation model.add(Dense(output_dim=64, input_dim=100)) model.add(Activation("relu")) model.add(Dense(output_dim=10)) model.add(Activation("softmax")) 上から順にデータが流れていくので非常にわかりやすいですね。 Chainerでも同等のことはできなくもないのですが、ネットワーク構造をハードコーディングする必要があります。 それの何が問題かというと、様々なハ
Kaggle Facial Keypoints DetectionをKerasで実装する
KaggleのチュートリアルにもなっているDaniel NouriさんのUsing convolutional neural nets to detect facial keypoints tutorial という記事の流れに沿って、Facial Keypoints DetectionをKerasで実装していきます。単純なモデルから徐々に複雑にしながら解説していきます。多少の機械学習の知識があることを前提にしますが、なるべく分かりやすく解説していきたいと思います。間違い・質問・提案などあれば遠慮なく連絡してください。 KerasはPythonで書くことができるTheanoとTensorFlowベースのライブラリです。直感的に書くことができる人気急上昇中のライブラリです。2015年3月に初公開され、2016年4月にKeras 1.0が公開されました。 Danielさんの記事ではLasagne
KerasをTensorFlowバックエンドで試してみた：「もっと多くの人に機械学習とDeep Learningを」という時代の幕開け - 渋谷駅前で働くデータサイエンティストのブログ
（左：Keras、右：MXnet） Kaggle Masterの間ではMXnetよりさらに人気なDeep Learningフレームワークというかラッパーが、@fchollet氏の手によるKeras。 Keras Documentation 結構苦心したのですが、ようやく手元のPython環境で走るようになったので、試してみました。なおKerasの概要と全体像についてはid:aidiaryさんが詳細な解説を書いて下さっているので、そちらの方を是非お読み下さい。 追記 Kerasは人気のフレームワークなので、僕なんぞがこんなブログ記事を書く前から素晴らしい紹介記事・スクリプトが幾つもあります。こちらでは参考までに以下のお二方のものをご紹介させていただきます。 Kerasはレゴブロックを組み合わせるかのようにして、簡単にディープラーニングのモデルを作成できる便利なライブラリです。これを使って楽し
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - jakebian/quiver: This is now a branch of
Keras.js - Run Keras models in the browser