Kerasで大容量データをModel.fit_generatorを使って学習する - Qiita
画像用のネットワークを調整する際、入力サイズを増やしたら、画像読込時にメモリに乗り切らなくなった問題を解消した際のメモです。 前提環境 Ubuntu 16.04 Keras 2.1.6 課題 学習に使う画像データの総容量が大きくなり、一度に読込できなくなった。 そのため、一定サイズ毎に区切りながらデータを読み込む必要が発生した。 概要 Model.fitの代わりに、Model.fit_generatorメソッドを使って学習する。 fit_generatorメソッドには、学習・検証データとして、Generatorオブジェクトを渡す。 Generatorオブジェクトは、バッチ単位にデータを提供する仕組みを実装する。 実装例 class MyGenerator(Sequence): """Custom generator""" def __init__(self, data_paths, dat
Variational Autoencoderを使った画像の異常検知 後編 （塩尻MLもくもく会＃7） - Qiita
前編では、ヒートマップを使って異常個所を可視化しました。 後編では、従来手法と提案手法を数値的に比較してみます。 使うツールは、ROC曲線です。 ROC曲線 ROC曲線は、ラベル間のデータ数に差があるときに使われます。 ROC曲線について、詳しく知りたい方はこちら↓を参考にしてください。 http://www.randpy.tokyo/entry/roc_auc 今回は、ラベル間のデータ数に大きな差はありませんが、論文にならって ROC曲線を描画します。最終的に、AUCを算出して、これが大きい方が優れた 異常検知器といえます。 コードの解説 コードの一部を解説します。 異常スコアの算出 論文によると、異常判定の基準は以下のとおりです。 このパッチ全てに関して異常度を算出し、少なくとも1枚が閾値を 超えてる場合、テストデータは異常であると判断した． パッチというのは、前編でお伝えした小窓に相
「エアコン消したっけ？」をAIでなくそう！ - Qiita
1.概要 CNNをつかって、家のエアコンのオン・オフを見分けるAIをつくりました。 2.はじめに Aidemyで「ディープラーニングで画像認識モデルを作ってみよう！」の受講ルートを勉強しました。なにかアウトプットをしようと思って、この記事を書きました。 ぼくはエアコンのスイッチを消したか覚えてなくて気になることが多いです。そこで、AIでエアコンのオン・オフを判別できたら便利だなと思い作ってみました。 強迫性障害のひとにとってはすごく大事な問題です。友達に強迫性障害のような症状をもっているひとがいて、「ドアのカギを何度も確認したくなって辛い」と言っていました。 強迫性障害では、自分でもつまらないことだとわかっていても、そのことが頭から離れない、わかっていながら何度も同じ確認をくりかえしてしまうことで、日常生活にも影響が出てきます。意志に反して頭に浮かんでしまって払いのけられない考えを強迫観念
Google ColabでやるPyTorchとKerasの比較（DenseNetを例に） - Qiita
「PyTorchは速いぞ」という記事がいろいろ出てて気になったので、何番煎じかわかりませんが、どのぐらい速いんだろうと思って実験してみました。実験するのはこの前作ったDenseNetです。 環境 Google Colab GPUはTesla K80、ハードウェアアクセラレータはON Kerasのバージョンは2.1.6、PyTorchのバージョンは0.4.1 条件 Dense Netの論文の条件を若干アレンジしたものです。Data Augmentationはシンプルにしました。 成長率K=16とし、DenseNet-121と同じ構成のDenseNetを作る CIFAR-10を分類する Data Augmentationは左右反転、ランダムクロップのみ。 L2正則化（Weight Decay）に2e-4（0.0002）。ドロップアウトはなし オプティマイザーはAdam、初期の学習率は0.001
Google ColaboratoryでMXNetバックエンドの高速Kerasを体験しよう - Qiita
以前の記事でKeras遅いなとぼやいたら「MXNetをバックエンドにすると速いよ」と指摘してくださった方がいたので、どうにかしてGoogle Colabで使う方法を模索してみました。Colabで使う情報が全くなかったので書きます。 Keras+MXNetは速い KerasのMXNetのバックエンドは、Amazonにより開発が進められています。 AWSLabsが公開しているベンチマークによると、ResNet50を使ったCIFAR10の分類で、TensorFlowのバックエンドよりもMXNetのバックエンドのほうが1.5倍～4倍程度速いとの結果が出ています。 Instance Type GPUs Batch Size Keras-MXNet (img/sec) Keras-TensorFlow (img/sec)
物体検出（ssd）で顔のきりとりを自動化したい。自分が用意した画像と自分の決めたCLASSで学習する - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 顔の識別、検索をしたいがデータを集めて切り取りする作業があまりにも鬼畜な作業なので自動化したくて頑張ってみる。 open cv では傾いた顔を認識しない、顔じゃないものを顔と認識するなどなどイマイチ。 物体検出というものがあるらしい ここ https://github.com/pierluigiferrari/ssd_keras にあるコードが自分の環境（TensorFlow 1.x、Keras 2.x）で動きそうだったので試してみた。 ssd300_inference.ipynbかssd512_inference.ipynbに従ってポ
5916
--------------------------------------------------------------------------- ValueError Traceback (most recent call last) <ipython-input-76-52ca495a8e09> in <module>() ----> 1 model, layer_dict, classifier_sizes = load_model('./model_0.h5') /Users/pierluigiferrari/anaconda/envs/carnd-term1/lib/python3.5/site-packages/keras/models.py in load_model(filepath, custom_objects) 258 metrics=metrics, 259 l
Autonomous cars for the rest of us
Everything you need to build your own self driving platform for small scale cars with RaspberryPi, Python and deep learning frameworks like PyTorch and TensorFlow How to get involved: • Join us on the Donkeycar Discord channel or Discourse forum • Build a Donkeycar using RaspberryPi and neural networks • Attend our San Francisco Bay Area race/hack days • Join one of the dozens of other Meetup grou
R Interface to Keras
Keras is a high-level neural networks API developed with a focus on enabling fast experimentation. Being able to go from idea to result with the least possible delay is key to doing good research. Keras has the following key features: Allows the same code to run on CPU or on GPU, seamlessly. User-friendly API which makes it easy to quickly prototype deep learning models. Built-in support for convo
Deploying Keras Deep Learning Models with Flask
The examples covered in this post will serve as a template/starting point for building your own deep learning APIs … Some of the issues that I’ll cover include handling a custom metric when using model persistence with Keras, dealing with multi-threading concerns when using Keras in combination with Flask, and getting it all running on an EC2 instance. The complete code listing for this post is av
AutoKeras: The Killer of Google’s AutoML
Google AI has finally released the beta version of AutoML, a service that some are saying will change the way we do deep learning entirely. Google’s AutoML is a new cloud software suite of Machine Learning tools. It’s based on Google’s state-of-the-art research in image recognition called Neural Architecture Search (NAS). NAS is basically an algorithm that, given your specific dataset, searches fo
直感 Deep Learning
直感的かつ短いコードでアイデアを形にできるKerasはTensorFlowのラッパーとして大人気のライブラリです。本書でもTensorFlowをバックエンドとして使用し、自然言語処理、画像識別、画像生成、音声合成、テキスト生成、強化学習、AIゲームプレイなどさまざまなモデルをPythonとKerasで実装します。対象読者は、各種のディープラーニングを素早く実装したいプログラマー、データサイエンティスト。ディープラーニングを支える技術の速習にも好適です。数式はなるべく使わずにコードと図で説明します。ニューラルネットワークおよびPython 3の基本を理解している人であれば誰でも始めることができます。 目次 訳者まえがき まえがき 1章 ニューラルネットワークの基礎 1.1 パーセプトロン 1.1.1 最初のKerasのコードの例 1.2 多層パーセプトロン：最初のネットワークの例 1.2.1
keras データセット作成、画像分類 - Qiita
kerasでサンプルのmnistだけやって、そのまま放置していたけどちょっと頑張ってやってみよう！と思い立ったのでその記録。 mnistのサンプルだとデータセットも用意されているし、なにより一つのファイルで全部やってるのでよくわかんなかったので 個別に作ってみようと思います。(numpyの使い方を理解していないので、先人の知恵を拝借しまくりました） データセット作成1（画像の準備） 女優さんの顔を分類するのがやってて苦ではないので黒木華さん、多部未華子さん、忽那汐里さん、松岡茉優さん、福原遥さんの5人で やってみようかと思います。 一枚一枚集めるの大変なので、グーグルで画像検索した画面をプリントスクリーンしました。 そのファイルからopenCVで顔のみを検出しています。（顔じゃないファイルや違う人のファイルも複数出来てしまうのでそれの削除は手作業で） 画像ファイルが少ないので、またopen
AWS 深層学習 AMI の最新情報: 最適化された TensorFlow 1.9、Apache MXNet 1.2、Keras 2 など
Ubuntu および Amazon Linux 用の AWS 深層学習 AMI に、ハイパフォーマンスなトレーニング用に最適化された TensorFlow 1.9 のカスタムビルド、パフォーマンスおよび使いやすさが改善された最新の Apache MXNet 1.2、ハイパフォーマンスなマルチ GPU トレーニングに対応している Keras 2-MXNet の新しいバックエンド、MXNet トレーニングモデルのデバッグおよび可視化が改善された MXBoard の新しいツールが追加されました。 最適化された TensorFlow 1.9 を使用した高速なトレーニング 深層学習 AMI には、ソースコードから直接カスタム構築され、TensorFlow 1.9 でコンピューティング最適化されているビルドが使用されているため、Intel Xeon Platinum プロセッサで動作する Amazon
(Kerasチュートリアル要約) 少ないデータでパワフルな画像分類を実現するために - Qiita
この要約は Building powerful image classification models using very little data | The Keras Blog ディープラーニングでの画像分類には、大量のデータが必要、とよく言われます。 また、ファインチューニングで画像分類を応用したい場合、データはあってもポイントがわからずに、正解率を上げるのに苦労することがあるかと思います。 このチュートリアルは、画像分類を本当に役立たせるためのポイントが解説されている貴重な資料なので、翻訳・要約してまとめました。 参考: こちらのブログでは翻訳を試みられています。 【ディープラーニング】少ないデータで効率よく学習させる方法：準備編 | ニートの言葉 はじめに 少ないデータしか利用できないケースはあるの? 高価な医療画像などでよくある話。 このチュートリアルでは、Dog vs. C
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
文字ベースCNNによるツイート分類 (失敗) - Qiita
KerasでCNNしたった - Qiita
直感 Deep Learning | 10001 ideas
GitHub - daigo0927/WGAN_GP: Keras model and tensorflow optimization of 'improved Training of Wasserstein GANs'
KerasでImageNetのハンバーガーと自転車を分類した - Qiita
