Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

KerasのImageDataGeneratorはData Augmentation(水増し)にとても便利ですが、最近水増しの方法がいろいろ研究されてきて物足りないなと感じることがあります。KerasオリジナルのImageDataGeneratorを継承・拡張して、独自のImageDataGeneratorを作る方法を考えてみました。 クラス継承なのでオリジナルのImageDataGeneratorと全く同じ感覚で使えます。 参考 以下のサイトを参考にしました。 Kerasでデータ拡張(Data Augmentation)後の画像を表示する flow_from_dirctoryで流した画像をpyplotで表示させる方法について解説されています。 新たなdata augmentation手法mixupを試してみた Mix-upの原著論文やその実装について解説されています。 Extending
画像用のネットワークを調整する際、入力サイズを増やしたら、画像読込時にメモリに乗り切らなくなった問題を解消した際のメモです。 前提環境 Ubuntu 16.04 Keras 2.1.6 課題 学習に使う画像データの総容量が大きくなり、一度に読込できなくなった。 そのため、一定サイズ毎に区切りながらデータを読み込む必要が発生した。 概要 Model.fitの代わりに、Model.fit_generatorメソッドを使って学習する。 fit_generatorメソッドには、学習・検証データとして、Generatorオブジェクトを渡す。 Generatorオブジェクトは、バッチ単位にデータを提供する仕組みを実装する。 実装例 class MyGenerator(Sequence): """Custom generator""" def __init__(self, data_paths, dat
前編では、ヒートマップを使って異常個所を可視化しました。 後編では、従来手法と提案手法を数値的に比較してみます。 使うツールは、ROC曲線です。 ROC曲線 ROC曲線は、ラベル間のデータ数に差があるときに使われます。 ROC曲線について、詳しく知りたい方はこちら↓を参考にしてください。 http://www.randpy.tokyo/entry/roc_auc 今回は、ラベル間のデータ数に大きな差はありませんが、論文にならって ROC曲線を描画します。最終的に、AUCを算出して、これが大きい方が優れた 異常検知器といえます。 コードの解説 コードの一部を解説します。 異常スコアの算出 論文によると、異常判定の基準は以下のとおりです。 このパッチ全てに関して異常度を算出し、少なくとも1枚が閾値を 超えてる場合、テストデータは異常であると判断した. パッチというのは、前編でお伝えした小窓に相
「PyTorchは速いぞ」という記事がいろいろ出てて気になったので、何番煎じかわかりませんが、どのぐらい速いんだろうと思って実験してみました。実験するのはこの前作ったDenseNetです。 環境 Google Colab GPUはTesla K80、ハードウェアアクセラレータはON Kerasのバージョンは2.1.6、PyTorchのバージョンは0.4.1 条件 Dense Netの論文の条件を若干アレンジしたものです。Data Augmentationはシンプルにしました。 成長率K=16とし、DenseNet-121と同じ構成のDenseNetを作る CIFAR-10を分類する Data Augmentationは左右反転、ランダムクロップのみ。 L2正則化(Weight Decay)に2e-4(0.0002)。ドロップアウトはなし オプティマイザーはAdam、初期の学習率は0.001
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 顔の識別、検索をしたいがデータを集めて切り取りする作業があまりにも鬼畜な作業なので自動化したくて頑張ってみる。 open cv では傾いた顔を認識しない、顔じゃないものを顔と認識するなどなどイマイチ。 物体検出というものがあるらしい ここ https://github.com/pierluigiferrari/ssd_keras にあるコードが自分の環境(TensorFlow 1.x、Keras 2.x)で動きそうだったので試してみた。 ssd300_inference.ipynbかssd512_inference.ipynbに従ってポ
images_train = mnist.train.images labels_train = mnist.train.labels images_test = mnist.test.images labels_test = mnist.test.labels images_train_3d = np.reshape(images_train, [-1, 28, 28]) images_test_3d = np.reshape(images_test, [-1, 28, 28]) images_flip_train_3d = images_train_3d[:, :, ::-1] images_flip_test_3d = images_test_3d[:, :, ::-1] images_flip_train = np.reshape(images_flip_train_3d, [-1
images_train = mnist.train.images labels_train = mnist.train.labels images_test = mnist.test.images labels_test = mnist.test.labels # for train data indices = np.random.choice(55000, 10000, replace = False) images_train_0 = images_train[indices] images_train_0_2d = np.reshape(images_train_0, (-1, 28, 28)) labels_train_0 = labels_train[indices] images_train_flip_2d = images_train_0_2d[:, :, ::-1] i
2018-08-19 13:25:37.227703: I T:\src\github\tensorflow\tensorflow\core\platform\cpu_feature_guard.cc:141] Your CPU supports instructions that this TensorFlow binary was not compiled to use: AVX2 2018-08-19 13:25:37.534817: I T:\src\github\tensorflow\tensorflow\core\common_runtime\gpu\gpu_device.cc:1405] Found device 0 with properties: name: GeForce GTX 1060 3GB major: 6 minor: 1 memoryClockRate(GH
class DecisionTree(): def __init__(self): pass def weight_variable(self, name, shape): initializer = tf.truncated_normal_initializer(mean = 0.0, stddev = 0.01, dtype = tf.float32) return tf.get_variable(name, shape, initializer = initializer) def bias_variable(self, name, shape): initializer = tf.constant_initializer(value = 0.0, dtype = tf.float32) return tf.get_variable(name, shape, initializer
概要 最近は機械学習、ディープラーニングの話題が非常にたくさん出てきていますね。 ということで、そろそろしっかり機械学習、ディープラーニングに手を出しておかないとということで勉強を始めました。 が、まずその前に、(観測している範囲だと)大体Pythonを使って作られている・説明されているケースが多いので、機械学習向けとしてPython入門って形でメモを書きたいと思います。 自分自身、あまりPythonに触れたことがないのでたんに備忘録ですw ちょっとした文法だったり、ディープラーニングに用いられるライブラリの使い方だったり、がメインです。 なので、がっつりPython入門したい! という人には不向きな記事になってます。 なお、いくつかの関数についてはこちらの本を参考にさせてもらっています。 ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 impo
#環境 Windows10 GTX1060 Intel Corei7-7700HQ 64bit python 3.6.5 Anaconda #VisualStudio2015のダウンロード https://my.visualstudio.com/Downloads?q=Visual%20Studio%202015%20with%20Update%203 ※マイクロソフトのIDとパスワード(プロファイル)が必要 ※Visual C++とWindows10 SDK VisualStudio2015で後から機能追加する方法 プログラムの追加と削除からVisualStudio2015with~を選択して変更。 Visual C++ Python tools ユニバーサル Windows アプリ開発ツール の3つにチェックを入れる。 確認 「Microsoft Visual Studio の C/C
はじめに この夏にRNNと,経路計画,強化学習の基礎知識を一通り身に着けることを目標にしています!のでその一環です 参考にした本 ゼロから作るDeep Learning ❷ ―自然言語処理編 斎藤 康毅 オライリージャパン ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 斎藤 康毅 オライリージャパン 詳解 ディープラーニング ~TensorFlow・Kerasによる時系列データ処理~ 巣籠 悠輔 マイナビ出版 今回のプログラム https://github.com/Shunichi09/RNN_practice/tree/master/trying 本記事の概要 RNNにおけるデータセットの作成方法についてまとめました また,基本的なRNNを理解するために,よくあるsin波の予測を行うプログラムを書いてみました ただ,フルスクラッチで書いてます
images_train = mnist.train.images labels_train = mnist.train.labels images_test = mnist.test.images labels_test = mnist.test.labels import skimage.transform # for train data indices = np.random.choice(55000, 10000, replace = False) images_train_0 = images_train[indices] images_train_0_2d = np.reshape(images_train_0, (-1, 28, 28)) labels_train_0 = labels_train[indices] #images_train_flip_2d = image
背景 TensorFlow GPU版の評価環境において、tf.truncated_normal()を用いて、大量の乱数データ生成を試みるとエラーになることがわかった。 他の処理においても、GPU環境でのみエラーが多発し、ハードウェア的な制約が原因の可能性も考えられ、すぐに解決することが難しいと感じた。 気軽にGPU資源を活用するために、処理によってCPUとGPUを使い分ける必要があると感じ、その方法を調査した。 環境 iMac14,2 Intel Core i7 3.5 GHz プロセッサー数: 1 コア数: 4 システムメモリ: 8 GB NVIDIA GeForce GTX 775M VRAM: 2048 MB TensorFlow 1.10.0 (GPUを利用設定でソースからコンパイル) データ処理の設計について ドライブ、システムメモリ、VRAMで容量が異なり、各デバイスの長所を活
Adversarial Discriminative Domain Adaptation (ADDA) の実装に関するメモMachineLearningDeepLearningTensorFlowGANDomain-Adaptation images_train = mnist.train.images labels_train = mnist.train.labels images_test = mnist.test.images labels_test = mnist.test.labels import skimage.transform # for train data indices = np.random.choice(55000, 10000, replace = False) images_train_0 = images_train[indices] images_tra
論文まとめ:TernausNet: U-Net with VGG11 Encoder Pre-Trained on ImageNet for Image SegmentationDeepLearningCNNTensorFlowUnetSemanticSegmentation はじめに KaggleのCarvana Image Masking Challengeで1位を取ったモデル:TernausNet の論文をまとめてみた。 [1] V. Iglovikov, et. al. "TernausNet: U-Net with VGG11 Encoder Pre-Trained on ImageNet for Image Segmentation" arXiv:https://arxiv.org/abs/1801.05746 著者らのGithubコードは公開されている。 https://gi
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く