日本語ツイートをEkmanの基本6感情で評価 - Qiita
import pandas as pd from os.path import join from sklearn.utils import shuffle emotions = ["happy", "sad", ["disgust", "disgust2"], "angry", "fear", "surprise"] dir_path = "gathering/ja_tweets_sentiment" size = 60000 df = [] for i, es in enumerate(emotions): if isinstance(es, list): for e in es: data = shuffle(pd.read_json(join(dir_path, "{}.json".format(e)))).iloc[:int(size/len(es))] data['label'
［失敗談］GANで戦車画像の生成 - Qiita
def build_generator(self): model = Sequential() model.add(Dense(input_dim=(self.z_dim + CLASS_NUM), output_dim=1024)) # z=100, y=10 model.add(BatchNormalization(momentum=0.8)) model.add(LeakyReLU(0.2)) model.add(Dense(128*8*8)) model.add(BatchNormalization(momentum=0.8)) model.add(LeakyReLU(0.2)) model.add(Reshape((8,8,128))) model.add(UpSampling2D((2,2))) model.add(Convolution2D(128,5,5,border_mo
KerasのImageDataGeneratorを継承してMix-upやRandom Croppingのできる独自のジェネレーターを作る - Qiita
KerasのImageDataGeneratorはData Augmentation（水増し）にとても便利ですが、最近水増しの方法がいろいろ研究されてきて物足りないなと感じることがあります。KerasオリジナルのImageDataGeneratorを継承・拡張して、独自のImageDataGeneratorを作る方法を考えてみました。 クラス継承なのでオリジナルのImageDataGeneratorと全く同じ感覚で使えます。 参考 以下のサイトを参考にしました。 Kerasでデータ拡張(Data Augmentation)後の画像を表示する flow_from_dirctoryで流した画像をpyplotで表示させる方法について解説されています。 新たなdata augmentation手法mixupを試してみた Mix-upの原著論文やその実装について解説されています。 Extending
Kerasで大容量データをModel.fit_generatorを使って学習する - Qiita
画像用のネットワークを調整する際、入力サイズを増やしたら、画像読込時にメモリに乗り切らなくなった問題を解消した際のメモです。 前提環境 Ubuntu 16.04 Keras 2.1.6 課題 学習に使う画像データの総容量が大きくなり、一度に読込できなくなった。 そのため、一定サイズ毎に区切りながらデータを読み込む必要が発生した。 概要 Model.fitの代わりに、Model.fit_generatorメソッドを使って学習する。 fit_generatorメソッドには、学習・検証データとして、Generatorオブジェクトを渡す。 Generatorオブジェクトは、バッチ単位にデータを提供する仕組みを実装する。 実装例 class MyGenerator(Sequence): """Custom generator""" def __init__(self, data_paths, dat
Variational Autoencoderを使った画像の異常検知 後編 （塩尻MLもくもく会＃7） - Qiita
前編では、ヒートマップを使って異常個所を可視化しました。 後編では、従来手法と提案手法を数値的に比較してみます。 使うツールは、ROC曲線です。 ROC曲線 ROC曲線は、ラベル間のデータ数に差があるときに使われます。 ROC曲線について、詳しく知りたい方はこちら↓を参考にしてください。 http://www.randpy.tokyo/entry/roc_auc 今回は、ラベル間のデータ数に大きな差はありませんが、論文にならって ROC曲線を描画します。最終的に、AUCを算出して、これが大きい方が優れた 異常検知器といえます。 コードの解説 コードの一部を解説します。 異常スコアの算出 論文によると、異常判定の基準は以下のとおりです。 このパッチ全てに関して異常度を算出し、少なくとも1枚が閾値を 超えてる場合、テストデータは異常であると判断した． パッチというのは、前編でお伝えした小窓に相
Google ColabでやるPyTorchとKerasの比較（DenseNetを例に） - Qiita
「PyTorchは速いぞ」という記事がいろいろ出てて気になったので、何番煎じかわかりませんが、どのぐらい速いんだろうと思って実験してみました。実験するのはこの前作ったDenseNetです。 環境 Google Colab GPUはTesla K80、ハードウェアアクセラレータはON Kerasのバージョンは2.1.6、PyTorchのバージョンは0.4.1 条件 Dense Netの論文の条件を若干アレンジしたものです。Data Augmentationはシンプルにしました。 成長率K=16とし、DenseNet-121と同じ構成のDenseNetを作る CIFAR-10を分類する Data Augmentationは左右反転、ランダムクロップのみ。 L2正則化（Weight Decay）に2e-4（0.0002）。ドロップアウトはなし オプティマイザーはAdam、初期の学習率は0.001
物体検出（ssd）で顔のきりとりを自動化したい。自分が用意した画像と自分の決めたCLASSで学習する - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 顔の識別、検索をしたいがデータを集めて切り取りする作業があまりにも鬼畜な作業なので自動化したくて頑張ってみる。 open cv では傾いた顔を認識しない、顔じゃないものを顔と認識するなどなどイマイチ。 物体検出というものがあるらしい ここ https://github.com/pierluigiferrari/ssd_keras にあるコードが自分の環境（TensorFlow 1.x、Keras 2.x）で動きそうだったので試してみた。 ssd300_inference.ipynbかssd512_inference.ipynbに従ってポ
(Kerasチュートリアル要約) 少ないデータでパワフルな画像分類を実現するために - Qiita
この要約は Building powerful image classification models using very little data | The Keras Blog ディープラーニングでの画像分類には、大量のデータが必要、とよく言われます。 また、ファインチューニングで画像分類を応用したい場合、データはあってもポイントがわからずに、正解率を上げるのに苦労することがあるかと思います。 このチュートリアルは、画像分類を本当に役立たせるためのポイントが解説されている貴重な資料なので、翻訳・要約してまとめました。 参考: こちらのブログでは翻訳を試みられています。 【ディープラーニング】少ないデータで効率よく学習させる方法：準備編 | ニートの言葉 はじめに 少ないデータしか利用できないケースはあるの? 高価な医療画像などでよくある話。 このチュートリアルでは、Dog vs. C
Keras with GridSearchCVでパラメータ最適化自動化 - Qiita
KerasでGridSearchCVをしてみた 機械学習のモデル精度はパラメータに左右されます。 モデル構築時に活性化関数や最適化アルゴリズム、中間層のユニット数等々、多数のパラメータを設定しますが、その時設定したパラメータが最適なものかは、トレーニングして実用してみるまでわかりません。 しかし機械学習の魅力は自動的に最適なモデルが生成されることです。 であれば、パラメータも自動的に最適化されても良いじゃないか！と思うわけです。 Pythonの機械学習で有名なscikit-learnにはGridsearchcvというモデル選択とパラメータチューニングまで可能なライブラリがあります。 実はKerasはscikit-learnをラッパーしており、GridsearchcvをKerasのモデル構築時に使用することができます。 というわけで、早速KerasのGridsearchcvしてみましょう。
KerasでVAT(Virtual Adversarial Training)を使ってMNISTをやってみる - Qiita
はじめに 注: [改良版]KerasでVAT(Virtual Adversarial Training)を使ってMNISTをやってみる の方がマシな実装だと思うので参考にしてください。 遅まきながら、VAT(Virtual Adversarial Training)という学習方法を知ったのですが、Kerasでの実装が見つからなかったので実装してみました。 VATは簡単にいうと、「通常の入力X→出力Y」と「なるべく結果が異なるように入力Xに微小なノイズdを入力に加えた入力(X+d)→出力Y'」から「KL-Divergence(Y, Y')」を損失関数に余分に加えて学習をする手法です。 これだけだと何言ってるかわからないと思うので、詳しくは元の論文か、この方の解説をご覧になると良いかと思います。 VATは学習における位置づけとしては「正則化」に近いという話で、DropoutやNoiseを加える
kerasの事前学習用のモデル - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? kerasで事前学習できるモデルの理解を深めるたい。 #大規模な画像認識のための非常に奥行きのあるコンビネーションネットワーク(VERY DEEP CONVOLUTIONAL NETWORKS FOR LARGE-SCALE IMAGE RECOGNITION) ##抜粋 本研究では、大規模な画像認識設定における畳み込みネットワークの深さがその精度に及ぼす影響を調べる。 私たちの主な貢献は、非常に小さい（3×3）畳み込みフィルタを備えたアーキテクチャを使用して、深度のネットワークを徹底的に評価することであり、深さを16-19ウェイトのレ
Kerasを乗せたDockerのイメージをECSでAPIとして利用するために、どのようなインスタンスを選択するべきか - Qiita
ECSでのリソースの割り当ては以下 c4.xlargeを使う場合の設定 c4.4xlargeを使う場合の設定 gunicornがkerasを積んだニューラルネットワークの計算を行うもの、nginx_gunicornはnginx （微妙なリソースの割り当て割合の差とか出ていますが...） 負荷をかけてみる Tsungを使って、予測するURLに負荷をかけてみました。 Tsungを積んだDockerで負荷テストを行う テスト内容は、180秒で2秒間に1回ユーザーが新規にアクセスをするといった感じ c4.xlarge * 4 c4.4xlarge * 1 結論を言うと、今回はスケールアップした方が負荷に対して強かった。 少しグラフの見方があっているかわからないので、正しい確証ないのですがcloudwatchなどと照らし合わせて考えると、c4.xlargeで待ちうける場合、ある時点からレスポンスの時
KerasでContainerのTrainable=Falseにしたときの挙動 - Qiita
はじめに KerasでネットワークのWeightを固定させて、別のLayerのみ学習したいということはしばしばあります。その時に何を気をつけたら良いかを調べたメモです。 Versions Python 3.5.2 Keras 2.0.2 検証 下記のようなModelを考えます。 ここのNormalContainer の部分のWeightを「更新したい」ときと、「更新したくない」ときがあるとします。 直感的には Container#trainable というPropertyにFalseを設定すれば良さそうですが、それでちゃんと意図通り動くのかやってみます。 コード # coding: utf8 import numpy as np from keras.engine.topology import Input, Container from keras.engine.training imp
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
文字ベースCNNによるツイート分類 (成功) - Qiita
【エラー】Cannot interpret feed_dict key as Tensor: Tensor Tensor... is not an element of this graph - Qiita
MNISTをkerasで深層学習 NN/CNN/RNN - Qiita
文字ベースCNNによるツイート分類 (失敗) - Qiita
KerasでImageNetのハンバーガーと自転車を分類した - Qiita
Kerasでfizzbuzz問題を解いてみる - Qiita
Kerasによる、ものすごくシンプルな深層学習の例 - Qiita
