こんにちは、データチームの後藤です。この記事では、一般物体認識で優秀な成績を収めた代表的なニューラルネットワークモデルを、ファッションアイテムの画像データに対して適用し、どのアーキテクチャが有用か、どれだけの精度を出せるのかを調べる実験を行います。 今回は、 AlexNet Network In Network GoogLeNet DenseNet の4つのアーキテクチャを試しました。 背景 iQONでは毎日500以上のECサイトをクロールし、一日平均1万点もの新着アイテムを追加しています。この過程で、新着アイテムがiQONのどのカテゴリに属するのかを決める必要がありますが、この作業を人手で行うと膨大なコストになってしまいます。この問題に対して我々は、アイテムの名前や説明文、画像データを活用してカテゴリを判別する仕組みを作りました。とくに画像データによる判別には、畳み込みニューラルネットワ

Batch Normalizationとは何か 内部の共変量シフト アルゴリズム Batch Normalizationのメリット 大きな学習係数が使える 正則化効果がある 初期値にそれほど依存しない Batch Normalizationを実装してみよう TFLearnのインストール CIFAR-10の画像分類で検証 まずはCNNでネットワークを構築 Batch Normalizationを適用 Dropoutを追加する まとめ シンプルでありながら、Deep Learningにおいて必須ツールとなったBatch Normalizationはとても強力な手法だ。Batch Normalizationは他の開発者や研究者からも評判が高く Chainerを使ってコンピュータにイラストを書かせる には 一番効いてきているのがBatch NormalizationとAdamでした．これ入れないと

Deep Learningの各階層の入力データの分布は、学習の過程において、下位層のパラメータが更新されることにより変化する。各階層の勾配は、ミニバッチ内で平均をとることにより推定しているが、この分布の変化により推定に、ミニバッチごとに異なるバイアスが乗りやすくなる。そのため、学習が不安定になるという問題がある。この問題は、internal convariance shiftと呼ばれている。この問題を解決するために、下記の論文では各階層の入力分布をミニバッチごとに平均=0と分散=1とに正規化するbatch normalizationという方法が提案されている。 http://arxiv.org/pdf/1502.03167v3.pdf 今回は、chainerにてBatch normalizationを、各CNNに２つの方法で適用してみた。 １）下記のようにconvと非線形な活性化関数ReL

Dropoutとは何か Dropoutを実装してみよう TFLearnのインストール Dropoutを適用するコツ クレジットカードの審査判定を自動化する ニューラルネットワークを構築する まずはDropoutなしで実行 隠れ層にDropout0.5、入力層に0.2で設定しよう まとめ ディープラーニングが世間に広まるようになったのは、2012年頃。画像認識のコンペティションでディープラーニングのチームが圧勝してからだ。 このあたりから、ディープラーニングを使った機械学習モデルが各種state-of-the-artを更新していくこととなる。 DropoutはHinton氏によって2012年に提案された、ニューラルネットワークの過学習を防ぐためのシンプルかつパワフルな手法だ。 本記事では、 Dropoutとはなにか Dropoutの実装方法 Dropout最適化のコツ を紹介する。 Drop

動機 Residual Networkのようなdeeeepなニューラルネットワークを使ってみたいと思いました。 MNISTでは物足りなく、ImageNetはデータ集めるのが大変そう&学習に時間がかかりそう、という理由でCIFAR-10画像データセットをつかって画像の分類を行いました。 CIFAR-10画像データセットとは CIFAR-10画像データセットは小さいサイズのカラー画像のデータセットです https://www.cs.toronto.edu/~kriz/cifar.html 画像サイズは32 x 32px 10クラスの画像がそれぞれ6000枚、計60000枚の画像がある そのうち50000枚が学習データ、10000枚がテストデータ クラスはairplane, automobile, bird, cat, deer, dog, frog, horse, ship, truck 実行

[Survey]Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate ShiftDeepLearning この論文は、データの新しい変換方法の提案論文です。 著者はBatch Normalizationと読んでいる。著者いわく、バッチ毎のデータの分布の違い（internal covariate shift)により、学習の収束がおそくなったり、初期値パラメータを慎重に決めなければならなかったと言っています。Batch Normalizationを導入することにより以下の利点があるそうです。 利点 ・学習が早く進む（learning rateに大きな値を使うことができる） ・初期値依存性を軽減できる ・初期化を気にしなくて良い ・Dropoutの必要性を減らせる Algori

今話題のDeep Learning(深層学習)フレームワーク、Chainerに手書き文字の判別を行うサンプルコードがあります。こちらを使って内容を少し解説する記事を書いてみたいと思います。 (本記事のコードの全文をGitHubにアップしました。[PC推奨]) とにかく、インストールがすごく簡単かつ、Pythonが書ければすぐに使うことができておすすめです！ Pythonに閉じてコードが書けるのもすごくいいですよね。 こんな感じのニューラルネットワークモデルを試してみる、という記事です。 主要な情報はこちらにあります。 Chainerのメインサイト ChainerのGitHubリポジトリ Chainerのチュートリアルとリファレンス 1. インストール まずは何はともあれインストールです。ChainerのGitHubに記載の"Requirements" ( https://github.co

A Powerful, Flexible, and Intuitive Framework for Neural Networks Get Started Learn More