[B! fine-tuning] takuya0411のブックマーク

【機械学習】ChainerでGoogLeNetから画像をファインチューニングでお手軽学習【わずか22行で】:電脳ヒッチハイクガイド:電脳空間カウボーイズZZ(電脳空間カウボーイズ) - ニコニコチャンネル:生活

みんな深層学習してるかな? さて、GoogLe Netとか、みんな好きかな?オレはわりと好き。なにしろプリトレインドモデルがあるからお手軽なんだよね。そこが好き。あと、なにしろalexnetはデカすぎる。なんでこんなにデカイんだ、という感じ。まあ1GBくらいなんだけど、Raspberry Piだと普通に読み込めないほど巨大なのよね。しかし自分で作ったニューラル・ネットワークにImageNetのILSVRC2012を学習させようとするとやばいことになる。なんということでしょう。この圧倒的絶望感 SSDonlyでこのスピードですからね。 9日経っても1エポックすら進んでいないとは一説によると、GoogleのGPU(TPU?)ファームは3万GPU(Maxwell世代だと合計約1億2千万コア)あるらしく、1000GPU(300万コア)でILSVRC2012の学習に1日かかるらしい。火

takuya0411 2017/01/29

リンク

VGG16のFine-tuningによる犬猫認識 (1) - 人工知能に関する断創録

VGG16はILSVRCのコンペ用に学習されたニューラルネットなのでImageNetの1000クラスを認識できる。しかし、前の記事（2017/1/4）で実験したように「ひまわり」のようなImageNetに存在しないクラスはそのままでは認識できない。この問題を解決するためVGG16の高い認識能力を継承しつつ、新しい独自のクラス（今回は犬か猫かの2クラス）を認識できるように少量のデータでニューラルネットの重みを再調整することをFine-tuningという*1。「少量のデータで」というところがすごく重要。もし大量データでないとダメだったらAWSの利用料で破産するのでこの記事は書けない(^^;; 今回は、Keras Blogの - Building powerful image classification models using very little dat を参考に犬と猫の2クラス認識を

takuya0411 2017/01/14

リンク

【ディープラーニング】少ないデータで効率よく学習させる方法：準備編 - ニートの言葉

こんにちは。あんどう（@t_andou）です。ディープラーニングによる学習精度を上げるためには大量のデータが必要と言われていますが、学習済みのモデルを流用することで少ないデータから効率よく・高精度な学習をさせることが可能な場合があります。それが Fine Tuning と言われるものです。具体的なやり方については↓こちらの記事がとてもわかりやすかったので、著者のFrancois Cholletさんより許可を頂き、翻訳させていただきます。 Building powerful image classification models using very little data 注意：意訳しています。間違っているところも多々あると思いますので、ご指摘いただけると幸いです。本文が長いので3回程度に分けて投稿する予定です。データの準備・データの水増し 1から小さな畳み込みニューラルネットワ