You’re running out of time to join the Startup Battlefield 200, our curated showcase of top startups from around the world and across multiple industries. This elite cohort — 200…
深層ニューラル・ネットワークの効率を劇的に上げる「蒸留」 2016.09.30 Updated by Ryo Shimizu on September 30, 2016, 12:59 pm JST 深層ニューラル・ネットワークの世界はつくづく進歩が著しいと思います。 筆者も日々怒涛のように押し寄せる新情報を取捨選択しながら、毎日異なる人工知能をプログラミングしてやっと追いついている、というのが実情です。額に汗しながら必死でこの恐ろしくも妖しい魅力を放つ怪物と寄り添おうとしています。 最近ようやく、機械学習ばかりやっている人たちが、実用的に機械学習を使うことよりも、機械が上手く学習できるようになることに喜びを見出す気持ちが分かってきました。 筆者は基本的にどんな技術にも実用性が第一と考え、そもそも一定以上複雑な事柄はブラックボックスとして理解しなくてもいい、という立場です。 しかしそれでも、
チュッス!オレだ。 あちら側でニューラル・ネットワークの蒸留がヤバイぜみたいな話になっているけど、あっちはあっちであんまり技術的要素強めの内容は書けないので実際に実験してみたオレの回顧録をここに記しておく。 蒸留について詳しくはあっちの記事を読んでほしいんだけど、かいつまんで言うと、要は勇気がないんでしょ・・・じゃなくて、複雑なネットワークをより単純なネットワークで置き換える手法である。 たとえばGoogLeNetで解析した画像をよりシンプルな構造のネットワークに転写することができるというわけだ。 ほんとかよ。 で、最初ためしに適当に作ってみたら・・・ わかりますかこの圧倒的絶望感 lossの値に注目 e+29ですよ。つまり0が29も付くんですよ。 たしかにlossは下がってるから学習はできているのだろう。 だがしかし!だがしかし!こんなんじゃいつまで経っても無理じゃんか なにがいけないの
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く