![長文日記](https://cdn-ak-scissors.b.st-hatena.com/image/square/03f2d61299b583bd4e7f209cf752cc0de677b918/height=288;version=1;width=512/https%3A%2F%2Fi.gyazo.com%2F916aa504be759cb519048ae45fc6f3c5.png)
チュッス!オレだ。 あちら側でニューラル・ネットワークの蒸留がヤバイぜみたいな話になっているけど、あっちはあっちであんまり技術的要素強めの内容は書けないので実際に実験してみたオレの回顧録をここに記しておく。 蒸留について詳しくはあっちの記事を読んでほしいんだけど、かいつまんで言うと、要は勇気がないんでしょ・・・じゃなくて、複雑なネットワークをより単純なネットワークで置き換える手法である。 たとえばGoogLeNetで解析した画像をよりシンプルな構造のネットワークに転写することができるというわけだ。 ほんとかよ。 で、最初ためしに適当に作ってみたら・・・ わかりますかこの圧倒的絶望感 lossの値に注目 e+29ですよ。つまり0が29も付くんですよ。 たしかにlossは下がってるから学習はできているのだろう。 だがしかし!だがしかし!こんなんじゃいつまで経っても無理じゃんか なにがいけないの
深層ニューラル・ネットワークの効率を劇的に上げる「蒸留」 2016.09.30 Updated by Ryo Shimizu on September 30, 2016, 12:59 pm JST 深層ニューラル・ネットワークの世界はつくづく進歩が著しいと思います。 筆者も日々怒涛のように押し寄せる新情報を取捨選択しながら、毎日異なる人工知能をプログラミングしてやっと追いついている、というのが実情です。額に汗しながら必死でこの恐ろしくも妖しい魅力を放つ怪物と寄り添おうとしています。 最近ようやく、機械学習ばかりやっている人たちが、実用的に機械学習を使うことよりも、機械が上手く学習できるようになることに喜びを見出す気持ちが分かってきました。 筆者は基本的にどんな技術にも実用性が第一と考え、そもそも一定以上複雑な事柄はブラックボックスとして理解しなくてもいい、という立場です。 しかしそれでも、
シン・ゴジラとAI ―人工知能のIQをどう測るか Godzilla vs AI 2016.09.25 Updated by Ryo Shimizu on September 25, 2016, 08:40 am JST 巷で話題のシン・ゴジラですが、「今日あたりそろそろ落ち着いているかな」と、立川の極上爆音上映を朝から見に行こうかと思ったらなんとほぼ満席。未だにコレだけ人気があるというのは凄いことです。 これはもう平日行くしかないのか。ちなみに明日の朝の回も殆ど埋まっていました。凄いですね。 絶望的な気分になったので不貞腐れてシン・ゴジラとAIについて思っていたことを書いてみたいと思います。ネタバレがアリますので未見の人はまず映画館に行ってください。 あるとき突然東京湾に出現したゴジラ。ゴジラに対抗する日本政府には、特別な秘密兵器や非現実的な超科学がなにもありません。 あくまで現実に巨大不
やあみんな、畳み込んでるかな? 今日はMicrosoft先生が昨年発表した152層というノイローゼのような超深層のニューラル・ネットワークの話をしよう。 GoogLeNetが、Inceptionモジュールという組を作って、Inceptionモジュールごとにlossを逆伝播させてやることで層を深くしていたことはみんなもよく知っていると思う。 これがInceptionモジュール Pervious layerから入力された特徴が1x1の畳み込みや3x3の畳み込みを経由して最終的には統合される。 これをノイローゼのように繰り返し繰り返し深くしていって、38層という非常に深いネットワークを構築している。 図で黄色で表されたところがSoftmax層で、要はここで推定しているわけだから、lossを返すのはこの三箇所ということになる。 GoogLeNetは層が深い割には計算量が少ない。そのかわり、学習させ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く