2015年振り返り
2015 年も残りわずか数時間です． 今年もおつかれさまでした． 個人的に今年を振り返りたいと思います． Deep Learning 個人的に一番大きかった出来事はやはり Chainer でした． Theano や Torch7 がつらくて，特に RNN をもっと直感的にかけないものかと社内で議論していて，そのうちにできる気がしてきて作りました． こんなに大事になるとは思っていませんでした． 見知らぬ人が使ってくれているのを見ると，すごいことになったなと思います． さて，Deep Learning の中身の話としても，今年もいろいろと進展がありました． 最もインパクトがあったのは，BatchNormalization ではないかと思います． もともと ImageNet のタスクで出てきた手法ですが，汎用性が高く，今までうまく最適化できなかったいろいろな NN がこれのおかげで成功し始めてい
NIPS2014読み会で深層半教師あり学習の論文を紹介しました
今週の火曜日 (1/20) に東大で NIPS2014 読み会 が開かれました． NIPS 自体の参加者数が増えているのと同様に，読み会も去年にくらべてさらに多くの人が集まりました． その中で僕もひとつ論文を紹介しました． 紹介した論文の著者は，スライド中にも出てくる変分 AutoEncoder の考案者です． 変分 AE では，生成モデルと認識モデルをそれぞれニューラルネットで定義して，確率変数としてそれらの出力をパラメータとする正規分布を使いました． 生成モデルを認識モデルで近似したときの変分下界は，認識モデルに関する期待値の形をしています． このように，最適化の対象となる分布に関する期待値の最適化は，一般には REINFORCE アルゴリズムによる勾配法を使います． REINFORCE アルゴリズムは，期待値を積分で書いた時に，積の微分を使って勾配を計算し，それを対数微分の公式 $x
Denoising Autoencoderとその一般化
Machine Learning Advenc Calendar 2013の23日目担当の得居です。 株式会社Preferred InfrastructureでJubatusを作ったりしています。 今日は深層学習(deep learning)の話です。 深層学習はこの2年ほどで専門外の人にも知れ渡るほどに大流行しました。 データさえ大量にあればテクニック次第で他の手法を圧倒する性能を達成できることから、特に大量のデータを持つ大企業において大々的な参入が相次ぎました。 主に流行っているのは教師あり学習です。 補助として教師なし学習による事前学習(pretraining)も、特に音声認識のタスクにおいては行われているようですが、画像認識を中心に事前学習なしでもテクニック次第で学習できるという見方が強まっています。 一方で教師なしデータからの学習はブレイクスルー待ちといった雰囲気です。 Deep
2014年ふりかえり
2014年を個人的にふりかえります。 Deep Learning 今年は、Deep Learning を追い続ける一年でした。 画像認識の Deep Learning は、テクニックとしてはだいぶ成熟してきた感じがします。 今年は特に検出の性能が大幅に上がりました（GoogLeNet + MultiBox など）。 自然言語処理の Deep Learning もスピード感が出てきました。 それ以外にも、RNN がまともに学習できるようになってきて、面白いタスクが続々出てきました。 教師なし学習は相変わらず、着々と進みつつもまだブレイクスルーはない印象です。 深い有向確率モデルの研究が今年は盛んでした。 一方、RBM ベースの手法は成熟してきて、モデルをいじって応用する段階にあるようです。 理論的にはあまり進展がありませんでした。 Dropout の解析や応用は進んでいる印象があります。 今
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
