はてなブックマーク

2015 年 4 月 12 日に Chainer の最初のコードをコミットしてから，およそ 4 年半と少しが経ちました．はじめのはじめは軽い気持ちで書きはじめたコードでしたが，今では一線級の研究を立派に支えるまでになりました．深層学習フレームワークの世界も当時とは様変わりして（当時は TensorFlow も PyTorch もなかったわけですから，本当に変わりました），思えば遠くにきたものです． 今日，PFN は社内の研究開発に用いる主なフレームワークを PyTorch に移行すると発表しました．会社にとってももちろんですが，業務としてはこの 4 年半，Chainer 一筋でやってきた自分にとっては特に，大きな転換点です． まず率直な感想として，Chainer の開発は本当に楽しかったです．書きはじめた頃は，深層学習フレームワーク競争の真っ只中で，Theano の上に乗っかるフレームワー

2015 年も残りわずか数時間です． 今年もおつかれさまでした． 個人的に今年を振り返りたいと思います． Deep Learning 個人的に一番大きかった出来事はやはり Chainer でした． Theano や Torch7 がつらくて，特に RNN をもっと直感的にかけないものかと社内で議論していて，そのうちにできる気がしてきて作りました． こんなに大事になるとは思っていませんでした． 見知らぬ人が使ってくれているのを見ると，すごいことになったなと思います． さて，Deep Learning の中身の話としても，今年もいろいろと進展がありました． 最もインパクトがあったのは，BatchNormalization ではないかと思います． もともと ImageNet のタスクで出てきた手法ですが，汎用性が高く，今までうまく最適化できなかったいろいろな NN がこれのおかげで成功し始めてい

オペレーションズ・リサーチ学会機関誌の 2015 年 4 月号に 7 ページの記事を書きました． オペレーションズ・リサーチ　 4月号　2015年　Vol.60　No.4 (PDF) 最適化から見たディープラーニングの考え方 上の記事は「ニューロサイエンスと数理モデリング」という特集のうち，深層学習を紹介する 3 つの記事の一つとして書きました． OR 学会誌のバックナンバーを読みながら，最適化の観点で深層学習の話を整理したいと思い上のような記事を書きました． なので，どちらかというと自分の頭を整理するのが主目的みたいになっています． 入門・概要的な内容もお願いされていたので，導入は機械学習自体の説明から入っています（限りなく必要最低限という感じにしてしまいましたが）． この原稿を書いたのは昨年末です． 深層学習界隈はスピードが速く，それから進んだ部分もありますので，いくつか記事の内容を補

今週の火曜日 (1/20) に東大で NIPS2014 読み会 が開かれました． NIPS 自体の参加者数が増えているのと同様に，読み会も去年にくらべてさらに多くの人が集まりました． その中で僕もひとつ論文を紹介しました． 紹介した論文の著者は，スライド中にも出てくる変分 AutoEncoder の考案者です． 変分 AE では，生成モデルと認識モデルをそれぞれニューラルネットで定義して，確率変数としてそれらの出力をパラメータとする正規分布を使いました． 生成モデルを認識モデルで近似したときの変分下界は，認識モデルに関する期待値の形をしています． このように，最適化の対象となる分布に関する期待値の最適化は，一般には REINFORCE アルゴリズムによる勾配法を使います． REINFORCE アルゴリズムは，期待値を積分で書いた時に，積の微分を使って勾配を計算し，それを対数微分の公式 $x

2014年を個人的にふりかえります。 Deep Learning 今年は、Deep Learning を追い続ける一年でした。 画像認識の Deep Learning は、テクニックとしてはだいぶ成熟してきた感じがします。 今年は特に検出の性能が大幅に上がりました（GoogLeNet + MultiBox など）。 自然言語処理の Deep Learning もスピード感が出てきました。 それ以外にも、RNN がまともに学習できるようになってきて、面白いタスクが続々出てきました。 教師なし学習は相変わらず、着々と進みつつもまだブレイクスルーはない印象です。 深い有向確率モデルの研究が今年は盛んでした。 一方、RBM ベースの手法は成熟してきて、モデルをいじって応用する段階にあるようです。 理論的にはあまり進展がありませんでした。 Dropout の解析や応用は進んでいる印象があります。 今

データがある分布に従う、とはどういうことなんでしょうか。 半教師あり学習は、教師ありデータが少ない時に、いっぱいある教師なしデータを使って汎化性能を上げようという問題です。 一方、ドメイン適応は、識別したいデータと教師データが異なる分布に従うときに、識別したいデータにおける識別性能を上げようという問題です。 半教師あり学習の設定で、生成モデルを考えます。 データの分布を適当なモデル $p(x|\theta)$ で推定します。 ここで $\theta$ はパラメータです。 事前分布を $p(\theta)$ とします。 このとき、教師ありデータセット $S$ を観測するとパラメータの事後分布 $p(\theta|S)$ が決まります。 つまりモデル $\{p(x|\theta)\}_\theta$ の中で $S$ を生成しそうな分布の確率分布が得られます。 一方、教師なしデータも含めたデータ

Machine Learning Advenc Calendar 2013の23日目担当の得居です。 株式会社Preferred InfrastructureでJubatusを作ったりしています。 今日は深層学習(deep learning)の話です。 深層学習はこの2年ほどで専門外の人にも知れ渡るほどに大流行しました。 データさえ大量にあればテクニック次第で他の手法を圧倒する性能を達成できることから、特に大量のデータを持つ大企業において大々的な参入が相次ぎました。 主に流行っているのは教師あり学習です。 補助として教師なし学習による事前学習(pretraining)も、特に音声認識のタスクにおいては行われているようですが、画像認識を中心に事前学習なしでもテクニック次第で学習できるという見方が強まっています。 一方で教師なしデータからの学習はブレイクスルー待ちといった雰囲気です。 Deep