Chainer を振り返って
2015 年 4 月 12 日に Chainer の最初のコードをコミットしてから，およそ 4 年半と少しが経ちました．はじめのはじめは軽い気持ちで書きはじめたコードでしたが，今では一線級の研究を立派に支えるまでになりました．深層学習フレームワークの世界も当時とは様変わりして（当時は TensorFlow も PyTorch もなかったわけですから，本当に変わりました），思えば遠くにきたものです． 今日，PFN は社内の研究開発に用いる主なフレームワークを PyTorch に移行すると発表しました．会社にとってももちろんですが，業務としてはこの 4 年半，Chainer 一筋でやってきた自分にとっては特に，大きな転換点です． まず率直な感想として，Chainer の開発は本当に楽しかったです．書きはじめた頃は，深層学習フレームワーク競争の真っ只中で，Theano の上に乗っかるフレームワー
Softplus関数
今日、Caffeというナウいニューラルネット実装を読んでいたら次の行で？？？となりました。 https://github.com/BVLC/caffe/blob/v0.9/src/caffe/layers/bnll_layer.cu#L20 数式で書くと（logは自然対数） \[f(x)=\begin{cases} x+\log(1+e^{-x}) & \text{if}\,x > 0, \\ \log(1+e^x) & \text{otherwise}. \end{cases}\] もっとオシャレに書くと \[f(x)=\max(0, x)+\log(1+e^{-\vert x\vert}).\] これが数値計算的なテクニックなのか、近似も含んでるのか、僕が知らないactivation関数なのかパッと見判断つかなかったのですが、微分してみたら両方シグモイド関数になりました（で、よく見たら
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
