はてなブックマーク

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 先日のConvolution処理の記事「高速な Convolution 処理を目指してみた。Kn2Image方式」で　の 比較対象として紹介した Im2Col 方式 について図解します。 参考文献 cuDNN: Efficient Primitives for Deep Learning(arXiv:1410.0759) Pete Warden's blog (2015/04/20) Why GEMM is at the heart of deep learning Im2Col 方式 Im2Col方式の特徴は、行列積演算１回でConv

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 仕組みを学んでいると、すでに世の中に高速なConvolution処理が出回っていても、自前でもConvolution 処理を実装してみたくなりますよね（なりました）。 面白そうな論文「arXiv:1704.04428」の手法を真似て実装しました。 結果は...　うん、まぁ...　cudnn スゲぇなぁ　を体感する事となりました......。 私の実装では、期待してたほどの処理速度には至りませんでしたが、資料をここにてまとめます。 なにかの参考になればと思い公開いたします。 背景 深層学習の理解を深めようと、自前で実装を行ってます。 Co

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Basic Linear Algebra Subprograms (BLAS) の 行列の積 演算が、C の for 文で率直に書いたルーチンに比べ、どれ程のものか体感してみる。 背景 深層学習の実装を理解していくにあたり、行列の積演算を高速に行いたくなった。 BLASは 行列の積演算が速いとの話を目にするが、実際に使ってみたことはなかった。 → 今回 BLAS の性能を体感してみる。 BLAS について 下記Webサイトを参考にしています。 ・Basic Linear Algebra Subprograms(Wikipedia) ・BLASの簡単な使い方 ・CUDA Toolkit cuBLAS ・インテル(R) 数値演算ライブラリ(MKL) リファレンス・マニュアル(PDF) openBLAS openBLAS はマルチスレッドにて CPUの全コアを用いた並列演算を行う。 cuBLAS

曖昧な理解だったのを、自前で実装できるくらいに理解しようと図解しました。その際の資料を公開します。 内容は、ほぼ"Understanding the backward pass through Batch Normalization Layer"の焼き直しです。 全結合NN の Batch Normalization いつ行うの？ 全結合のニューラルネットワークの場合、Affinの後、活性化(例:ReLU)の前 入力は？ Affinの出力を 行 として、 （図は入力層→NN第一層での例） ミニバッチ数分のAffin出力を並べた行列が入力。 入力行列をどう演算するの？ 要素毎（列内）で正規化の演算します。 演算式は？ 上図の１列の演算を示す 入力: 上図の１列の値 { $x_1$ ... $x_N$ } ( $N$:ミニバッチ数) 学習値 $γ$ ,　$β$ 出力：

計算グラフ(computational graph)の 基本パーツ の図解です。 ニューラルネットワークの誤差逆伝播法を学習時に 計算グラフを 知りました。 局所的な計算を連鎖させていく考え方で、理解しやすくて良いですね。 計算グラフの基本パーツ 本記事の図では、黒線・黒文字は順伝搬、赤線・赤文字は逆伝播を示します。 z=f(x) 順方向 z=f(x) の計算の場合、 その逆伝播は 入力値$E$に f(x)の微分値を掛けた値が 出力となる。 加算ノード 加算ノードの逆伝播は、 入力値$E$ をそのまま 伝達する。 順方向 $z=x+y$ に対し、 $x$ の微分値 $\frac{\partial z} {\partial x}$ は $1$ $y$ の微分値 $\frac{\partial z} {\partial y}$ も $1$ のため、入力$E$ を そのまま伝達 となる。 乗算ノ