pythonでRNN実装 - Qiita

はじめに pythonでRNNを実装しました． 教科書として『深層学習』を使いました． 本記事の構成 はじめに RNN 順伝播計算 逆伝播計算 重みの更新 pythonでの実装 結果 ロス 系列データの予測 sin波の予測 おわりに RNNとは，系列データを扱う再帰型のニューラルネットワークです． 系列データの例として，音声や言語，動画像などが挙げられます． このような系列データは，サンプルごとに系列の長さが異なり，系列内の要素の順番に意味があることが特徴です． RNNは，系列データの特徴をうまく扱うことを可能にします． 順伝播計算 まずは，文字の定義をします． 入力層，中間層，出力層の各ユニットのインデックスをそれぞれ $i, j, k$ で表します． また，時刻 $t$ における入力，中間層の入出力，出力層の入出力，教師を以下のように表します． 入力： $\boldsymbol x^t