タグ

ブックマーク / ailaby.com (2)

  • Chainerのソースを解析。順伝播と逆伝播の仕組み | コード7区

    データは Variable に保持 計算は Function (の具象クラス)で実行 します。 ここでデータと呼んでいるのは、学習データのほか、ユニット間の重み、そしてバイアス等のパラメータも指しています。 Function にはさまざまな具象クラスがあり、それぞれ固有の計算ロジックを実装していますが、共通ルールとして、forward メソッドで順伝播、backward メソッドで逆伝播を処理しています。 そして下図のように、Function は Variable を入力として受け取り、Variable を出力します。

    Chainerのソースを解析。順伝播と逆伝播の仕組み | コード7区
  • Chainerのソースを解析。Linear クラス | コード7区

    全結合層は Linear クラス Chainer では全結合層を Linear クラスで組み立てます。 (chainer/links/connection/linear.py) 全結合とは、隣接レイヤーのユニット同士が下図のようにすべてつながる形態のことです。 全結合を構成する要素 全結合を構成する要素として 重み バイアス 活性化関数 があります。この中で、Linear クラスが関わるのは重みとバイアスです。 活性化関数については関与しません。 Linear のインスタンスはレイヤーに相当 Linear の 1 インスタンスが 1 レイヤーに相当します。そして、レイヤー内の各ユニットが持つパラメータ(重み、バイアス)は Linear インスタンスの属性として管理されます。

    Chainerのソースを解析。Linear クラス | コード7区
  • 1