ニューラルネットワークでミニバッチの学習データを固定とランダムのハイブリッドにすると結果がよくなった - Qiita

はじめに 前回の記事を作成する過程で偶然よい結果を得たので紹介します。 ミニバッチの学習データをランダムにした際の学習結果が前々回より、よくなったので原因を調べていたら固定時 vs ランダム時の学習結果を比較しているつもりが固定時 vs 固定時＋ランダム時の学習結果を比較していることがわかりました。 (前回の記事ではちゃんと固定時 vs ランダム時の比較になっています) 環境 python: 2.7.6 chainer: 1.8.0 学習内容 一般的なエポック毎にミニバッチの学習データをランダムシャッフルにした場合と、固定とランダムシャッフルのハイブリッドにした場合の違いを確認します。 学習させるのは例のごとくsin関数です。 [training data] input: theta(0~2π, 1000分割) output: sin(theta) 実装 モデルを2回作成 今回の発見はラン

[sh19910711]

"ミニバッチの学習データをランダムシャッフルにした場合と、固定とランダムシャッフルのハイブリッドにした場合の違い / 今回の発見はランダム時の学習前にモデルの学習結果をリセットし忘れたことによるもの" 2016

[ismage]

ポケットへ入れた ニューラルネットワークでミニバッチの学習データを固定とランダムのハイブリッドにすると結果がよくなった