Decoupled Neural Interfaces のFeedforward部分のtensorflow実装の概略 - Qiita

今回紹介する論文の著者による説明が以下のブログに掲載されていますので、そちらもご覧ください。 https://deepmind.com/blog/decoupled-neural-networks-using-synthetic-gradients/ 背景と提案手法のアイデア 論文の背景は、より一般的な分散NNモデルの学習（Model Parallel）です。 理由としては、より柔軟なモデルをより効率的に訓練したいということです。例えば、中間データを保存する必要の無い、学習データとSGDで実行できるEnd to endの学習手法のさらなる拡張などです。 以下の図のように分散環境を表す有向グラフを考えることができます。 各頂点が分割されたモデルの断片or１台機械に対応しています。 すると、ひとつの大きなニューラルネットワーク（NN）を分散したデータフローで理解することができます。まず、頂点で