【論文シリーズ】Dist Beliefの仕組み - Qiita

原文 大規模分散深層ネットワーク(Large Scale Distributed Deep Networks) Jeffrey Dean, Greg S. Corrado, Rajat Monga, Kai Chen (2012) 1. 要約 Googleが開発したDist Beliefに関する論文である。 並列処理によるDeep Learning計算の高速化を理解する上でも参考になる。 2. 骨子の理論 DistBeliefは大規模機械学習装置の機能をもつ。 TensorFlowの前身となるシステムになっている。 以下に、DistBeliefを構成するKey Technologyを整理する。 ①Downpur SGD SGDの計算過程を最適化するプログラム。 常に学習係数の最適化を志向する。レプリカが非対称に重みを更新する。 凸性のない、勾配消失問題が起きやすいケースにも対応できる。 ②