TF-Replicator: Distributed Machine Learning for Researchers
Research TF-Replicator: Distributed Machine Learning for Researchers Published 7 March 2019 Authors Dominik Grewe, Peter Buchlovsky, Chris Jones, David Budden, Tom Hennigan, Aedan Pope At DeepMind, the Research Platform Team builds infrastructure to empower and accelerate our AI research. Today, we are excited to share how we developed TF-Replicator, a software library that helps researchers deplo
分散学習用TensorFlowコードの書き方 - めもめも
何の話かというと Google Cloud MLを利用して、TensorFlowの分散学習を行う方法です。取り急ぎ、自分用のメモとして公開しておきます。 分散学習にはいくつかのパターンがありますが、最もシンプルな「データ分散」の場合を説明します。各ノードは同じモデルに対して、個別に学習データを適用して、Variableを修正する勾配ベクトルを計算します。それぞれで計算した勾配ベクトルを用いて、共通のVariableを修正していきます。 前提知識 TensorFlowの分散学習処理を行う際は、3種類のノードを使用します。 ・Parameter Server：Workerが計算した勾配ベクトルを用いて、Variableのアップデートを行います。 ・Worker：教師データから勾配ベクトルを計算します。 ・Master：Workerと同様の処理に加えて、学習済みモデルの保存やテストセットに対する
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
