2018年6月13日に実施した勉強会の講演資料です。 [TensorFlow分散学習]Horovodによる分散学習の実装方法と解説 発表者:LeapMind Inc. Hideaki Masuda
![20180613 [TensorFlow分散学習] Horovodによる分散学習の実装方法と解説](https://cdn-ak-scissors.b.st-hatena.com/image/square/d8238c4bfdca1d7f39f2ad5d3d49311e22db8f57/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2F20180613horovod-180620072411-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
2018年6月13日に実施した勉強会の講演資料です。 [TensorFlow分散学習]Horovodによる分散学習の実装方法と解説 発表者:LeapMind Inc. Hideaki Masuda
Linuxpython3 -m pip install tensorflow[and-cuda] # Verify the installation: python3 -c "import tensorflow as tf; print(tf.config.list_physical_devices('GPU'))" MacOS# There is currently no official GPU support for MacOS. python3 -m pip install tensorflow # Verify the installation: python3 -c "import tensorflow as tf; print(tf.reduce_sum(tf.random.normal([1000, 1000])))" Windows Nativeconda install
Horovod Horovod is a distributed training framework for TensorFlow, Keras, PyTorch, and MXNet. The goal of Horovod is to make distributed Deep Learning fast and easy to use. Horovod is hosted by the Linux Foundation Deep Learning (LF DL). If you are a company that is deeply committed to using open source technologies in artificial intelligence, machine and deep learning, and wanting to support the
ディープラーニングで学習が進んだあとに学習率を下げたいときがときどきあります。Kerasでは学習率を減衰(Learning rate decay)させるだけではなく、epoch数に応じて任意の学習率を適用するLearningRateSchedulerという便利なクラスがあります。これを見ていきましょう。 学習率変化なし 10層のCNNでCIFAR-10で検証精度90%を達成したコードを使い回しします。これは学習率の変化がありません。Adamでずっとデフォルトの0.01の学習率を維持します。 学習の過程は次のように進みます。 任意の学習率減衰(SGD) 次に、DenseNetの論文で出てきたオプティマイザーはSGD(モメンタム)で、初期の学習率は0.1で、全体の50%のepochで学習率を1/10(0.01)に、全体の75%でさらに1/10(0.001)にするという減衰操作を行います。Den
Keras のバックエンドに TensorFlow を使う場合、デフォルトでは一つのプロセスが GPU のメモリを全て使ってしまう。 今回は、その挙動を変更して使う分だけ確保させるように改めるやり方を書く。 環境には次のようにしてセットアップした Ubuntu 16.04 LTS を使っている。 blog.amedama.jp サンプルとして動作させるアプリケーションには Keras が提供している MNIST データセットを CNN で認識するものを使う。 まずはこれをダウンロードしておこう。 同時に、セッションをクリアするパッチも追加しておく。 $ wget https://raw.githubusercontent.com/fchollet/keras/master/examples/mnist_cnn.py $ echo 'K.clear_session()' >> mnist_c
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く