分散学習にはHorovodを使う 文献から学ぶクラウド機械学習のベストプラクティス

Machine Learning Casual Talksは、機械学習を用いたシステムを実運用している話を中心に、実践的な機械学習に関して気軽に話す会です。実際に運用していく上での工夫や、知見を共有します。今回は、ABEJAの服部圭悟氏が、文献を紹介しながら、自社のABEJA Platformでの実践例も交え、AWS環境における機械学習プロジェクトのベストプラクティスを解説しました。後半は実際の機械学習の方法について。関連資料1、関連資料2 リソースとコストの最適化、そして、機械学習ジョブの実行方法 服部圭悟氏（以下、服部）：では続いて、「リソースとコストをどう最適化するか？」と「機械学習ジョブをどう実行するか？」を同時に説明したいと思います。 やりたいこととしては、可能なかぎりコストを抑えて、でも安定した計算機クラスタを作りたい。安かろう悪かろうじゃダメってことですね。 それからスケーリ

[misshiki]

“リソースとコストはSpot Instancesを使うといいよというのがもう1つ。機械学習のジョブはKubernetes Jobを使うと楽にできるよというのが1つ。最後が、分散学習をどうするかというと、Horovodを使うと簡単にできるよ”

[knok]

Horovod初めて知ったと思ったらすでにブクマ/starつけてた