データセットの読み込みにはEBS、その成果物にはEFSを使うとよい 文献から学ぶクラウド機械学習のベストプラクティス
Machine Learning Casual Talksは、機械学習を用いたシステムを実運用している話を中心に、実践的な機械学習に関して気軽に話す会です。実際に運用していく上での工夫や、知見を共有します。今回は、ABEJAの服部圭悟氏が、文献を紹介しながら、自社のABEJA Platformでの実践例も交え、AWS環境における機械学習プロジェクトのベストプラクティスを解説しました。前半は環境の構築について。関連資料1、関連資料2 文献についての紹介 服部圭悟氏（以下、服部）： 本日は、文献『Cost-efficient and scalable ML-experiments in AWS with spot-instances, Kubernetes and Horovod』について紹介したいと思います。 実はこちら、Twitterのほうで紹介してもらったのを読んだのですが、すごくよいな
GitリポジトリをAmazon EFSにcloneしたら遅かった話 - SideCI TechBlog
この記事で説明したGitの話には、私の誤解が含まれています。コメントまで見てください。（EFSにリポジトリを置くと遅いのは本当。） 先日教えてもらったのですが、Amazon EFSというめちゃくちゃ便利に見えるサービスがあります。 複数のEC2インスタンスで共有できるストレージ 事前に容量を決める必要がない（使ったら使った分だけ増えていく） 要するにNFSで、EBSと違って複数のEC2インスタンスから共有できるのが特に便利に見えます。具体的に言うと、SideCIでgit cloneしてきたリポジトリを保存して共有するのに最適に見えます。（見えました。） SideCIでは、Gitリポジトリの操作を抽象化したサーバの開発を現在進めていて、 git cloneして欲しいリビジョンをgit archive git diffして変更された行を特定 などの操作をWeb API経由で実行できるようになり
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - ContainX/docker-volume-netshare: Docker NFS, AWS EFS, Ceph & Samba/CIFS Volume Plugin
