mizti さんの AWS Step FunctionsとLambdaでディープラーニングの訓練を全自動化する を自分の求めるものに従って微修正したものです。 背景 AWS の高性能 GPU マシン、 p2 インスタンスで DeepLearning (TensorFlow) の学習を回したい でも p2 は高い!! スポットインスタンスを使うと安い! しかしスポットインスタンスは実行中に入札額によって強制シャットダウンされる 学習中データを定期的に S3 にアップロードしたい スポットインスタンスを立ち上げて学習開始するのを自動化したい 学習完了時に勝手にインスタンスをシャットダウンしたい 仕様 学習開始の Slack 通知 データ格納先の S3 のチェック bucket は存在するか? 既に学習結果格納ディレクトリが無いか?(上書きしないようチェック) スポットインスタンスへの入札と、結
![AWS スポットインスタンスでの TensorFlow 学習の自動化 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/0978d578f3abf99a225121121ecf54c73edf9abf/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9QVdTJTIwJUUzJTgyJUI5JUUzJTgzJTlEJUUzJTgzJTgzJUUzJTgzJTg4JUUzJTgyJUE0JUUzJTgzJUIzJUUzJTgyJUI5JUUzJTgyJUJGJUUzJTgzJUIzJUUzJTgyJUI5JUUzJTgxJUE3JUUzJTgxJUFFJTIwVGVuc29yRmxvdyUyMCVFNSVBRCVBNiVFNyVCRiU5MiVFMyU4MSVBRSVFOCU4NyVBQSVFNSU4QiU5NSVFNSU4QyU5NiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9ZmYyNDY5MDkxNjFkMDQ4YzZiMGY2YTgzZWMzZDA3NTg%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBoYWxob3JuJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz05MDVlMGMyMTc3ZDAxZGY3NmU3YWQyMWYwZmE3ODk1ZQ%26blend-x%3D142%26blend-y%3D436%26blend-mode%3Dnormal%26txt64%3DaW4g5qCq5byP5Lya56S-TUlYSQ%26txt-width%3D770%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%2523212121%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D36%26txt-x%3D156%26txt-y%3D536%26s%3D36ee8fd900ab8b3dbe8f0a52c586eb55)