AWS BatchとServerlessを組み合わせて高速に定期実行バッチやバッチAPIを作る - フリーランチ食べたい
AWS Lambdaで行えないような重い処理はAWS Batchを使うと簡単に行うことができますが、定期実行したりエンドポイントを作る仕組みはAWS BatchにはまだなくCloudWatchやAPI Gatewayと組み合わせる必要がありますがServerlessと組み合わせることで簡単に実現できるので紹介します。 つくるもの 今回は次のサンプルを作ってみます。 毎日AWS Batchで実行する定期バッチ AWS Batchを実行するAPI 環境 serverless: 1.41.1 aws-cli: 1.16.144 ファイル構成 最終的なファイル構成は次のようになります。 AWS Batchに関するファイルだけフォルダを分けています。 tree -L 2 ├── batch │ ├── app.dockerfile │ ├── ecr_deploy.sh │ └── sample.p
AWS Batchでシェルスクリプトを実行する典型的パターンのご紹介 ｜ Developers.IO
去年のre:Invent 2016で発表された、AWS Batch。みなさん、お使いでしょうか？ え、名前はシンプルなのに、案外むずかしい？ であれば、自分とまったく同じ印象です。 今回は、AWS Batchを利用して、シェルスクリプトを実行するための典型的パターンをご紹介。シェルスクリプトからは、任意のスクリプト（Pythonとか、Node.js）も呼び出すことができ汎用性が高いので、AWS Batchにおけるアプリケーション処理の実装方式として、参考にしていただければと思います。 ほな、いってみよ！ 構成図 今回構築する環境の概要は以下の通り。シェルは大きく２つに別れます。AWSの構成要素は非常にシンプルです。 myjob.sh ユーザーが作成するシェル。アプリケーション処理の本体はこちらに記述し、事前に任意のS3バケットにアップロードしておく。 fetch_and_run.sh my
AWS Batchを使って5分以上かかる処理を実行してみる | DevelopersIO
どうも！西村祐二＠大阪です。 Lambdaは現在(2017/8/17)実行時間が最長５分までという制限があります。 そこで、今回はAWS Batchを使って５分以上かかる処理を実行させてみたいと思います。 AWS Batchとは JobをAWS Batchになげると予め設定しておいたインスタンスを起動し、 ECRまたはDocker Hubからコンテナイメージを取得しタスクを実行してくれます。 また、実行しているタスクがない場合インスタンスを起動してから１時間以内に自動で削除してくれます。 やりたいこと ・CodeCommitに置いてる5分以上かかるスクリプトをコマンド1つで実行したい ・構成はなるべくシンプルにしたい 5分以上かかる処理 今回は例として１分毎にS3に空ファイルを作成する処理を実行してみたいと思います。 下記2つのファイルをCodeCommitの「test-commit」レポ
Google Cloud Scheduler のドキュメント
Google Cloud Scheduler を使用すると、バッチ処理、ビッグデータ ジョブ、クラウド インフラストラクチャ オペレーションなど、実質的にほぼすべてのジョブをスケジューリングできます。障害時の再試行といった作業をすべて自動化するため、手動作業や人的な介入を軽減できます。詳細
AWS Batch is Now Available in Tokyo
AWS Batch enables developers, scientists, and engineers to easily and efficiently run hundreds of thousands of batch computing jobs on AWS. AWS Batch dynamically provisions the optimal quantity and type of compute resources (e.g., CPU or memory optimized instances) based on the volume and resource requirements of jobs submitted to job queues. With AWS Batch, there is no need to install and manage
CPU/GPU/AWSでのTensorflow実行速度比較 - Qiita
この記事は Tensorflowを使って大量の画像データの学習をしています 収束までとにかく時間がかかるので学習環境をアップグレードしてきました 各環境でTensorflowの処理速度がどの位出たのかがベンチマーク的な意味合いを持ちそうなので公開しておきます OS含めて諸々環境のバージョン類が異なるのであくまで参考としてみていただければ 実行処理内容 Tensorflow上でCNNの最高峰、Inception-v3を使ってオリジナルの画像でトレーニングします 枚数は数十万オーダ（性能には影響しないはず） 1000カテゴリへの分類器 実行コマンドは下記 $ bazel-bin/inception/imagenet_train --num_gpus=[gpu数] --batch_size=32 --train_dir=/share/train/ --data_dir=/share/tfreco
Matt Murphy
batch jobs with aws lambda and docker I’ve been working a lot with scheduling batch jobs at work, which isn’t the most exciting thing in the world; however, I’ve been spending a lot of my own time playing with AWS. It turns out AWS is a convenient place to run batch jobs. There are plenty of batch scenarios where a file turns up, triggers a program to do some work, which in turn might produce some
ECS を利用したオフラインジョブの実行環境 - クックパッド開発者ブログ
技術部の鈴木 (id:eagletmt) です。 クックパッドでは以前からアプリケーションの実行環境として Docker を利用していましたが、最近は徐々に Amazon EC2 Container Service (ECS) を利用し始めています。 去年の時点での Web アプリケーションのデプロイ手法 *1 や、最近 ECS を利用してどう Web アプリケーションをデプロイしているか *2 については紹介したことがあるので、今回は定期的なバッチ処理やジョブキューを介して非同期に実行されるようなオフラインの処理について、どのような環境を構築しているか紹介したいと思います。 Docker を使う前 Docker を利用し始めるより前から社内では kuroko2 *3 というジョブ管理システムが稼動しており、複数のアプリケーションから利用されていました。 kuroko2 は定期的にジョブを
ECSにバッチ処理やらせるときにhako oneshotが便利 - パラボラアンテナと星の日記
要約 ECSにバッチ処理をやらせるときに、 hako oneshotを使うと便利です。 hako oneshotを活用する話 先日(10/12)のDockerの勉強会*1にて、hako oneshot を活用する話をしました！ 以下は私の職場での活用の一例。の雰囲気の図。 以下がスライドです。 hakoについてちょっと紹介 github.com Dockerコンテナのデプロイツールです。ECSに対応。 deploy と oneshotが主なサブコマンドです。 hako deploy Dockerコンテナをデプロイする。 使い方はこちらの記事が詳しいです。 so-wh.at hako oneshot Dockerコンテナにバッチ処理的なタスクをやらせる。 使い方はこちらの記事が詳しいです。 so-wh.at hako oneshotの様子 ECSに何かをやらせるときに、何回かAPIを叩くこと
AWS Batch – AWSでバッチ処理ジョブを実行する | Amazon Web Services
Amazon Web Services ブログ AWS Batch – AWSでバッチ処理ジョブを実行する 私は1978年秋に大学に入学しました。モンゴメリー・カレッジのコンピュータ・サイエンス部門は、強力な（当時の）IBM 370/168メインフレームを中心に構築されました。 Keypunchマシンを使用してカードデッキを準備する方法、実際のコードの前にジョブの名前と優先順位を設定し、FORTRAN、COBOL、またはPL / Iコンパイラを呼び出す暗黙のジョブ制御言語（JCL） 。デッキを提出ウィンドウに持ってきて、ジョブIDと引き換えにオペレーターに渡してから、数時間後に戻って印刷出力とカードデッキを回収します。私はその印刷物を慎重に研究しましたが、仕事に就いて数時間を待ってから、実際の稼動時間はほんの数秒であったことに気付いていました。仲間の学生と私がすぐに学んだように、学校のIT
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ディープラーニングをAWS LambdaとStep Functionで自動化する