AWS Batchを用いた機械学習の分散推論 #AWSDevDayAWS Dev Day Online Japan 2021で発表した資料です。 ドライブレコーダの映像から道路上の物体を検出し、検出した物体の緯度経度を推定するシステムをAWS Batchで構築しました。 AWS Batchを用いた機械学習の分散推論システムの構築方法や開発における工夫点などを紹介しています。
Amazon ECS ScheduledTaskで実現するスマートなDockerベースのバッチ実行環境 - コネヒト開発者ブログ
こんにちは。インフラエンジニアの永井(shnagai)です。 コネヒトでは、開発環境に続き、続々と本番サービスにもDockerを導入しています。 今回は、中々運用が大変なcronでスケジュール管理するような定期的なバッチ処理を、Amazon ECSのScheduledTaskを使ってDocker駆動な環境で構築した話です。 他の方法との比較やどのように実現しているのかについて紹介したいと思います。 今回対象とするバッチの種類 今回対象とするバッチ処理は、俗に言うスケジュール系のバッチ処理で、毎日00時00分や10分毎にサイクル起動等、事前に定義した時間に正確に動くことが期待されているものです。 ※ジョブキュー形式のバッチだと、AWS BatchやEBのWorkerもしくは、SQS + Cron on EC2で処理するほうがスマートかと思います。 実行方式の選定 上記要件のバッチを実現する基
re:Invent 2016 私的HPCまとめ - Qiita
AWS re:Invent 2016に参加してきました。他の誰もやらないであろうHPC的なまとめを私なりにしてみます。 AWS re:Inventについて 私が説明するよりもはるかに素晴らしい紹介コンテンツが山ほどあるので、そちらを参照ください。 毎年参照するのがクラスメソッド様の全セッションまとめです。毎年お世話になります。多謝。 http://dev.classmethod.jp/cloud/aws/reinvent-2016-matome/ KeyNote New Instance Type 新しいインスタンスタイプのリリース、skylake世代がAWSにやってきます。 c5, r4なんかはベンチマークが非常に楽しみです。i3なんかもClusterの共有ファイルサーバとしてI/Oが改善されているので非常に楽しみです。でもやっぱり一番熱いのはf1インスタんですかね。FPGAがAWSにや
AWS Batch – AWSでバッチ処理ジョブを実行する | Amazon Web Services
Amazon Web Services ブログ AWS Batch – AWSでバッチ処理ジョブを実行する 私は1978年秋に大学に入学しました。モンゴメリー・カレッジのコンピュータ・サイエンス部門は、強力な（当時の）IBM 370/168メインフレームを中心に構築されました。 Keypunchマシンを使用してカードデッキを準備する方法、実際のコードの前にジョブの名前と優先順位を設定し、FORTRAN、COBOL、またはPL / Iコンパイラを呼び出す暗黙のジョブ制御言語（JCL） 。デッキを提出ウィンドウに持ってきて、ジョブIDと引き換えにオペレーターに渡してから、数時間後に戻って印刷出力とカードデッキを回収します。私はその印刷物を慎重に研究しましたが、仕事に就いて数時間を待ってから、実際の稼動時間はほんの数秒であったことに気付いていました。仲間の学生と私がすぐに学んだように、学校のIT
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
