AWS Solutions Architect ブログこんにちは、AWSJ の鬼形です。 2017/2/8 に開催いたしました AWS Black Belt Online Seminar「AWS Batch」の資料を公開しました。当日ご参加頂いた皆様からのご質問の回答とあわせて紹介させて頂きます。
AWSサービスを用いた今後のバッチ処理のお話〜開発本部・TechLunch〜 - MEDLEYオフィシャルブログ
オンライン診療アプリ「CLINICS」を開発している田中です。 本日は、メドレー開発本部にて隔週で行われている勉強会（TechLunch）で、今後のバッチ処理構成の1つとして活用できそうなAWSサービスの紹介を行ったので、その一部を紹介したいと思います。 背景と勉強会の目的 メドレーでのバッチ処理 メドレーの各プロダクトは環境として主にAWSを使用しており、いわゆる「バッチ処理」（時間起動でのデータ一括処理系）については、スケジューラとして使用しているJenkinsからバッチ用EC2インスタンス上のバッチ処理をキックする、という構成が多いです。 （短時間で完了し、ワークフロー自体シンプルなバッチについては、スケジューラにLambdaを利用する構成も増えてきました） その他、SQSを用いたキューイング処理、Kinesis/Lambdaを使用したログストリーミング処理など様々な構成で動いていま
AWS Batch とは何か - Qiita
AWS re:Invent 2016 で発表された AWS Batch。 語感から、誤解されるサービス No.1 な気がします。 定時バッチなどとは何がどう違うのかをメモ。 機能概要 以下公式資料とドキュメント、実際さわってみた所感を合わせて。 AWS Batch – 簡単に使えて効率的なバッチコンピューティング機能 – AWS AWS Black Belt Online Seminar「AWS Batch」の資料およびQA公開 結局何なのか 科学技術計算・ハイパフォーマンスコンピューティング用途で真価を発揮する、 大規模なスケール、ジョブの依存定義 が可能なマネージド 並列分散 処理基盤。 主な機能、ポイント クラスタ管理、ジョブキュー、ジョブスケジューラを AWS にお任せできる 処理すべきジョブの数に応じ、適切に 自動伸縮1 するクラスタ ジョブに 依存関係 が定義できる（B は A
AWS Batch – AWSでバッチ処理ジョブを実行する | Amazon Web Services
Amazon Web Services ブログ AWS Batch – AWSでバッチ処理ジョブを実行する 私は1978年秋に大学に入学しました。モンゴメリー・カレッジのコンピュータ・サイエンス部門は、強力な（当時の）IBM 370/168メインフレームを中心に構築されました。 Keypunchマシンを使用してカードデッキを準備する方法、実際のコードの前にジョブの名前と優先順位を設定し、FORTRAN、COBOL、またはPL / Iコンパイラを呼び出す暗黙のジョブ制御言語（JCL） 。デッキを提出ウィンドウに持ってきて、ジョブIDと引き換えにオペレーターに渡してから、数時間後に戻って印刷出力とカードデッキを回収します。私はその印刷物を慎重に研究しましたが、仕事に就いて数時間を待ってから、実際の稼動時間はほんの数秒であったことに気付いていました。仲間の学生と私がすぐに学んだように、学校のIT
巨人でない我々のためのバッチ処理基盤
Base of Batch Processes For Not Big Player @joker1007 (Repro inc. CTO) self.inspect @joker1007 Repro inc. (newbie) CTO Rails/JS/Docker/ECS/terraform/Spark/Bigquery/fluentd/embulk https://repro.io/ My gems, or My contributions activerecord-cause yaml_vault activemodel-associations emrakul rukawa ← Talk about this fluent-plugin-bigquery We're seriously hiring now Complexity of Batch process is getti
ECS を利用したオフラインジョブの実行環境 - クックパッド開発者ブログ
技術部の鈴木 (id:eagletmt) です。 クックパッドでは以前からアプリケーションの実行環境として Docker を利用していましたが、最近は徐々に Amazon EC2 Container Service (ECS) を利用し始めています。 去年の時点での Web アプリケーションのデプロイ手法 *1 や、最近 ECS を利用してどう Web アプリケーションをデプロイしているか *2 については紹介したことがあるので、今回は定期的なバッチ処理やジョブキューを介して非同期に実行されるようなオフラインの処理について、どのような環境を構築しているか紹介したいと思います。 Docker を使う前 Docker を利用し始めるより前から社内では kuroko2 *3 というジョブ管理システムが稼動しており、複数のアプリケーションから利用されていました。 kuroko2 は定期的にジョブを
Web系の自分が想像と障害で学んだバッチ処理・設計の基本 - コンポツさん
バッチ処理というのはそれ単体で勉強しようとするとなかなか何を勉強したらいいのかわからないことが多い。 特に経験がWeb系ばっかりだと、いざバッチ処理を実装しようとした時に基本的なノウハウを知らないままに書いてしまうことが多い。 バッチ処理というのは実態を整理すると「何らかのトリガーを期に起動し、データをロード・加工・変換・集計してから、出力する」という事になる。 まぁ、INがあって処理してOUTがあるという点では関数だと考えてもいいだろう。 システムの利用者(人に限らない)のアクションとは直接関係ない処理であったり、利用者のアクションをトリガーとしていても、即時にレスポンスがいらないor返せない場合に バッチ処理を選択する事が多い。 実現方式はシェルスクリプト、LL言語、実行可能バイナリだったりするし、デーモンとして立ち上げる場合もある。 利用者の操作に対して対話的・同期的な処理はオンライ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Scalable Job Queue System Built with Docker
http://https//www.iron.io/