タグ

バッチ処理に関するryu39のブックマーク (2)

  • イマドキのジョブスケジューラについて考える - メドピア開発者ブログ

    こんにちは。Ruby化をすすめるメドピアをお手伝いしている@willnetといいます。 メドピアではPHPからRubyに移行するにあたり、単純に言語を置き換えるだけではなく、言語以外の仕組みについても適宜見直しを行っています。今回はそのうちジョブスケジューラを見直した件について書いていきます。 言語を置き換えた話はこちらを参考にしてください。 レガシーな独自フレームワークから脱却してRailsへ徐々に移行している話 - メドピア開発者ブログ そもそもジョブスケジューラってなに 「毎日1時になったら前日のアクセスログを集計して統計データとしてまとめる」などといった定期的に実行するジョブを登録するためのものです。 ウェブサービスを作るときのジョブスケジューラといったらやっぱりcronですよね。メドピアでもこれまでcronを活用していました。しかしサービスが小さいうちはcronでもそれほど問題な

    イマドキのジョブスケジューラについて考える - メドピア開発者ブログ
  • [速報]「AWS Batch」発表。AWS上でスケーラブルなバッチ処理を実現。AWS re:Invent 2016

    こうした膨大なデータ処理にはバッチ処理が用いられるが、サーバクラスタのプロビジョニングやバッチ処理ソフトウェアのインストール、ジョブの管理やスケジューリングなど、困難が多いとVogels氏は指摘。 そこで発表されたのが「AWS Batch」です。どんなスケールのバッチ処理もフルマネージドで提供するサービス。 動的にリソースを配分し、スポットインスタンスを利用したコストの最適化、キューの管理やスケジューリングなどを行ってくれます。

    [速報]「AWS Batch」発表。AWS上でスケーラブルなバッチ処理を実現。AWS re:Invent 2016
  • 1