次世代バックグラウンドジョブシステム Faktory を試す - リサーチ・アンド・イノベーション 開発者ブログ
リサーチ・アンド・イノベーションの浜田(hamadu)と申します。 いつものお買い物がちょっとお得に、家計簿にもなるポイントアプリ「CODE」のサーバサイド、およびAndroidアプリの開発を担当しています。 序 CODE ではバックグラウンドジョブシステムとして、Sidekiq を採用しています。その作者、Mike Perham 氏が新しい仕組みを作っていました。その名も Faktory。Sidekiq と違いワーカーが言語に依存せず、また本体はGoで書かれているためスケールするのがウリのようです。まだまだ開発中で、プロダクションで使うには厳しい印象を受けますが、今後Sidekiqを置き換えうるプロジェクトになるのではと思います。 本稿では簡単に仕組みの紹介をして、Rubyでジョブを投げるClientと、ジョブを処理するワーカーをそれぞれ実装してみました。 ソースコードは faktory
Treasure Dataのスケジュールジョブをコードで管理するPendulumというgemをつくった
Treasure Dataに収集したデータを集計・出力するためにジョブをスケジュール登録するにあたり、ブラウザコンソールやAPIから直接行うと履歴管理やレビューができないといった課題を解決するために Pendulum というgemをつくりました。 PendulumはDSLで記述された定義に従い、Treasure Dataのスケジュールジョブを管理します。 定義ファイルをGit管理することで、履歴管理やGitHubと連携したコードレビューが可能になります。 余談ですが、Pendulumは振り子という意味で、定期的な実行という意味と宝探しのダウジング的な意味から連想しています。ペンデュラム。響きがカッコイイ。 使い方 Schedfileという名前で定義ファイルを用意して、 schedule 'my-schedule-job' do database 'db_name' query 'selec
Running concurrent workflows in Ruby
Have you ever struggled with a chain of rake tasks that needed to be run periodically and their runtime was giving you a headache? Did you ask yourself how to save time by boosting execution along with readability for huge chunks of jobs? These questions are very common when it comes to applications with hefty amount of background processing jobs. It is my own experience that inspired me to write
Chronos: Fault tolerant job scheduler for Mesos
A fault tolerant job scheduler for Mesos which handles dependencies and ISO8601 based schedules Overview Chronos is a replacement for cron. It is a distributed and fault-tolerant scheduler that runs on top of Apache Mesos that can be used for job orchestration. It supports custom Mesos executors as well as the default command executor. Thus by default, Chronos executes sh (on most systems bash) sc
バッチ処理、ジョブ管理について書いてみる - wyukawa's diary
僕はHive, Pythonでバッチ処理を書いてAzkabanでジョブ管理するシステムを構築、運用した経験が2年ほどあるので今日はバッチ処理、ジョブ管理について書いてみようと思います。 僕の経験上Hadoop特有の部分、例えばテスト環境が作りづらいとかバッチサーバーはジョブをsubmitするだけなので負荷はそんなにかからないとか、はあるけれど割と汎用的なのではないかと思います。そもそもバッチ処理、ジョブ管理について書かれたものはほとんど見た事がないので参考になれば嬉しいし、こういう良い方法もあるよ！とかあれば是非ブログ等に書いてほしいと思っております。 最初に言っておくとバッチ処理、ジョブ管理において重要なのは障害時のリカバリのしやすさです。正常時はまあいいでしょ。 なので例えば引数に日付を持てないようなバッチ書いたら辛いですし、LL言語で書く方がコンパイル、パッケージングとか楽です。CP
AWS Lambdaをcronの代わりに使ってみるよ - Qiita
この記事は AWS Lambdaアドベントカレンダー １６日目の記事です。 概要 AWS Lambdaはイベント駆動で処理を実行する事ができます。 つまり 「何らかのイベント」＞「Lambda実行」＞「何らかのイベント」＞（繰り返し） と繰り返すことでcronの代わりに利用できないか？と考えました。 上手く行けばサーバレスであんな事やこんな事ができちゃうかもしれませんね…！ 今回試してみた構成 S3のイベントをトリガーにしてみました。 とあるファイルをトリガーにして、 その中身のフラグを見て 処理開始(0)／処理中(1)／処理終了(0/1以外) を判断しています。 また、cronのインターバルは最大でも60秒です。 これはlambdaのtimeout設定が 60秒までしか設定できない からです。 これより小さい数値でsetTimeoutすることにより、擬似ループのようなことを可能にしていま
Railsで非同期処理：キュー。Sidekiq（+ActiveJob）がResqueよりも、とても簡単便利。 - Qiita
Railsで非同期処理：キュー。Sidekiq（+ActiveJob）がResqueよりも、とても簡単便利。RubyRailsResquesidekiqActiveJob メール送信や、重い処理、バッチなどでキューイングってよくやると思うんですが、Rubyではそれらを簡単に実現できるライブラリがいくつかあります。有名所だと、Sidekiq / Resque / Delayed Jobとか。僕はSidekiq / Resqueこの2つを使ったことがあるんですが…最近ではSidekiqの方が設定も簡単で使いやすかったので、Sidekiqにまつわる設定などもろもろまとめておきます。 ActiveJobについて Rails4.2からActiveJobというキュー操作のフレームワークが導入されました。これを使用することで、書き方が統一されるため、バックグラウンドのキューライブラリがSidekiqだろ
[Ruby on Rails]Active Job – 複数のキューを優先順位をつけて実行する | DevelopersIO
はじめに 前回に引き続き、Active Jobについてです。今回は複数のキューについてです。前回と同様、Active JobとSidekiqを使用します。 キューについて 前回にも書いたように、Active Jobはキューを実現するためのインターフェースであり、実行にはSidekiqなどの外部のGemを利用します。なのでここでは、Sidekiqのキューについて見てみたいと思います。 By default, sidekiq uses a single queue called "default" in Redis. If you want to use multiple queues, you can either specify them as arguments to the sidekiq command, or set them in the Sidekiq configuratio
![[Ruby on Rails]Active Job – 複数のキューを優先順位をつけて実行する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/c4ba9673af464883e264d1d320af2d2947fae03d/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2013%2F11%2Frails.jpg)
[Ruby on Rails]Active Job – Sidekiqを使ってのJobの実行 | DevelopersIO
はじめに 先日、Ruby on Rails 4.2がリリースされました。このリリースで新たに追加された機能にActive Jobがあります。今回はActive Jobについての簡単な説明と、実際に動かしてみたソースについて書きたいと思います。 Active Jobとは Active Jobについて、Rails Guideより以下の文を引用します。 Active Job is a new framework in Rails 4.2. It is a common interface on top of queuing systems like Resque, Delayed Job, Sidekiq, and more. Ruby on Rails 4.2 Release Notes Active Jobは一言で表すと、「キューを実現するためのインターフェース」と言えると思います。あくまで
裏と表のジョブを使い分ける - ザリガニが見ていた...。
かつて... 今どきのターミナルはタブやウィンドウをいくつでも開けるから、 フォアグラウンドでコマンド実行中に何か別のことがしたくなったら、新たにタブを開いて、そこでコマンドを実行すれば十分用が足りる。 バックグラウンドでコマンドを実行できることも知っているけど、体系的に理解してないのでうっかりミスを繰り返した。 うっかりバックグラウンドで処理していることを忘れていた...。 処理中だと思っていたら停止していた...。 終了したと思っていたら停止していた...。 停止中のプロセスを再開するにはどうする？ やっぱり終了したいんだけど、どうすればいいのか？ そんなうっかりを繰り返すうちに、見えないバックグラウンドで実行して悩むくらいなら、常に状態が見えるフォアグラウンドにしておいた方が益し。 好きなだけタブを開いてしまえ、という方針になってしまった。 しかし... 何かの補佐で一時的にバックグ
転職活動してて訊きたいことのメモ
転職先に訊きたいチェックリスト.md 制度 有休… 病休… 育休… 年収（月給、賞与など）… 残業代… 早朝/深夜手当… 休出手当… 住宅補助… 通勤補助… 資格手当… 人事評価… 自動車/自転車通勤… 健康保険… 保養施設… 部活動… 退職金… 確定拠出年金… ストック・オプション… 社員割引… 資格取得補助… 社内教育… 社外セミナ/カンファレンス/勉強会補助… 稼動日/休日… 個人の働き方 残業… フレックス勤務… リモート勤務… スーツ/カジュアル… BGM… 転勤… 職場 PC… モニタ… 机・椅子… 島固定/個室・ブース/フリーアドレス… 空調… ホワイトボード… 本棚… ロッカー… 休憩場… 自販機… ランチ… 業務ツール エディタ… IDE… ブラウザ… ドキュメント… グラフィクス… 翻訳… ターミナル… 仮想化… 継続的インテグレーション… レビュー… 静的コード解析/
AWSでジョブWorkerを構成するベストプラクティス 〜 Brianの巻 | DevelopersIO
よく訓練されたアップル信者、都元です。ここまで「AWSでジョブWorkerを構成するベストプラクティス」と題して2本の記事を書いてまいりました。SQSの巻では、バックグラウンドジョブの実行にはSQSを使ってスケーラビリティを確保しようという、下図中の中段の話をしました。続いてBeanstalk worker tierの巻では、Workerの実装方法として、図中の下段の話をしました。今回は、上段の話です。 ジョブスケジューリング ここまでの話では「ジョブは、ユーザからのWebサーバへのリクエストに伴って発生する」という暗黙の前提で進めてきました。具体的には動画のエンコーディングや、少々時間の掛かる集計処理等をイメージして頂いたと思います。 しかし、ジョブというのは「ユーザのリクエスト」に起因して発生するばかりではありません。ユーザからのリクエストに関わらず「定期的な繰り返し」という、スケジュ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Scalable Job Queue System Built with Docker
Walter ファミリーの紹介 at Shibuya.go#1
https://qiita.com/mitsuse/items/8669bf54d2310b3e68a1
転職ノウハウ | マイナビ転職