Web系の自分が想像と障害で学んだバッチ処理・設計の基本 - コンポツさん
バッチ処理というのはそれ単体で勉強しようとするとなかなか何を勉強したらいいのかわからないことが多い。 特に経験がWeb系ばっかりだと、いざバッチ処理を実装しようとした時に基本的なノウハウを知らないままに書いてしまうことが多い。 バッチ処理というのは実態を整理すると「何らかのトリガーを期に起動し、データをロード・加工・変換・集計してから、出力する」という事になる。 まぁ、INがあって処理してOUTがあるという点では関数だと考えてもいいだろう。 システムの利用者(人に限らない)のアクションとは直接関係ない処理であったり、利用者のアクションをトリガーとしていても、即時にレスポンスがいらないor返せない場合に バッチ処理を選択する事が多い。 実現方式はシェルスクリプト、LL言語、実行可能バイナリだったりするし、デーモンとして立ち上げる場合もある。 利用者の操作に対して対話的・同期的な処理はオンライ
人に優しい定期バッチ処理を書く - 圧倒亭グランパのブログ
この記事は VOYAGE GROUP Advent Canlendar 2015 の17日目の記事です。 こんにちは。 @at_grandpa です。 Slackで将棋を指したあの日 から、もう１年が経つのですか。 早いですねぇ。 ちなみに at_grandma は、 Heroku様の神の裁き によって無期限活動停止中です。 さて、最近の自分はというと、定期バッチ処理を書くことが多いです。 定期バッチ処理。 それは、サービスを運用する上で、少なからずお付き合いすることになるもの。 今回は、「人に優しい定期バッチ処理を書く」ために自分が普段心掛けていることを書こうと思います。 定期バッチ処理とは 言葉の通り、定期的にバッチ処理を行うことです。 メジャーなものとしては、crontab を用いての定期処理などが挙げられます。 用途としては、例えば、 日次集計バッチ 月次集計バッチ 定期お掃除バッ
KOSHIGOE学習帳 - [BackgroundJob][Ruby] Resque とは
Resque は GitHub で開発／運用している、バックグラウンドジョブを作り・複数のキューに配置し・それらを後で処理するための、裏に Redis を採用したライブラリ。 Resque is a Redis-backed library for creating background jobs, placing those jobs on multiple queues, and processing them later. Introducing Resque - GitHub defunkt's resque at master - GitHub GitHub のブログ記事から、Resque の背景をメモ。 バックグランドジョブは、perform に応答できる Ruby のクラスかモジュール。 これまで 10m (10 million?) のジョブを処理してきたとの事。 GitHu
GitHub製Resqueを使用したRubyでのバックグラウンド処理(バッチ処理) - Masatomo Nakano Blog - Web開発を極める
そこそこの規模のWebシステムになってくるとバックグランド処理(batch処理)は欠かせないものになってくる。メールの送信、データの日次、月次、年次処理、削除(フラグ)データのpurgeやバックアップ、等々いろいろな物が出てくる。 現在はBackgrounDRbを使っているが、いろいろといまいちなので今回Resqueを評価してみた。ちょっと触った段階での第一印象をメモ。 まず、バッチ処理系で評価のポイントになってくる部分はなんだろうかと考えてみると、なんと言っても見通しのよさと異常系の処理だと思う。画面系と違い、バッチ処理は「見えにくい」ところで実行されるので、その二つが特に大事になってくる。「知らないうちに止まっていました」では困るのがバッチ処理。 たとえば、 異常時の処理無視?管理者に通知?リトライ? 復旧処理タスクの削除(問題を修復後)リトライ 状態の監視いくつのJobが残っているか
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
