memcachedの件: その2 - moratorium
memcachedの件: その2 2010-08-14 (Sat) 4:59 Uncategorized 再現させる bulkneetsツールを使ったが、Ubuntu Intrepid (2.6.27-11-server)では再現せず。RHEL5(2.6.18-128.el5)では再現した。もうちょい色々な環境で試してみる必要が有りそう。 エラーメッセージからの追跡 stanakaさんの以下の発言より。 * http://twitter.com/stanaka/status/21037070317 以下のメッセージが出るらしい。 [err] event_queue_remove: 0x15ea9d88(fd 30) not on queue 8 event.c event_queue_remove()の先頭部分でのメッセージ。 void event_queue_remove(struct
Google App EngineでWebサービスを作ってみての ”実際のところ”
先日、Amazonの価格をチェックしてメールでお知らせするWebサービス「マケプレ・フラグ」を公開してみた。 このWebサービスは、sinatra on GAE/JRuby という構成で作ってあるのだけど、実は4、5日程度でひととおりの機能が動作するくらいになっていた。 別にGAEバンザイと言いたい訳ではなくて、本題はここから。 GAEって制限が多くあるので、これを回避するのが結構大変。さらに「マケプレ・フラグ」は価格情報を得るためにAmazonのProduct Advertising APIを使っていて、実はこちらにも制限がある。 GAEは30秒以内にレスポンスを返さなくてはいけない 利用者が商品検索して30秒も待ってくれる訳はないので、それは問題にならない(というより30秒も待たせるならGAEに関係なく設計を見直すでしょ)。 問題は、cronで実行するようなバッチ処理も同様の制限がある
MySQL を使ったお手軽メッセージキュー実装 - ドワンゴ 研究開発ブログ
はじめに この記事では、MySQL を使って簡単なメッセージキューを手軽に実装する方法を解説します。 メッセージキューとは、メッセージを一時的に溜めておき、順次処理するための仕組みです。迅速なレスポンスが必要な Web アプリケーションにおいて、時間のかかる処理を非同期に行うために、バックグラウンドで順次処理していくような場合に利用できます。 簡単なメッセージキューと言っても、大規模な運用にも耐えられる程度の速度と堅牢性を持ちます。 また、ここで解説している方法で作られたメッセージキューは、弊社ウェブサービスであるニコニコ動画に最近追加されたtwitter連携機能でも利用しています。 メッセージキューを作るにあたって 今回実装するメッセージキューは メッセージの追加(push)を高速に行う事ができる メッセージの取得(pop)はある程度高速に行う事ができる 多くのクライアントから同時に p
GitHub製Resqueを使用したRubyでのバックグラウンド処理(バッチ処理) - Masatomo Nakano Blog - Web開発を極める
そこそこの規模のWebシステムになってくるとバックグランド処理(batch処理)は欠かせないものになってくる。メールの送信、データの日次、月次、年次処理、削除(フラグ)データのpurgeやバックアップ、等々いろいろな物が出てくる。 現在はBackgrounDRbを使っているが、いろいろといまいちなので今回Resqueを評価してみた。ちょっと触った段階での第一印象をメモ。 まず、バッチ処理系で評価のポイントになってくる部分はなんだろうかと考えてみると、なんと言っても見通しのよさと異常系の処理だと思う。画面系と違い、バッチ処理は「見えにくい」ところで実行されるので、その二つが特に大事になってくる。「知らないうちに止まっていました」では困るのがバッチ処理。 たとえば、 異常時の処理無視?管理者に通知?リトライ? 復旧処理タスクの削除(問題を修復後)リトライ 状態の監視いくつのJobが残っているか
[youRoom][rails][plugin] Railsで非同期処理を行うには"Delayed_job"がおすすめ - mat_akiの日記
明けましておめでとうございます。本年もよろしくお願いします。 今年初ブログは、Railsネタで始めたいと思います。 Railsで非同期処理を行いたいと思うことはありませんか？ 例えば、メールの送信をオンラインで実行すると送信が終わるまでレスポンスを返せないのでユーザの待ち時間が長くなってしまいます。ユーザには画面を表示しておいて非同期でメール送信を行えれば、ユーザは早く次の画面を表示できて嬉しいですよね。 他にも、大量のDBの追加や画像の処理、他のサイトからのダウンロードなど非同期で実行できれば嬉しいケースが結構あると思います。 そんな時便利なのが"Delayed_job"というプラグインです。 http://github.com/tobi/delayed_job このプラグインは、githubでたくさんフォークされていたり、Herokuで標準の非同期処理のライブラリになっていたりするので
![[youRoom][rails][plugin] Railsで非同期処理を行うには"Delayed_job"がおすすめ - mat_akiの日記](https://cdn-ak-scissors.b.st-hatena.com/image/square/7681c3e905df82f13d00760c3d03407699567974/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F17680117127134511166%2F17680117127134515111%2F1557991251)
Introducing Resque
CompanyIntroducing ResqueResque is our Redis-backed library for creating background jobs, placing those jobs on multiple queues, and processing them later. Background jobs can be any Ruby class or module that responds… Resque is our Redis-backed library for creating background jobs, placing those jobs on multiple queues, and processing them later. Background jobs can be any Ruby class or module th
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
