Q4M を使ってる時のシグナル処理に注意 - JPerl Advent Calendar 2009
Q4M を使ってる時のシグナル処理に注意 - JPerl Advent Calendar 2009 Perl に関するちょっとした Tips をのっけてみるよ。ちゃんと続くかな？ はじめに 今日は趣向を変えて、 tips さんを。 Q4M だけに限った話ではなく SELECT SLEEP(10); とかしてる時でも良いんですが、今回は Q4M を使ってる時の注意という話です。 Data::Model の Q4M 対応では、もちろん DBI を使って Q4M を使うわけですが、これとシグナルを組み合わせるとシグナルを送った直後にシグナルハンドラを呼ばないんですね。 例えばこんなの # こいつは、 Q4M の queue_wait が終わるまでシグナルをトラップしない local $SIG{INT} = sub { warn "int" }; $queue->queue_running( qu
RE:RE:RE: Perl5 の signal 処理と DBI と Q4M - kameidの備忘録 - Sharpen the Saw!
kazuhooku さんにコメント頂いてしまい、恐縮っす。 この件、kazuhooku さんのおっしゃることは理解できたと思う。 kazuhooku さんの元記事はこれ。 Re: Perl5 の signal 処理と DBI と Q4M - kazuhoのメモ置き場 まず、現象はこう。 シグナルハンドラをセットしていると、シグナルを受け取ったときに、ハンドラで指定した所定の処理を実行させることが出来る。しかし、DBI 一般の話として、SQL 実行中はシグナルの処理がブロックされる。(無視されるのではなく、抜けてきてから実行されることになる)これは、XS (で書かれているDBD) で書かれている処理の実行中はシグナルの処理がブロックされているため。(という理解でいいのかな？) 数十秒返ってこないような SQL が無い訳ではないが、通常そういうのは改善の対象になるため、あんまり意識されることは
kameidの備忘録 - Sharpen the Saw!
xargs の使い方毎回忘れるので、備忘。 xargs の一般的な話は他で。 実行されるコマンドだけを列挙 xargs を利用した際に発行されるコマンドだけを列挙させるには、 -p オプションを使って、 cut -f 5 data2|tail -10|xargs -n 1 -I {} -p ./bcrypt.mac --password={} ./bcrypt.mac --password=kdsjfkldsjfkdsj?... ./bcrypt.mac --password=kdsfjdkfjkd?... のようにする。で、実行させる場合、-p オプションを除去して、 cut -f 5 data2|tail -10|xargs -n 1 -I {} ./bcrypt.mac --password={} $2a$10$VEA5caueTtvClPJvX3zdXuONc32pPGlPGEst
q4m by unoh
yukiです。そろそろクリスマスですね。みんな浮かれていればいいと思います！最近急に目が悪くなって、ツリーの赤色電球と居酒屋の赤提灯の色が判別出来なくなってきました。嘘です。 今回は、みんな大好きメッセージキュー、Q4Mを触ってみた感想を今更ながらレポートします。 Q4M 公式ページはこちらhttp://q4m.31tools.com/ Q4Mはサイボウズラボの奥 一穂氏が開発されており、MySQLの5.1以上でストレージエンジンとして利用できるメッセージキューで、MySQLプラグインとしてGPLライセンスで配布されております。 特長 MySQLのストレージエンジンとして利用できるので、テーブル作成時にストレージエンジンを指定するだけで利用できます。 CREATE TABLE hoge ( ... ) ENGINE = QUEUE キューの作成(enqueue)は通常のレコード操作と同様に
Q4M - a Message Queue for MySQL
Q4M (Queue for MySQL) is a message queue licensed under GPL that works as a pluggable storage engine of MySQL, designed to be robust, fast, flexible. It is already in production quality, and is used by several web services (see Users of Q4M). To start using Q4M, download either a binary or source distribution from the install page, and follow the installation instructions. A small tutorial is also
myfinder's blog: Q4Mを使うときにやってはいけない一つのこと
ある日Q4Mを利用したシステムを運用していたところ、プログラマの方から 「Q4Mのテーブルが壊れたっぽいのだけども。。。」 との報告があり、状況を聞いてみた。 どうも、Queueに突っ込んだけども処理したくないデータがあったという理由で一部の行をDELETEしたとのこと。 で、早速DBを調べてみると、全部queue_waitで取り出したにも関わらず行数が0にならなかったり、 発行しているqueue_endが実行されずにずっとプロセスが残っていたりして大変カオスな状態になっていた。 (insertも止まっていた) その場ではMySQLを強制的に再起動して、tableやschemaをdropして再作成してもらうことでことなきを得た。 が、今日帰ってきてQ4Mのページを見て謎が解決。 Q4Mの「Limitations and Known Issues」に removal of multiple
Treasure Data Platform で始めるデータ分析入門 〜1. イントロダクション〜 - doryokujin's blog
はじめに これから全7回に渡ってTreasure Data Platformを使ったデータ分析の紹介をします。教科書はこちらになります。 Treasure Data Intro for Data Enthusiast!! from Takahiro Inoue 本シリーズの目的は2つ。 Treasure Data Platform Service の概要を理解してもらう。 本シリーズを理解すればデータ分析が誰でも容易にレポーティングが可能になる。 今やデータサイエンティスト() という言葉は，高度な分析手法を駆使してあらゆる問題を解決するプロフェッショナル集団という響きがありますが，それは本質ではありません。データサイエンティストの本質は， 意思決定者（経営者，ディレクター，マネージャー）が容易に理解できるようなシンプルかつ説得力のある分析結果を提供することができること， データ収集からレ
Dockerfile Best Practices
Dockerfiles provide a simple syntax for building images. The following are a few tips and tricks to help you get the most out of Dockerfiles. 1: Use the cache Each instruction in a Dockerfile commits the change into a new image which will then be used as the base of the next instruction. If an image exists with the same parent and instruction ( except for ADD ) docker will use the image instead of
Q4Mを簡単に導入する方法 - MySQL Casual Advent Calendar 2011 - blog.nomadscafe.jp
xaicronとネタが被ったようだけど気にしない＞＜ livedoorでOperations EngineerやってるkazeburoだYo。最近livedoorからオープンソース化された3億ファイルを管理してるオブジェクトストレージ「STF」でも使ってるMessage QueueのQ4Mのインストール方法を紹介するよ！ カジュアルだからインストールだけ！ 知ってる人も多いと思うけどQ4Mはkazuhoさんによって開発されたMySQLのストレージエンジンとして実装されてるMessage Queue。livedoorではもちろん、mixiやDeNAをはじめソーシャルゲーム各社でも使われている。 Message Queueの説明や使い方はDIS_COMMENTでテーブルスペースフルの猫神様が書いてるので参考になるね！ Perl Hackers Hub 第10回 ジョブキューで後回し大作戦―Th
MySQL を使ったお手軽メッセージキュー実装 - ドワンゴ 研究開発ブログ
はじめに この記事では、MySQL を使って簡単なメッセージキューを手軽に実装する方法を解説します。 メッセージキューとは、メッセージを一時的に溜めておき、順次処理するための仕組みです。迅速なレスポンスが必要な Web アプリケーションにおいて、時間のかかる処理を非同期に行うために、バックグラウンドで順次処理していくような場合に利用できます。 簡単なメッセージキューと言っても、大規模な運用にも耐えられる程度の速度と堅牢性を持ちます。 また、ここで解説している方法で作られたメッセージキューは、弊社ウェブサービスであるニコニコ動画に最近追加されたtwitter連携機能でも利用しています。 メッセージキューを作るにあたって 今回実装するメッセージキューは メッセージの追加(push)を高速に行う事ができる メッセージの取得(pop)はある程度高速に行う事ができる 多くのクライアントから同時に p
Amazon EC2の「Cluster Compute Instances」を使ってみた(High Performance Computing向け) - 元RX-7乗りの適当な日々
先日、Amazon EC2の新しいインスタンスタイプで、ハイパフォーマンスコンピューティング(HPC)向けの「Cluster Compute Instances」が発表されました。 特筆すべきは、 Cluster Computeは標準的なEC2より処理パワーが向上しており、クラスタの計算ノード間のネットワーク接続が高速化して通信が向上しているという。一方で、顧客の利用に応じた料金支払いというサービスの理念は維持されており、利用が増えると料金は増加する。 このクラスタサービスは、Linuxと顧客のソフトウェアを多様に組み合わせて利用でき、作業を独立した複数ピースに分割し同時に実行する平行タスクに最適だ。 アマゾン、スパコンの計算能力をウェブサービスで提供 - CNET Japan といった、高い計算処理能力とノード間での処理連携を前提にしている点。 HadoopなClusterや、Amazo
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
hiroki.kanaの日常