rsyslog now supports Hadoop's HDFS - Rainer Gerhards
Rainer Gerhards Tech Enthusiast. Nature Lover. Computer Geek. rsyslog lead developer. I will be releasing rsyslog 5.7.1 today, a member of the v5-devel branch. With this version, omhdfs debuts. This is a specially-crafted output module to support Hadoop’s HDFS file system. The new module was a sponsored project and is useful for folks expecting enormous amounts of data or having high processing ti
スタートアップ企業で8年間Webの開発をしてみての反省点いろいろ - Masatomo Nakano Blog
2002年、当時設立したばかりの会社に入り、何もない状態から、コンテンツとシステムを作り続け8年が経った。日々、試行錯誤しながら、それなりに会社も大きくなり、まだ、大成功とは言えないけど、それなりにうまくやってきたつもりだ。 しかしながら、その8年という短くはない時間の中で、色々な課題や問題が発生し、その時々正しい選択をしてきたつもりだったけど、反省点も多い。もう一度スタートアップに参加するとしたら、やり直したいところや、もっと早くこうしていれば良かったというところがたくさんある。 そんなわけで、次の挑戦のときに忘れないように、また、もしかして誰かの参考くらいになればと思い、メモっておくことにした。1 まず、反省点の前に、何をやっているのかというのを簡単に。 ビジネスとしては、英語e-learningのWebサービス(ネットを使った英語のお勉強)をASPな形で、企業や大学などに提供している
YAPC Asia 2010 でのスライド公開と補足、あと感想など - 日向夏特殊応援部隊
はい、@941 さんを初めとして、@lestrrat さん、JPA の皆様って僕もですけど、それとボランティアスタッフの皆さん、スピーカーの皆さん、ご来場者の皆さん3日間お疲れ様でした。そして、今年も盛り上がりましたね。 さて、後半だいぶ時間が押して早口になってしまいましたが当日のスライドを公開します。 Inside mobage platformView more presentations from zigorou. さてと特に後半の Q4M を複数台構成にした際の負荷のばらつきですが、INSERT の方は DNSRR とかでやればいいのですが、queue_wait() して実際に何かタスクを実行する際に、処理時間に偏りがある場合、queue_wait() の sleep が無視出来なくなって片側に接続が偏ってしまう現象が何度か起きました。 これを解決するために、ひとつのQ4Mに接続す
cron の直列実行 | Carpe Diem
久しぶりのブログになります。 cron でとあるバッチ処理を setlock を使って、毎時順番に直列実行しています。 このバッチ処理は、過去 1 時間前のアクセスログをごにょごにょ集計しています。仮に、このバッチ処理は、1.rb、2.rb、3.rb、の 3 つのプログラムがあるとしましょう。2.rb は、必ず 1.rb が実行し終わったあとに実行することを前提、3.rb は、必ず 2.rb が実行し終わったあとに実行することが前提となっています。 cron には、次のように 5 分刻みで設定されています。 5 */1 * * * /usr/bin/setlock /tmp/hoge.lock /tmp/1.rb 10 */1 * * * /usr/bin/setlock /tmp/hoge.lock /tmp/2.rb 15 */1 * * * /usr/bin/setlock /tmp
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
新しい名刺が届いてた
