Linux Memory Overcommit - memologue
かなり昔ですが、或日さんのSolaris8におけるmemory over commitの話題に触発され、Linuxの場合について調べた事があります。正しさは保証しませんが当時のメモを貼っておきます。 memory overcommit? メモリ資源の非常に限られた環境でLinuxを使用しているとよく遭遇する現象なのだが、kernel 2.4までのLinuxでは、"mallocが成功を返したにもかかわらず、その確保した筈のメモリ領域にアクセスすると、SIGKILLによってkernelから強制終了させられてしまう" という現象が 発生することがある。これは、「全プロセスがnew/mallocしたメモリの総量」に対して物理メモリ量が少なすぎる瞬間に於いては常に発生し得る。 何に困っているかといえば、C++でオブジェクトをnewした時に、メモリの枯渇をstd::bad_alloc例外送出という形で
革命の日々！ で、結局overommit_memoryのオススメ設定値はいくつなのさ？
あんまりエントリにするほどの分量はないんだけど、現時点でのオイラのオススメ値を貼っとく overcommit_memory=2 overcommit_ratio=0 swapパーティションのサイズ： 物理メモリ量ｘ８０％ overcommit_ratio=0 にすることで、全プロセスの仮想メモリ量がスワップサイズを超えなくなるので、カーネルによほど負荷をかけないかぎりスワップしなくなる。 んで、スワップを０にしたときと違って、カーネルに負荷をかけるようなスゲー使いかたをしたときでもスワップが発生するだけでOOM-killerは発生しない。 欠点は、ほぼ使わないと想定しているスワップに結構なディスク量をとられることだけである。 あ、あと、８０％というのはかなり適当に決めた値なのでシステムによっては９０％とかでもいけると思う。 注意１： この設定は組み込みでは全然使えません。なぜならサーバー系
Fluentd meetup dive into fluent plugin (outdated)
Fluentd meetup in Japan. I talked about "Dive into Fluent plugin". Some contents are outdated. See this slide: http://www.slideshare.net/repeatedly/dive-into-fluentd-plugin-v012Read less
Distributed Stream Processing on Fluentd / #fluentd
This document discusses NHN Japan's use of Fluentd for log collection, conversion, and analysis. It summarizes their architecture which involves collecting logs from servers using Scribeline, delivering them to Fluentd processes, converting the logs to a structured format using Fluentd plugins, writing the structured data to HDFS, and performing analysis and reporting with Hive. Key aspects discus
Presentation at 'Fluentd Meetup in Japan'
Presentation at ’Fluentd Meetup in Japan’ — Presentation Transcript fluentd@just_do_neet 1 fluentd - The Event Collector Service•‘fluentd’ product made by a Japanese famous hacker ‘Sadayuki FURUHASHI‘ (Treasure Data Inc. ) http://www.scribd.com/doc/70897187/ Fluent-event-collector-update (English) http://blog.treasure-data.com/post/ 13047440992/fluentd-the-missing-log- collector (English) http://d.hat
OS X 10.7 Lion で IPv6 を無効にして「切」にする | Macとかの雑記帳
Mac から Windows への高速なデータ書き込みが可能に！ Paragon NTFS for Mac OS X Windows の NTFS ボリュームを、Mac 標準のファイルシステムと同等の速度で利用でき、長期間の運用でも安定して使えるシステムドライバ Paragon NTFS for Mac OS X。専用のインストーラーで簡単に導入でき、運用中も特別な操作を必要としません。Mac と Windows を併用している人には必携のツールです。 レビュー記事を見る 価格：2,100 PARAGON Software Group 【6-Dec】【あす楽】チイロ ダンボーモバイルバッテリーミニ cheero Power Plus DANBOARD version -mini- 大人気のダンボーバッテリーに、手のひらサイズが登場しました！ リリース直後、あっという間に売り切れた、ダンボ
正規表現メモ
\x{} \pは後続する名前が表すクラス(プロパティ、スクリプト、ブロック)に属する文字にマッチし、 \Pは後続する名前のクラスに属さない文字にマッチします。 クラスの名前が一文字のときはブレースを省略できます。 クラス名の前に^を置くことにより否定形の指定を行うことも可能です。 Perl 5.8 での変更点 Perl5.8以降(5.6でも使えたようですが)では \pや\Pで始まるプロパティ指定に標準Unicode属性を使うこともできます。 詳しくは perlunicode perlunicode - Perl における Unicode サポート を参照してください。 日本語による説明が Unicodestandard にもあります。 Perl 5.8以降ではユーザーが任意のプロパティを作成することができます (IsまたはInを必ず前置)。 詳しくは perlunicode perluni
Perl から Fluentd にログ出力 - Fluent::Logger リリース - 酒日記 はてな支店
皆さん、ログ書いてますか！？(挨拶) Fluentd meetup in Japan も開催間近、最近大変熱いイベントログ収集システム Fluentd なわけですが、Perl からログを出力する Fluent::Logger というモジュールを CPAN にリリースしたのでお知らせします。 (最初の版は id:hirose31 さんが書かれて、それに同僚の id:shin1rosei と手を加えたものです) インストールは cpanm などでどうぞ。使い方は POD にもあるように簡単です。 use Fluent::Logger; my $logger = Fluent::Logger->new( host => "127.0.0.1", port => 24224 ); $logger->post( "myapp.info" => { foo => "bar" } ); 上記の例で送信す
livedoor Techブログ : 「livedoor × DeNA 勉強会」 #LDeNA を開催しました
こんにちは、１月から技術広報も兼任することになりました NHN Japan ウェブサービス本部 開発２室の櫛井です。 株式会社ライブドアは１月よりNHN Japan 株式会社として新たに動き出しておりますが まだライブドア時代に「お互いまだ近所にいるうちに勉強会しません？」とお誘いして 株式会社ディー・エヌ・エーの皆さんと合同勉強会を開催しました。その名も #LDeNA ！ トークは交代で20分程度の講演を行う形で、公開出来る範囲でいうと以下の内容で行いました。 ・DeNA @nekokak 「Clutch - distributed job system」 ・NHN Japan @大型新人 「microdata を活用しよう | JS に値を渡すときは data-* にしよう」 ・DeNA @隠し玉 「みんなでパケットを取ろう」 ・NHN Japan @tagomoris 「ログ収集・集
震災のときにあったほうがいいものまとめ
椿ヨネ子 @yoshimicov 私ね、阪神大震災の被災者なのよ。毎年1月17日と、誕生日（7月初旬）のあとの年2回、備蓄のチェックしてる。旦那は自衛官だし、防災関係はバッチリよ。震災のときにあったほうがいいもの、ちょっと書いてく。興味ない人はスルーして。
A Design Framework for Highly Concurrent Systems Matt Welsh, Steven D. Gribble, Eric A. Brewer, and David Culler Computer Science Division University of California, Berkeley Berkeley, CA 94720 USA {mdw,gribble,brewer,culler}@cs.berkeley.edu Abstract Buil
A Design Framework for Highly Concurrent Systems Matt Welsh, Steven D. Gribble, Eric A. Brewer, and David Culler Computer Science Division University of California, Berkeley Berkeley, CA 94720 USA {mdw,gribble,brewer,culler}@cs.berkeley.edu Abstract Building highly concurrent systems, such as large-scale Internet services, requires managing many information flows at once and maintaining peak throu
Graphite
Graphite does three things: Kick ass. Chew bubblegum. Make it easy to store and graph metrics. (And it’s all out of bubblegum.) Learn more about Graphite About the Project Graphite is an enterprise-ready monitoring tool that runs equally well on cheap hardware or Cloud infrastructure. Teams use Graphite to track the performance of their websites, applications, business services, and networked serv
pselectでシグナルを無視する:Geekなぺーじ
selectは、ブロック中にシグナルを受け取るとEINTRを返します。 ここでは、pselectを利用して指定したシグナルに関してはEINTRを返さないでselect処理を実行する方法を説明したいと思います。 selectを横から止める pselectは、selectの応用例のようなものです。 selectとEINTRに関しては「selectを横から止める方法」をご覧下さい。 サンプルコード 下記サンプルコードは、pselectに入るとずっとブロックし続けます。 ブロッキング状態を解除するためには、下記サンプルコードにUSR2シグナルを送信します。 シグナルハンドラが登録されていないシグナルを受け取ると、アプリケーションは終了してしまいます。 そのため、下記サンプルではprintfだけ行って何もしないシグナルハンドラを登録しています。 ハンドラを登録せずに、SIGUSR2をignoreする
エッジトリガ (epoll) の話 - id:kazuhookuのメモ置き場
エッジトリガのメリットとしては、「データが貯まった状態で処理を後回ししても起こされない」というのもあるみたいだけど、これはEPOLLONESHOTというオプションを使うとレベルトリガでも実現可能。 epollであえてエッジトリガを使うとすれば、「ノンブロッキングI/Oでいつも最後までデータを読んでるから、レベルトリガはただの無駄だよねー」とかいうときの気持ちの問題ではなかろうか。 http://d.hatena.ne.jp/nishidakeisuke/20080703/p1 エッジトリガとレベルトリガで、コーディングの差が大きくなるのは、むしろデータを書く場合なんじゃないのかなぁ。レベルトリガだと、 send(2) が EAGAIN を返したら epoll に fd を登録 アプリケーション側のバッファが空になったら、epoll から fd を削除 というコードを書かないといけない (と
alarmをネストする方法 - kazuhoのメモ置き場
だいたいこんな感じ。結局使わないコードだけど。alarm(0) を呼んでからセットしてるのは、$SIG{ALRM} の差し替え中にシグナルが飛んでくる可能性を考えて。このあたりは自分がセットするシグナルハンドラの仕様によっては、高速化の余地があるはず。 sub create_nested_alarm_guard { my $old_alarm_after = Time::HiRes::alarm(0); my $old_alarm_at = $old_alarm_after ? Time::HiRes::time + $old_alarm_after : 0; my $old_alarm_handler = $SIG{ALRM}; Scope::Guard->new(sub { my $now = Time::HiRes::time; Time::HiRes::ualarm(0); $SI
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
homebrew on Tumblr
Fluentd meetup in japan
fluentd を利用した大規模ウェブサービスのロギング
pipe+selectでpselect的なことをしたいときに考える事
alarmのネスト - blog.nekokak.org