ccoのブックマーク - はてなブックマーク

fluentdの運用周りについて書いておく - wyukawa's diary
fluentdは基本的には安定して動くソフトウェアだけど規模が大きくなってユースケースが増えてくるとトラブルに遭遇することもある。今回は運用周り、例えばトラブルシューティングとかモニタリング周りについてちょっと書いてみたい。前提として僕の環境ではtd-agentは使わず素のfluentd 0.12系を使っており、xbuildでrubyをインストールし、supervisordでプロセス管理している。また僕はfluentdクラスタを運用する立場であり、このクラスタに対して社内のメンバーが自由にfluentdを使ってログを送信するという形になっている。なので末端のfluentdの管理は僕ではなく各自でやってもらうということになっているのだが、そこで問題が出ることもある。 fluentdのバージョン管理問題例えば、とあるfluent pluginをインストール or アップデートしたらfl
cco 2017/07/03
リンク
こんなHadoop本が読みたい - wyukawa's diary
wyukawa's tumblr, descicoさんとHadoopについて話しました Guest descico Show...でも少し話したけど、日本語で読めるHadoop本が古くなっていて今だとちょっと勉強しづらい状況です。なので、僕だったら、下記のような目次の「はじめてのHadoop」を読みたいので、コミッタがたくさんいるNTT関係者が書いてくれないかなあと思ってたりします。チラチラ。なおこの目次は「tagomorisが騙るはじめてのHadoop」 - たごもりすメモをベースにしました。分析基盤で使うことにしてPig, HBaseは無しという前提で書きました。 Hadoopの基礎 HDFS YARN MapReduce Tez Timeline server スケジューラ設計データ量の見積もりデータ圧縮ファイルフォーマット(RCFile, Parquet, ORC)
cco 2017/02/07
THP ってオフにするものなの？（Java/OpenJDKはともかくHadoopとその周辺プロダクトにどう影響があるのか解っていない)
リンク
dentry cacheの解放 - wyukawa's diary
メモリ使用量がずっと増え続けているマシンがあったんだけどtop+shift+mしても別に特定のプロセスがメモリを食いつぶしているわけではないので原因が分からなくて困ってました ambari-serverとprestogresが動いているマシンで同じ傾向だったことから状況証拠としてはpostgresqlが怪しいんだけどpostgresql再起動しても状況変わらなかったです。ちなみにOSはCentos 6.5です。で、結論から言うとどうもdentry cacheが原因で sudo /sbin/sysctl -w vm.drop_caches=2すればメモリががつっと減りました。一番メモり使用量が大きかったマシンだと/proc/meminfoのSlabが38GBぐらい占めててslabtopでdentryが多いのを確認してキャッシュを解放しました。そうすると以下のようにがつっと減りました。こ
cco 2014/12/16
ops

memory
リンク
1