「Googleのソフトウェアエンジニアリング」を読んだ - wyukawa's diary
www.oreilly.co.jp 目次はこちら 第1部 主題 1章 ソフトウェアエンジニアリングとは何か 第2部 文化 2章 チームでうまく仕事をするには 3章 知識共有 4章 公正のためのエンジニアリング 5章 チームリーダー入門 6章 スケールするリーダー 7章 エンジニアリング生産性の計測 第3部 プロセス 8章 スタイルガイドとルール 9章 コードレビュー 10章 ドキュメンテーション 11章 テスト概観 12章 ユニットテスト 13章 テストダブル 14章 大規模テスト 15章 廃止 第4部 ツール 16章 バージョンコントロールとブランチ管理 17章 Code Search 18章 ビルドシステムとビルド哲学 19章 GoogleのコードレビューツールCritique 20章 静的解析 21章 依存関係管理 22章 大規模変更 23章 継続的インテグレーション 24章 継続的
PrestoとかAnsibleとかその辺の話を軽く書いてみる - wyukawa's diary
今日はPrestoとかAnsibleとかその辺の話を軽く書いてみようと思います。突っ込んだ話が出来るわけではないのであしからず。 僕のところの環境ではPrestoを使っていて、PrestoはDataNodeやNodeManagerと同居してます。主なユースケースはアドホッククエリの実行です。とあるレポートを作りたいってなったときにデータの中身をチェックするのに使います。従来だとこれがHiveだったのですが、HiveだとMapReduceになって遅いので（ローカルモードで済む場合もあるけど）、その点Prestoは早くていいです。ただこれは僕の環境がスモールデータだからっていうのもあって、圧縮済み数百GBのデータに対してselectかけるとかだとPrestoといえども遅くなると思います。あとなにげに良いのがPresto CLI経由だとカラム名が表示されるのでどのデータがどのカラムなのかすぐ分か
dentry cacheの解放 - wyukawa's diary
メモリ使用量がずっと増え続けているマシンがあったんだけどtop+shift+mしても別に特定のプロセスがメモリを食いつぶしているわけではないので原因が分からなくて困ってました ambari-serverとprestogresが動いているマシンで同じ傾向だったことから状況証拠としてはpostgresqlが怪しいんだけどpostgresql再起動しても状況変わらなかったです。ちなみにOSはCentos 6.5です。 で、結論から言うとどうもdentry cacheが原因で sudo /sbin/sysctl -w vm.drop_caches=2すればメモリががつっと減りました。 一番メモり使用量が大きかったマシンだと/proc/meminfoのSlabが38GBぐらい占めててslabtopでdentryが多いのを確認してキャッシュを解放しました。 そうすると以下のようにがつっと減りました。こ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
