kgbuのブックマーク - はてなブックマーク
http://engineering.pinterest.com/post/92742371919/powering-big-data-at-pinterest 1 comment | 0 points | by WazanovaNews ■ comment by Jshiike | 約3時間前 Pinterestもものすごい規模になってきましたね。 1日当たり20TBの新しいデータ。Amazon S3には約10PBが保存されている。 同社ではこのデータの処理にHadoopを利用していますが、 毎日100人以上が、Quoboleが提供するダッシュボードを使って、2,000件以上のジョブを実行。 3,000個のノードで構成される6つのHadoopクラスタを利用。エンジニアは数分で専用のクラスタが立上げ可能。 毎日のログデータは、200億件。約1TBに達する。 このグラフによると、Pinte
「止まる」「遅い」を元から絶つ！オープンソースのトラブル解決第1回 アプリケーション異常終了
止まる，性能が出ない…システム開発に携わる人なら誰もがぶつかった経験のあるトラブルでしょう。特に，通常は問題がないのに，負荷が高くなったり，長時間連続稼働した時にだけ発生するトラブル，さらにどういった場合に発生するのかわからないトラブルはやっかいです。 でも，原因を突き止める方法はあります。この連載では，そういったトラブルをタカハシくんとスズキさんの2人といっしょに解決していきましょう。 タカハシくんは，IT企業の若手エンジニア。元気はあるのですが，おっちょこちょいなのが欠点です。LinuxでC言語やJavaを使った開発には少し自信が出てきましたが，トラブルがあるとなかなか原因がわからず，先輩のスズキさんに教えを請う毎日です。スズキさんはこの道ン十年，汎用機でのアプリケーション開発の経験もあるベテラン・エンジニアです。 第1回目は，高負荷時にアプリケーションが異常終了するというトラブルです
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
