2013年 Hadoop 運用ログ @ Treasure Data | Post Moratorium

2013年 Hadoop 運用ログ @ Treasure Data Hadoop Advent Calendar 2013、5日目のエントリです。2日遅れてすいません！ 細かいのは上げればキリが無いんだけど、誰かの役に立てばと思い Treasure Data でHadoopクラスタを運用してみたログ 2013年度版を公開してみます。 対象バージョン2013年には、ディストリビューションのアップグレードを5回ほど行いました。 CDH3u0CDH3u1CDH4.1.2CDH4.2.0CDH4.2.1メジャーアップグレードは複数バージョンを同時に走らせて問題が無いことを確認後、切り替えを行っています。しかしCDH3って既にEnd of Maintenanceなんですね、知らなかった。 運用体制約3名、年末には約8名程。約100社に向けてサービス運用をしていて、数分ジョブが刺さるだけでもサポートチ

[muddydixon]

こういう話を出してくれる @@kzk_mover さんかっこいい！

[makimoto]

強そう。

[htgc]

後で読む

[miguchi]

運用は大変やな・・・

[wyukawa]

これは興味深い。after_gcは後で調べてみようかな。あとHiveServerは使ってないのね。

[tumo300-500]

素晴らしい

[inokara]

運用について。興味深い。

[yass]

" EBSは使っていません / Ubuntu 10.04をEC2で走らせると高負荷時に挙動不審になるという現象が多発していました。Instagram Engineeringでも報告されています。こちらは様々なバージョンを試して、現在はUbuntu 12 (ami-fbb2fc92) "

[kimutansk]

EBS使わない、や遭遇している問題が貴重な情報。後はリソースマネージャとリアルタイム処理が来年の重要ポイントといった感じなんですかね。やはり。

[matsumanahate]

とても興味深い。

[kzk]

Hadoop Advent Calendar 2013, 5日目の分を書きました。遅れてすいません...。