エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
HadoopのMapReduceの運用 - wyukawa's diary
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
HadoopのMapReduceの運用 - wyukawa's diary
http://kzk9.tumblr.com/post/69268410641/2013-hadoop-treasure-dataを見て良いエントリだなと思いつつ... http://kzk9.tumblr.com/post/69268410641/2013-hadoop-treasure-dataを見て良いエントリだなと思いつつそういやHadoopのMapReduceの運用ってどうやんのがいいんだろって思って本エントリを書きました。 Treasure Dataに限らずある程度の規模のHadoopクラスターでMapReduceを運用してるところってどんな感じでやってるんだろうな。 僕が経験したものとしては HDD障害多発 ShuffleがうまくいかなくてReduceが遅くなる現象 - wyukawa’s blog JobTrackerのOutOfMemory HiveジョブでOutOfMemory です。 HDD障害はひどい時は毎日起きてたんだけどmapとreduceのスロット数を減らしたらぱったり起きなくなった。最初はメモリだけ見てたんだけどCPUも考慮