Hadoopのトラブルシューティングに関する資料があったのでめもっとく - wyukawa's diary
Hadoop World 2011でClouderaの人が発表した資料を見つけたのではっておく。 Hadoop Troubleshooting 101 - Kate Ting - Cloudera View more presentations from Cloudera, Inc. Clouderaのサポートチームの極意が詰め込まれているようだ。 内容的にはHadoop徹底入門の10章の「性能向上のためのチューニング」と若干かぶっているが参考になります。 io.sort.mb < mapred.child.java.opts とすることとか（ていうかmapred.child.java.optsを増やすことはあるかもしれないがio.sort.mbっていじるもんなのかな）、プロセス数やファイルディスクリプタいじれとか、map出力のスレッドいじれとか、Jetty 6.1.26は使うなとか、盛り
Join optimization in hive
[Harvard CS264] 08b - MapReduce and Hadoop (Zak Stone, Harvard)npinto
INTEL コード & ダウンロード
Using Intel.com Search You can easily search the entire Intel.com site in several ways. Brand Name: Core i9 Document Number: 123456 Code Name: Emerald Rapids Special Operators: “Ice Lake”, Ice AND Lake, Ice OR Lake, Ice* Quick Links You can also try the quick links below to see results for most popular searches. Product Information Support Drivers & Software
Hadoop Performance Tuning
Impetus caters to diverse business needs using HPC based innovative solutions including software (Hadoop, Korus, Grids, Erlang) as well as hardware centric GPU (using CUDA) solutions. This paper explains tuning of Hadoop configuration parameters which directly affects Map-Reduce job performance under various conditions, to achieve maximum performance.
Balanaced Reduce Partitioning
Hadoop Performance Tuning A case study Milind Bhandarkar (Suhas Gogate) (Viraj Bhat) Do we really need to tune it ? Case study: RecommendaGon Engine 20 dedicated machines ($160,000 for 3 Years) 3 Hours runGme every day Needed 15% improvement per year Equivalent to 3 addiGonal machines ($24,000 for 3 years) 4 Full‐Gme programmers 2 months for needed improvement ($1
[Hadoop]複数ディスクを使って効率の良い処理
Hadoop では一つのノードあたり複数ディスクを使うことができますが，ディスクを増やすことによってどれくらい性能が向上するか調べました． HDFSで使用するディスクをdfs.data.dirにコンマ区切りで記入することで複数使えます． <property> <name>dfs.data.dir</name> <value>/data/local/${user.name}/hadoop/dfs/data, /data/local2/${user.name}/hadoop/dfs/data</value> </property> しかし，これだけではまだダメで，mapタスク，reduceタスクが中間データを書き込むディスクも複数指定しなしとHadoopのジョブで複数ディスクを効率良く使えません．mapred.local.dir で設定可能です． <property> <name>mapre
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Tips and Guidelines - Cloudera Support
On Advanced Hadoop Tuning and Optimisation | PDF | Apache Hadoop | Cloud Computing
Email Intelligence - Enhance Your Email List | TowerData