これから Hadoop を学ぶ人向け読書ガイド - 科学と非科学の迷宮
なんだかんだで Hadoop 周りの本も結構増えてきましたので下にまとめました。 抜けてるのもあると思うので(特に和書)、なんかお薦めありましたらコメントください。追加します。 タイプ別お薦め読書コース 短期間で全部読むのは不可能なので、とりあえず簡単にお薦めの読書コースを紹介します。 非技術者(営業や経営者など) 象本1章と徹底入門1章だけ読んどけばいいです。余裕があれば象本16章(ケーススタディ)。読んでる暇あったらその人件費で技術者にいいPC買ってあげてください。 技術者(共通) 象本読まないとかありえないです。 別に全部読む必要ないですが、とりあえず 1-10章ぐらいは目を通してください。 それも時間的に難しいならせめて3章か4章ぐらいまで目を通してください。 可能なら徹底入門と並行して読んでください。書き方の切り口が違う2つの書籍を読むことで理解が深まります。 Hadoop 技術
Hiveのjoinの最適化 - wyukawa's diary
元ネタはこちら Join Optimization in Apache Hive Hiveは0.7からjoinが最適化されています。どのように最適化されたのか上記の資料をひもといてみます。 いままでのjoin いままでのjoinはいわゆるソートマージジョインです。 mapフェーズでテーブルのデータを読み込んでjoinキー、joinバリューを出力し、shuffleフェーズでソート、reduceフェーズでjoinという流れです。 この場合shuffleフェーズのソート処理がボトルネックとなっていました。 そこで登場するのがMap Joinです。 joinの片方のテーブルのサイズがメモリに収まるほど小さいのであれば、mapperのメモリに読み込んでmapフェーズだけでjoinします。 こんな感じの構文で書きます。 select /*+mapjoin(a)*/ * from src1 x join
1 Performance & Programming Comparison of JAQL, Hive, Pig and Java Robert Stewart http://www.macs.hw.ac.uk/~rs46/ Document Revision 1.0 2 Experiment Design Benchmarks (Widely Used) ● Word Count [3,4,5,6] ● Read large text file; output list of distinc
1 Performance & Programming Comparison of JAQL, Hive, Pig and Java Robert Stewart http://www.macs.hw.ac.uk/~rs46/ Document Revision 1.0 2 Experiment Design Benchmarks (Widely Used) ● Word Count [3,4,5,6] ● Read large text file; output list of distinct words with frequency ● Dataset Join [1,2,3,4] ● Reads two datasets; join on occurrences of identical items ● Webserver Log Processing ● Reads webse
Hive vs Pig for HadoopSourceCodeReading
Apache Hadoop India Summit 2011 talk "Pig - Making Hadoop Easy" by Alan Gate
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
