Hive QL(HQL)でORDER BYするときの注意点「SORT BYは結果がreducerの数に依存」「各reducerがsort処理をしたものがマージされる」「明示的にreducerの数を1に指定してからSORT BYを実行」「set mapred.reduce.tasks=1;」

nilab のブックマーク 2020/05/22 10:21

<blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/4673430837269686434/comment/nilab" data-user-id="nilab" data-entry-url="https://b.hatena.ne.jp/entry/s/blog.katsuma.tv/2009/10/hive_order_by.html" data-original-href="https://blog.katsuma.tv/2009/10/hive_order_by.html" data-entry-favicon="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Fblog.katsuma.tv%2F2009%2F10%2Fhive_order_by.html" data-user-icon="/users/nilab/profile.png">blog.katsuma.tv</a><br><p style="clear: left">Hive QL(HQL)でORDER BYするときの注意点「SORT BYは結果がreducerの数に依存」「各reducerがsort処理をしたものがマージされる」「明示的にreducerの数を1に指定してからSORT BYを実行」「set mapred.reduce.tasks=1;」</p><a class="datetime" href="https://b.hatena.ne.jp/nilab/20200522#bookmark-4673430837269686434"><span class="datetime-body">2020/05/22 10:21</span></a></blockquote><script src="https://b.st-hatena.com/js/comment-widget.js" charset="utf-8" async></script>

このブックマークにはスターがありません。
最初のスターをつけてみよう！

blog.katsuma.tv

blog.katsuma.tv2009/10/15

HiveでのSQLことHQLの小ネタ。HQLでは基本的にSQLはほぼ完璧に利用できますが、たまにハマりポイントもあります。その１つが並び替えのORDER BY。 ORDER BYとSORT BY HQLの文法的にORDER BYは有効ですが、実際は...

7 人がブックマーク・1 件のコメント

他のコメントを読む

＼コメントがサクサク読めるアプリです／

はてなブックマーク

blog.katsuma.tv

はてなブックマーク

公式Twitter

はてなのサービス