Hive on Tez で Parquet を Snappy で圧縮すると起きる Container is running beyond physical memory limits. を解消する
Hive で次のようなエラーに遭遇することがあるかと思います。 Container [pid=10828,containerID=container_1548924716595_1044_01_000024] is running beyond physical memory limits. Current usage: 3.8 GB of 3 GB physical memory used; 6.4 GB of 15 GB virtual memory used. Killing container. このエラーは意外に厄介で、ちょっとググっただけだと「設定ミスが原因です」的なものばかりで自分の求めている回答に辿り着けませんでした。 結論から言うと、次のように Hive のパラメータをよしなにセットしてやれば解消します。 -- yarn.nodemanager.resource.memo
Hive Performance Tuning – Arm Treasure Data
Prerequisites Basic knowledge of Arm Treasure Data. Basic knowledge of the Hive query language. Leveraging Time-based Partitioning All imported data is automatically partitioned into hourly buckets, based on the ‘time’ field within each data record. By specifying the time range to query, you avoid reading unnecessary data and can thus speed up your query significantly. WHERE time <=> Integer When
SQLite + Pythonユーザ定義関数組込で進捗ダメじゃないですになりました - あんちべ！
概要 これまで「Hiveからデータ取得・簡単な加工→Pythonで加工・分析」 という流れで作業していたのですが、 Hive→SQLite→Pythonという流れにしたところ進捗が改善されたので、 SQLiteの簡単な使い方とPythonによるSQLユーザ定義関数の組込方法 についてメモを残しておきます。 特にユーザ定義関数の組込を自由に出来ると、 分析する際、相当楽になるということに気付きました。 SQLite挟むことで何がどう改善されたの？ Hiveはデカいデータをゴリゴリ取ってくる分には SQLちょっと書くだけで済むので大変便利ですが、 初動遅いためちょこちょこ小さいデータを何度も取ろうとするとストレス溜まります。 そのため、これまではある程度のデータをまとめてHiveで落としてきて Pythonで加工してから分析するという流れを取っていました。 ただ加工するために似たようなコード何
Hiveについての情報源 - wyukawa's diary
とりあえずめもっとく ■本家 Top Apache Hive TM Wiki Home - Apache Hive - Apache Software Foundation JIRA - ASF JIRA リポジトリ Subversion http://svn.apache.org/repos/asf/hive/trunk Git git://git.apache.org/hive.git http://github.com/apache/hive.git ■書籍 Hadoop徹底入門 作者: 太田一樹,下垣徹,山下真一,猿田浩輔,藤井達朗,濱野賢一朗出版社/メーカー: 翔泳社発売日: 2011/01/28メディア: 大型本購入: 14人 クリック: 668回この商品を含むブログ (43件) を見る 6章に30ページほど書かれている。入門にはいいと思う。 Hadoop 第2版 作者: To
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
