Hive Hacks その2 – Hiveのログ、圧縮など – OpenGroove
注1 :スプリット不可の形式はHDFSで指定したブロックサイズよりも大きな圧縮ファイルをMapReduceの入力とした場合、入力が複数のMapタスクに分散されずに単一のMapタスクで処理されてしまうため、分散処理のメリットが損なわれてしまう。 注2 :ネイティブライブラリは、CDHの場合hadoop/lib/native/にインストールされている。Hadoopのデフォルトの動作では自動的にこのライブラリをロードして使用する。 MapReduceプログラムの出力圧縮 MapReduceにてMap（中間出力）とReduce（最終出力）それぞれを圧縮することができる。中間データ圧縮により性能改善が期待できる。 mapred.compress.map.output true: Mapの出力を圧縮する（SequenceFileを使用） false: 圧縮しない（デフォルト） mapred.map.o
LanguageManual UDF - Apache Hive - Apache Software Foundation
When hive.cache.expr.evaluation is set to true (which is the default) a UDF can give incorrect results if it is nested in another UDF or a Hive function. This bug affects releases 0.12.0, 0.13.0, and 0.13.1. Release 0.14.0 fixed the bug (HIVE-7314). The problem relates to the UDF's implementation of the getDisplayString method, as discussed in the Hive user mailing list.
hadooptutorial.info - hadooptutorial リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
Hadoopアドベントカレンダー2011 17日目 - Hive 0.8 について -
またJIRAのチケットによると、datetimeに関する様々なUDFがtimestampをサポートしたようです。 例えば以下のような操作ができます。 サンプルデータを1件用意します。書式はyyyy-MM-dd HH:mm:ss か yyyy-MM-dd HH:mm:ss.fffffffffのみです。 2011-12-25 09:00:00 create table ts1(t1 timestamp); load data local inpath '/mnt/iscsi/test1/data4.txt' overwrite into table ts1; select cast(t1 as float), cast(t1 as double) from ts1 limit 1; 1.3247712E9 1.3247712E9 select cast(t1 as bigint), cast(
SQLite + Pythonユーザ定義関数組込で進捗ダメじゃないですになりました - あんちべ！
概要 これまで「Hiveからデータ取得・簡単な加工→Pythonで加工・分析」 という流れで作業していたのですが、 Hive→SQLite→Pythonという流れにしたところ進捗が改善されたので、 SQLiteの簡単な使い方とPythonによるSQLユーザ定義関数の組込方法 についてメモを残しておきます。 特にユーザ定義関数の組込を自由に出来ると、 分析する際、相当楽になるということに気付きました。 SQLite挟むことで何がどう改善されたの？ Hiveはデカいデータをゴリゴリ取ってくる分には SQLちょっと書くだけで済むので大変便利ですが、 初動遅いためちょこちょこ小さいデータを何度も取ろうとするとストレス溜まります。 そのため、これまではある程度のデータをまとめてHiveで落としてきて Pythonで加工してから分析するという流れを取っていました。 ただ加工するために似たようなコード何
HiveServerでファイルディスクリプタがリークする件について
@tagomorisさんがこんな事を言っていたので、調べてみました。 まずは、.pipeoutファイルについて。 結論から言うと、Hiveの不具合です。 （（追記 2012/06/23 14:00）Hiveのプログラムの書き方は良くないんだけど、Leakはしていないと思われます.） この.pipeoutファイルはSessionStateのstartメソッドでOpenされます。startメソッドはHiveServerの場合、クライアントがコネクションをはった時にコールされます。(HiveSourceCodeReadingの発表資料にもちょっとだけ書いてあります。) .pipeoutファイルはHiveServerではpipeInという変数によって、BufferedReader -> FileReaderを通して参照されます。 ↓のような感じ。 pipeIn = new BufferedRead
Hive Tools in NHN Japan #hadoopreading
1. Hive Tools in NHN Japan Hadoop Source Code Reading Vol.9 2012/05/30 @tagomoris (TAGOMORI Satoshi) 12年5月30日水曜日 3. Hive in NHN Japan Reporting of access log (not analysis) Pageviews and/or Unique Users? Accesses under specified condition? Hey, what numbers of accesses for our new features? new bot accesses? any troubles? 12年5月30日水曜日 4. SELECT yyyymmdd, count(is_pc(pa)) as pc, count(is_smartphone(p
Hive UDFを自分で追加するときの注意点メモ - たごもりすメモ
メモ。CDH3u2 (hive-0.7.1-cdh3u2) での話。 (1/23 HiveServerについていくつか追記した) Hiveで自分でつくった関数(User Defined Function: UDF)を使いたい！ と思い艱難辛苦を乗り越えJavaのコードを書きjarにまとめたとする。書くまでの話はWikiの該当ページなどを熟読するのがよろしい。 で、じゃあどうやってHive起動時に読み込めばいいの、という話。 add jarコマンド hiveコマンドを起動するマシンの適当なディレクトリにjarファイルを置き、そのディレクトリをカレントディレクトリとしてhiveを起動して以下のコマンドを実行する。 hive> add jar udfclass.jar; hive> create temporary function myfunc as 'my.package.udf.Class
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
hadooptutorial.info - hadooptutorial リソースおよび情報
IDCフロンティア ヘルプサイト
TreasureDataでHiveクエリを書くとき - TD_TIME_FORMAT,TD_TIME_PARSE,TD_DATE_TRUNC - Qiita
OSSで支えられるライブドアの巨大ログ集計 #nhntech
GitHub - tagomoris/shib: WebUI for query engines: Hive and Presto