Apache Hive vs Apache Impala Query Performance Comparison - Cloudera Blog
The 100% open source and community driven innovation of Apache Hive 2.0 and LLAP (Long Last and Process) truly brings agile analytics to the next level. It enables customers to perform sub-second interactive queries without the need for additional SQL-based analytical tools, enabling rapid analytical iterations and providing significant time-to-value. TRY HIVE LLAP TODAY Read about how Hive with L
Tuning Apache Hive on Spark in CDH | 6.3.x | Cloudera Documentation
Minimum Required Role: Configurator (also provided by Cluster Administrator, Full Administrator) Hive on Spark provides better performance than Hive on MapReduce while offering the same features. Running Hive on Spark requires no changes to user queries. Specifically, user-defined functions (UDFs) are fully supported, and most performance-related configurations work with the same semantics. This t
Apache Spark @Scale: A 60 TB+ production use case
Facebook often uses analytics for data-driven decision making. Over the past few years, user and product growth has pushed our analytics engines to operate on data sets in the tens of terabytes for a single query. Some of our batch analytics is executed through the venerable Hive platform (contributed to Apache Hive by Facebook in 2009) and Corona, our custom MapReduce implementation. Facebook has
Unit testing HQL - Apache Hive - Apache Software Foundation
Motivations Hive is widely applied as solution to numerous distinct problem types in the domain of big data. Quite clearly it often used for the ad hoc querying of large datasets. However it is also used to implement ETL type processes. Unlike ad hoc queries, the HQL written for ETLs has some distinct attributes: It is executed repeatedly, usually on a schedule. It is frequently a large, complex b
A perfect Hive query for a perfect meeting (Hadoop Summit 2014)
A perfect Hive query for a perfect meeting (Hadoop Summit 2014) During one of our epic parties, Martin Lorentzon (chairman of Spotify) agreed to help me to arrange a dinner for me and Timbuktu (my favourite Swedish rap and reggae artist), if I prove somehow that I am the biggest fan of Timbuktu in my home country. Because at Spotify we attack all problems using data-driven approaches, I decided to
Hiveを高速化するLLAP
Hadoop/Spark で Amazon S3 を徹底的に使いこなすワザ / Hadoop / Spark Conference Japan 2019 講演者： 関山 宜孝 （Amazon Web Services Japan） 昨今 Hadoop/Spark エコシステムで広く使われているクラウドストレージ。本講演では Amazon S3 を例に、Hadoop/Spark から見た S3 の動作や HDFS と S3 の使い分けをご説明します。また、AWS サポートに寄せられた多くのお問い合わせから得られた知見をもとに、Hadoop/Spark で S3 を最大限活用するベストプラクティス、パフォーマンスチューニング、よくあるハマりどころ、トラブルシューティング方法などをご紹介します。併せて、Hadoop/Spark に関係する S3 のサービスアップデート、S3 関連の Hadoop
MRv2/Tezで簡単にクエリのベンチをとった - たごもりすメモ
Hiveしか使ってないので以下のオプションを設定するだけで使える。楽。 SET hive.execution.engine=tez; なお HDP 2.1 with Hive 0.10, Tez 0.4 での話です。クラスタの概要は以下の通り。 master x3 slave x20 Xeon(R) CPU E5-2630L v2 (6core 12Threads) x2 RAM 64GB HDD x12 シナリオ データの流れとしては以下のようなシナリオを想定する。 外部から非圧縮plain text tsvでHDFS内のファイルにデータが書かれる LOADで hourly テーブルに読み込む dailyで INSERT により daily テーブルに書き込む このときファイルフォーマット変換や圧縮を同時に行う hourly テーブルの変換済みパーティションおよび元の生データは削除する
今日からはじめるお手軽 Hive データ移行 - mixi engineer blog
こんにちは． 昨年知人のオーケストラ演奏会で聴いたメンデルスゾーン交響曲第４番「イタリア」が大好きな，技術部の石川有です． そんな「イタリア」大好きな私ですが Hive のデータ移行も大好きという体で， 今回の記事ではオンプレミスで Hive を頑張って運用している方たちに向けて，どうしてもというときの Hive のデータ移行方法を紹介したいと思います． 弊社では最近，Cloudera's Distribution including Apache Hadoop 3 update 2 (CDH3u2) から CDH 4.1.2 にバージョンアップを行なっています． このようにオンプレミスで Hive を運用している方たちの中には，すでに持っているデータをうまく移行したいという方も多いかと思います． Hive には現状 MySQL の mysqldump のような機能が提供されていないのでバ
Hiveのパーティションとカラム追加にハマる - なぜか数学者にはワイン好きが多い
まずは普通にTSV形式のファイルから，HiveにLOAD DATAしようとしました． #テスト用のデータベースを作る $ hive -e 'CREATE DATABASE test' OK Time taken: 3.668 seconds #テーブルが空であることの確認 $ hive -database=test -e 'SHOW TABLES' Time taken: 2.944 seconds OK tab_name Time taken: 0.557 seconds # 3つのカラムからなるテーブルを作成 $ hive -database=test -e "CREATE TABLE tmp_members (id INT, name STRING, country STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t'" OK
Treasure Dataでの大容量データベンチマーク - Qiita
あふれるデータ 会社で、Treasure Dataを使った分析システムを作っている。ゲーム情報を収集して、ユーザーの体験向上に役立てるためだ。そのため、ユーザーの行動を細かく把握する必要がある。勢いデータ容量は増えてしまう。加えて、オンラインのゲームは、パッケージゲームと違い売って終わりではなく、その後何年にも渡って、サービスを提供する。そのため、ユーザーの行動ログは数億件に達することも珍しくない。 Treasure Dataでのログ分析 先に書いたが、大量のログに対応するため、hadoopを利用した問題解決が様々な企業から提供され始めている。タイトルに有るTreasure Dataもその企業の一つだ。こちらからは、ログを送るだけでhadoopやhiveを用いた分析環境を提供してくれる。一方で、こちらが分析機材を用意するわけではないため、どのくらいの速度で分析できるかわからない。特に複雑な
HiveとImpalaのおいしいとこ取り
2014/10/31に Tokyo Impara Meetup で実施した嶋内の発表の日本語資料です http://connpass.com/event/9031/
オライリーセミナー Hive入門 #oreilly0724
2013/07/24 に「『プログラミング Hive』 『Hadoop 第3版』刊行記念Hadoopセミナー」で発表した内容です。 http://connpass.com/event/2944/Read less
やったー！超キュートなHiveロゴを愛でながらブラウジングできるChrome拡張できたよー＼(^o^)／ - ダメ人間オンライン
http://www.apache.org/ 事の発端 @tagomorisさんがHiveロゴがプリントされたTシャツを着てた ↓ 背中側が狂気に満ちてると感じた ↓ kowai ↓ 夢に出てきた ↓ 起きたらHiveロゴがとても愛おしく感じるようになってた ↓ もっと長い時間眺めていたい！ ↓ どのページ見てもHiveロゴが目に入るようにすればええんや！！ @tagomorisさんが着てたTシャツのデザインはこちら Hadoop Conference Japan 2013 Winter にいってきた＆しゃべってきた - tagomorisのメモ置き場 ⊂二二二（ ＾ω＾）二⊃ dameninngenn/chrome-ext-bu-------n · GitHub やったー！かーわーいーいー！！ ただ大量に発生させすぎるとCPUがウォーーーってなってファンがファーーーーーってなる。。 余談
Impala データサイエンティストのための 高速大規模分散基盤 #tokyowebmining
Tokyo Webmining #25 で発表したときの資料です。メインはデモの方ですRead less
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Tez on EMRを試してみた
GitHub - edwardcapriolo/hive_test: Unit test framework for hive and hive-service
HiveQLUnit
GitHub - kawaa/Beetest: A super simple utility for testing Apache Hive scripts locally for non-Java developers.
GitHub - maropu/hivemall-spark: A Hivemall wrapper for Spark
CDH4.2 Recursive directory searches in Hive partitioned external tables - Grokbase