beelineを利用可能な簡易hiveserver2をdockerでさくっと作成してみる - Qiita
とりあえず試してみたい方は３以降を実施していただければと思います。 1. やりたいこと beelineを触って、hiveクエリの練習をしたいと考えていました。 ただ、docker hubを漁ってみたけれども、お手軽そうなものが見当たらなかったので、下記の方のblog等を参考にdockerのイメージを作成してみました。 [HiverServer2セットアップしJDBC経由でHiveQLを実行する](hive-server2 Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/zookeeper/KeeperException) 2. hiveを実行可能なイメージを作成 以下のDockerfileをご覧いただければと思います。 Dockerfile ハマったポイントがあり、簡易ながらも共有します。 apt-
hiveやSparkSQLをEMRで試してみた。 - Qiita
はじめに この内容は、個人的な投稿であり、会社や組織を代表するものではございません。 また、こちらの内容は素人がググりながら試した結果をまとめたものなので、節々に間違いがあるかもしれませんが、ご容赦くださいませ。 (本内容により発生した損害については一切の責任をおいませんのでご容赦下さいませ） この記事を見て、SQLはかけるけど、Hadoop,Hive,EMRとかよくわからないから大きいデータの集計に困ってる、なんて方のお役に立てれば幸いです。 今回の検証の諸条件 利用データは、AWS パブリックデータセットの「Wikipedia Traffic Statistics V2」を利用しています。https://aws.amazon.com/datasets/wikipedia-traffic-statistics-v2/?_encoding=UTF8&jiveRedirect=1 EC2の起
EMRでクラスターを起動してHiveスクリプトを実行する | DevelopersIO
はじめに 最近、Amazon EMRを触り始めたt.hondaです。タイトルにあるようにEMRのクラスターを立ち上げてHiveスクリプトを実行するまでの手順について書きたいと思います。 手順 1.クラスターの起動 最初にEMRのクラスターを起動します。 マネジメントコンソールでAmazon EMRを選択し、「クラスターを作成」ボタンを押下します。 「クラスターの作成」画面にて幾つかの設定をします。ここでは最低限の設定について取り上げます。 起動モードは「クラスター」、ベンダーは「Amazon」、アプリケーションは「Core Hadoop・・・」を選択します。これらはデフォルトで選択されているかと思います。 EC2のキーペアですが、以降の手順でEC2にアクセスするため、予め作成しておく必要があります。作成済みのキーペアを指定します。その他はデフォルトのままで、ひとまずは大丈夫です。 ここまで
Hive入門 | Hadoop Advent Calendar 2016 #06 | DevelopersIO
こんにちは、小澤です。 この記事はHadoop Advent Calendar 6日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 - Qiita Hadoop Advent Calendar 2016 ｜ シリーズ ｜ Developers.IO 前回はSQL on Hadoopを実現するHiveがどのような仕組みで成り立っているのかを説明するために全体の構成を紹介しました。 今回は実際にHiveを利用してテーブルの作成からSELECT文の発行までの流れを追いたいと思います。 利用環境の準備 HiveはHadoopとMetaStore用のRDBに依存しているため、コマンド一発のような簡単な方法で利用を始めることができません。 Macであればhomebrewにhiveがありますが、別途Hadoopを入れて設定を書き換えたり、MySqlやJDBC
Hiveの構成 | Hadoop Advent Calendar 2016 #05 | DevelopersIO
こんにちは、小澤です。 この記事はHadoop Advent Calendar 5日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 - Qiita Hadoop Advent Calendar 2016 ｜ シリーズ ｜ Developers.IO 前回はHadoop3.0の新機能であるHDFSのErasure Codingについて紹介しました。 今回はSQL on Hadoopの先駆けで現在でも人気のあるHiveがどのような仕組みで成り立っているのかについて書かせていただきたいと思います。 Hiveとは HiveとはHadoop上での処理をSQLライクな言語で実現するためのHadoopエコシステムとなります。 従来であればHadoopはMapReduceというフレームワークを使ってJavaで実装しなければならなかったため、データサイエンティス
A Benchmark Test on Presto, Spark Sql and Hive on Tez
A Benchmark Test on Presto, Spark Sql and Hive on Tez Presto、Spark SQLとHive on Tezの性能に関して、数万件から数十億件までのデータ上に、常用クエリパターンの実行スピードなどを検証してみた。 We conducted a benchmark test on mainstream big data sql engines including Presto, Spark SQL, Hive on Tez. We focused on the performance over medium data (from tens of GB to 1 TB) which is the major case used in most services.
3年で5パターンの分析基盤を作ってみた - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 入社してから3年たったので、自分メモということも含め、今までやってきたことのまとめ。 お断り 開発期間の関係で、一つ一つシステムを細かく理解し、チューニング出来たわけではないです。 個人が期間内に調べられた情報で、構築したものなので 「いやいやきちんとチューニングすればそんな結果にはならない」みたいなことは 多々あるかと思いますがご了承ください。 また、3年前はLinuxやSQLは触ったことがない状態だったので 最初の方に担当したものほど作りが甘かったと思います。 流れ 第1世代: AmazonRedShiftをベースにした基盤 第2世
HiveQLUnitを使ってhiveの単体テストを実施する手順 | takemikami's note
hiveのクエリーの単体テストのやり方を調べてみると、 単体検査用のhive実行環境の立ち上げを含めてまるっとやってくれる、 HiveQLUnitというフレームワークがあったので、試してみました。 このエントリでは、 HiveQLUnitを使って単体テストを実施する手順を説明します。 HiveQLUnit http://finraos.github.io/HiveQLUnit/ 全体の流れは、以下の通りです。 テスト用プロジェクト作成テストコードとテストデータの準備テストの実行 (コマンドラインから)テストの実行 (IntelliJから)jdkとmaven3はセットアップ済みの前提です。 私が使ったバージョンは以下の通り。 JDK 1.8.0_71Apache Maven 3.3.9このエントリで作成したgithubリポジトリ: https://github.com/takemikami/
Mac上でのspark-sqlのセットアップ手順 | takemikami's note
Mac上にspark-sqlをセットアップする手順のメモを残しておきます。 このメモは、以下手順でhiveのセットアップが完了している前提で説明します。 Mac上でのhiveセットアップ手順（mysql上にmetastoreを作成） http://takemikami.com/2016/04/20/Machivemysqlmetastore.html このメモで説明する流れです。 apache-sparkのセットアップspark-sqlの実行spark-shellからのhql実行apache-sparkのセットアップインストール以下のコマンドでsparkをインストールします。 $ brew install apache-spark 以下のコマンドで、インストール出来たことを確認します。 $ spark-sql --help metastoreの設定sparkからhiveのmetastore
Apache Hiveの今とこれから - 2016
今回のウェビナーでは、Hadoop1.xからみなさまに深く親しまれてきたApache Hiveが昨今、どのような形で高速化されてきたかについて話します。MapReduceからTezに変わった実行エンジン、インデックスを持ったカラムナーファイルフォーマットであるORC、モダンなCPUを最大限に活用するVectorization、Apache Calciteを利用したCost Based Optimizerによる実行計画の最適化、そして1秒以下のクエリレスポンスを実現するLLAPについて説明します。いずれの機能も数行の設定やコマンドで活用可能なものばかりですが、今回はそれらの背景でどんな仕組みが動いているのか、どんな仕組みで実現されているのかということについて話します。
第6回 Hiveでボトルネックとなってきたメタデータ、HBaseを使ってレイテンシの改善に挑む ―「Hadoop Summit 2016 San Jose」から | gihyo.jp
IT Cutting Edge ─世界を変えるテクノロジの最前線 第6回Hiveでボトルネックとなってきたメタデータ、HBaseを使ってレイテンシの改善に挑む ―「Hadoop Summit 2016 San Jose」から 2016年6/28～6/30（米国時間）の3日間に渡って米サンノゼで開催された「Hadoop Summit 2016 San Jose」（主催: Hortornworks／Yahoo!）では、2016年のHadoopトレンドを紹介する数多くの技術／事例セッションが行われました。本稿ではそのひとつ、Hortonwokrsによるセッション「hive HBase Metastore - Improving Hive with a Big Data Metadata Storage」をもとに、HiveのメタデータをHBaseでストアすることでHiveの低レイテンシ化を図る技
SQL-on-Hadoop Tutorial
Sep 30, 2015Download as PPTX, PDF79 likes10,732 viewsAI-enhanced description This document provides an overview of a SQL-on-Hadoop tutorial. It introduces the presenters and discusses why SQL is important for Hadoop, as MapReduce is not optimal for all use cases. It also notes that while the database community knows how to efficiently process data, SQL-on-Hadoop systems face challenges due to the
スケールアウト可能なSQLエンジンのベンチマークテスト：Presto vs Spark SQL vs Hive on Tez - GMOインターネットグループ グループ研究開発本部
2015.12.22 スケールアウト可能なSQLエンジンのベンチマークテスト：Presto vs Spark SQL vs Hive on Tez １、初めに 次世代システム研究室のL.G.Wです。最近リリースした関連記事推薦システム：TAXEL byGMOに携わっております。 このシステムは多様なデータソースからの集計・解析・ETLが重要になるので、性能とビジネス要件を満たすSQLエンジンを選定するため、主要なSQLエンジンのベンチマークテストを実施しました。 “Small Start, Scale Fast” – 最初のハードウェアコストをなるべく低く抑え、ビジネスが拡大したらシステムも拡張できることが前提です。主にバッチ処理用途で、ある程度のリアルタイム性も要求されます（数分間～1時間内）。データの規模は数十GBから数TBくらいの想定です。 主要なSQLエンジンとして、スケーラビリテ
Apache Hiveの今とこれから
Apache Spark on Kubernetes入門（Open Source Conference 2021 Online Hiroshima 発表資料）
ビッグデータを支える技術 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Hadoop 大規模な分散処理を支えるJavaフレームワーク HadoopはGoogleのMapReduce、GFS(Google File System)の技術をベースとして作られた HadoopではMapReduceはそのまま「MapReduce(Hadoop/MapReduce)」、GFSは「HDFS(Hadoop Distributed File System)」という名前でそれぞれ開発・公開されている MapReduce データを「Map処理」、「Reduce処理」の2つの処理で処理するモデル 以下、Hadoop/MapRed
CDH5.4 Hiveでのカラムずれ問題 - イクジニアブログ
ビールはキリン党のにいやんです。こんばんわ。 一番搾りが好きですが、プリン体がラガーの方が少ないと聞き、ラガーに浮気しようかと・・・ さてさて、先日CDH5.4のアップデート方法を書いて、特に問題なかったぜ！って思ったのですが。 後から大問題が確認されました。。。 なんとHiveのバグを思いっきり踏んでいたらしく、selectした際のカラムずれが起きてました...orz バグは以下のチケットにあがっています。 [HIVE-9613] Left join query plan outputs wrong column when using subquery - ASF JIRA どのようなバグかざっくりいうと、 「left outer joinを繰り返すと、select したのと違うカラムが表示される場合がある」 という、なんとも悲惨なバグです。 すでにチケットはクローズされ、Hive1.2
フリーのビッグデータ分析学習環境を使って、構造化データと非構造化データの分析を試してみる
Apache Hiveは、SQLに似た言語（HiveQL）を使用して、データの抽出や変換などを行うことができます。しかし、Hiveは処理にMapReduceを使用しており、大規模データのバッチでの処理や、チュートリアル3（後述）のような柔軟な処理には適していますが、一般的に処理に時間がかるため、繰り返し分析を行うような用途に利用するのは難しいでしょう。 Cloudera Impalaは、大規模データのための高速なSQLエンジンです。残念ながらこのチュートリアルではその本来の力を発揮することができませんが、数十TBもの大量データに対するクエリでも、今回と同じ操作で同じように分析を行うことができることは覚えておいてください。 Impalaについての詳細は、以下のスライドを参考にしてください。 「Impala概要 道玄坂LT祭り 20150312」 「Evolution of Impala」 「
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apache Hadoop & Hive 入門 (マーケティングデータ分析基盤技術勉強会)
CentOSでHadoopとHiveを試してみる（2015年秋編） - Qiita
GitHub - alexholmes/vagrant-hadoop-spark-hive: Vagrant project to spin up a single virtual machine running current versions of Hadoop, Hive and Spark
