beelineを利用可能な簡易hiveserver2をdockerでさくっと作成してみる - Qiita
とりあえず試してみたい方は３以降を実施していただければと思います。 1. やりたいこと beelineを触って、hiveクエリの練習をしたいと考えていました。 ただ、docker hubを漁ってみたけれども、お手軽そうなものが見当たらなかったので、下記の方のblog等を参考にdockerのイメージを作成してみました。 HiverServer2セットアップしJDBC経由でHiveQLを実行する 2. hiveを実行可能なイメージを作成 以下のDockerfileをご覧いただければと思います。 Dockerfile ハマったポイントがあり、簡易ながらも共有します。 apt-get install hive-server2 zookeeperをしても、/usr/lib/hive/lib/zookeeper.jarが生成されない。（正確には存在しないsymlinkが生成される。。）で、hive-s
hiveやSparkSQLをEMRで試してみた。 - Qiita
はじめに この内容は、個人的な投稿であり、会社や組織を代表するものではございません。 また、こちらの内容は素人がググりながら試した結果をまとめたものなので、節々に間違いがあるかもしれませんが、ご容赦くださいませ。 (本内容により発生した損害については一切の責任をおいませんのでご容赦下さいませ） この記事を見て、SQLはかけるけど、Hadoop,Hive,EMRとかよくわからないから大きいデータの集計に困ってる、なんて方のお役に立てれば幸いです。 今回の検証の諸条件 利用データは、AWS パブリックデータセットの「Wikipedia Traffic Statistics V2」を利用しています。https://aws.amazon.com/datasets/wikipedia-traffic-statistics-v2/?_encoding=UTF8&jiveRedirect=1 EC2の起
EMRでクラスターを起動してHiveスクリプトを実行する | DevelopersIO
はじめに 最近、Amazon EMRを触り始めたt.hondaです。タイトルにあるようにEMRのクラスターを立ち上げてHiveスクリプトを実行するまでの手順について書きたいと思います。 手順 1.クラスターの起動 最初にEMRのクラスターを起動します。 マネジメントコンソールでAmazon EMRを選択し、「クラスターを作成」ボタンを押下します。 「クラスターの作成」画面にて幾つかの設定をします。ここでは最低限の設定について取り上げます。 起動モードは「クラスター」、ベンダーは「Amazon」、アプリケーションは「Core Hadoop・・・」を選択します。これらはデフォルトで選択されているかと思います。 EC2のキーペアですが、以降の手順でEC2にアクセスするため、予め作成しておく必要があります。作成済みのキーペアを指定します。その他はデフォルトのままで、ひとまずは大丈夫です。 ここまで
Hive入門 | Hadoop Advent Calendar 2016 #06 | DevelopersIO
こんにちは、小澤です。 この記事はHadoop Advent Calendar 6日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 - Qiita Hadoop Advent Calendar 2016 ｜ シリーズ ｜ Developers.IO 前回はSQL on Hadoopを実現するHiveがどのような仕組みで成り立っているのかを説明するために全体の構成を紹介しました。 今回は実際にHiveを利用してテーブルの作成からSELECT文の発行までの流れを追いたいと思います。 利用環境の準備 HiveはHadoopとMetaStore用のRDBに依存しているため、コマンド一発のような簡単な方法で利用を始めることができません。 Macであればhomebrewにhiveがありますが、別途Hadoopを入れて設定を書き換えたり、MySqlやJDBC
Hiveの構成 | Hadoop Advent Calendar 2016 #05 | DevelopersIO
こんにちは、小澤です。 この記事はHadoop Advent Calendar 5日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 - Qiita Hadoop Advent Calendar 2016 ｜ シリーズ ｜ Developers.IO 前回はHadoop3.0の新機能であるHDFSのErasure Codingについて紹介しました。 今回はSQL on Hadoopの先駆けで現在でも人気のあるHiveがどのような仕組みで成り立っているのかについて書かせていただきたいと思います。 Hiveとは HiveとはHadoop上での処理をSQLライクな言語で実現するためのHadoopエコシステムとなります。 従来であればHadoopはMapReduceというフレームワークを使ってJavaで実装しなければならなかったため、データサイエンティス
A Benchmark Test on Presto, Spark Sql and Hive on Tez
Presto、Spark SQLとHive on Tezの性能に関して、数万件から数十億件までのデータ上に、常用クエリパターンの実行スピードなどを検証してみた。 We conducted a benchmark test on mainstream big data sql engines including Presto, Spark SQL, Hive on Tez. We focused on the performance over medium data (from tens of GB to 1 TB) which is the major case used in most services. Read less
Apache Hadoop & Hive 入門 (マーケティングデータ分析基盤技術勉強会)
This document discusses exactly once semantics in Apache Kafka 0.11. It provides an overview of how Kafka achieved exactly once delivery between producers and consumers. Key points include: - Kafka 0.11 introduced exactly once semantics with changes to support transactions and deduplication. - Producers can write in a transactional fashion and receive acknowledgments of committed writes from broke
CentOSでHadoopとHiveを試してみる（2015年秋編） - Qiita
やりたいこと Hadoopファミリーは日々進化しますが、とはいえ、MapReduceとHiveのニーズは不滅です。現行（最新）かつ素のHadoopとHiveをCentOS上に構築して動作確認してみます。 環境 CentOS6.7（7でも基本同じ:手元にイメージがあっただけ・・・） Hadoop 2.7.1 Hive 1.2.1 準備 CentOS6.7をMinimal構成でインストールした後、 yum update yum groupinstall 'Development tools' yum install wget を実行した状態。テスト自体は、VMWareFusion8上で行っているが、多分依存などは無い。 ssh 疑似分散モードを利用するためには、ssh localhostでパスフレーズ無しでログインできるようにしておく必要があります。
3年で5パターンの分析基盤を作ってみた - Qiita
入社してから3年たったので、自分メモということも含め、今までやってきたことのまとめ。 お断り 開発期間の関係で、一つ一つシステムを細かく理解し、チューニング出来たわけではないです。 個人が期間内に調べられた情報で、構築したものなので 「いやいやきちんとチューニングすればそんな結果にはならない」みたいなことは 多々あるかと思いますがご了承ください。 また、3年前はLinuxやSQLは触ったことがない状態だったので 最初の方に担当したものほど作りが甘かったと思います。 流れ 第1世代: AmazonRedShiftをベースにした基盤 第2世代: AmazonEMRでHiveをベースにした基盤 第3世代: AmazonEMRでSparkをベースにした基盤 第4世代: MySQLとサーバ上での分散処理(Python)をベースにした基盤 第5世代: BigQueryをベースにした基盤(製作中) 第1
HiveQLUnitを使ってhiveの単体テストを実施する手順 | takemikami's note
hiveのクエリーの単体テストのやり方を調べてみると、 単体検査用のhive実行環境の立ち上げを含めてまるっとやってくれる、 HiveQLUnitというフレームワークがあったので、試してみました。 このエントリでは、 HiveQLUnitを使って単体テストを実施する手順を説明します。 HiveQLUnit http://finraos.github.io/HiveQLUnit/ 全体の流れは、以下の通りです。 テスト用プロジェクト作成テストコードとテストデータの準備テストの実行 (コマンドラインから)テストの実行 (IntelliJから)jdkとmaven3はセットアップ済みの前提です。 私が使ったバージョンは以下の通り。 JDK 1.8.0_71Apache Maven 3.3.9このエントリで作成したgithubリポジトリ: https://github.com/takemikami/
Mac上でのspark-sqlのセットアップ手順 | takemikami's note
Mac上にspark-sqlをセットアップする手順のメモを残しておきます。 このメモは、以下手順でhiveのセットアップが完了している前提で説明します。 Mac上でのhiveセットアップ手順（mysql上にmetastoreを作成） http://takemikami.com/2016/04/20/Machivemysqlmetastore.html このメモで説明する流れです。 apache-sparkのセットアップspark-sqlの実行spark-shellからのhql実行apache-sparkのセットアップインストール以下のコマンドでsparkをインストールします。 $ brew install apache-spark 以下のコマンドで、インストール出来たことを確認します。 $ spark-sql --help metastoreの設定sparkからhiveのmetastore
Apache Hiveの今とこれから - 2016
今回のウェビナーでは、Hadoop1.xからみなさまに深く親しまれてきたApache Hiveが昨今、どのような形で高速化されてきたかについて話します。MapReduceからTezに変わった実行エンジン、インデックスを持ったカラムナーファイルフォーマットであるORC、モダンなCPUを最大限に活用するVectorization、Apache Calciteを利用したCost Based Optimizerによる実行計画の最適化、そして1秒以下のクエリレスポンスを実現するLLAPについて説明します。いずれの機能も数行の設定やコマンドで活用可能なものばかりですが、今回はそれらの背景でどんな仕組みが動いているのか、どんな仕組みで実現されているのかということについて話します。Read less
第6回 Hiveでボトルネックとなってきたメタデータ、HBaseを使ってレイテンシの改善に挑む ―「Hadoop Summit 2016 San Jose」から | gihyo.jp
IT Cutting Edge ─世界を変えるテクノロジの最前線 第6回Hiveでボトルネックとなってきたメタデータ、HBaseを使ってレイテンシの改善に挑む ―「Hadoop Summit 2016 San Jose」から 2016年6/28～6/30（米国時間）の3日間に渡って米サンノゼで開催された「Hadoop Summit 2016 San Jose」（主催: Hortornworks／Yahoo!）では、2016年のHadoopトレンドを紹介する数多くの技術／事例セッションが行われました。本稿ではそのひとつ、Hortonwokrsによるセッション「hive HBase Metastore - Improving Hive with a Big Data Metadata Storage」をもとに、HiveのメタデータをHBaseでストアすることでHiveの低レイテンシ化を図る技
SQL-on-Hadoop Tutorial
This document provides an overview of a SQL-on-Hadoop tutorial. It introduces the presenters and discusses why SQL is important for Hadoop, as MapReduce is not optimal for all use cases. It also notes that while the database community knows how to efficiently process data, SQL-on-Hadoop systems face challenges due to the limitations of running on top of HDFS and Hadoop ecosystems. The tutorial out
スケールアウト可能なSQLエンジンのベンチマークテスト：Presto vs Spark SQL vs Hive on Tez - GMOインターネットグループ グループ研究開発本部
2015.12.22 スケールアウト可能なSQLエンジンのベンチマークテスト：Presto vs Spark SQL vs Hive on Tez １、初めに 次世代システム研究室のL.G.Wです。最近リリースした関連記事推薦システム：TAXEL byGMOに携わっております。 このシステムは多様なデータソースからの集計・解析・ETLが重要になるので、性能とビジネス要件を満たすSQLエンジンを選定するため、主要なSQLエンジンのベンチマークテストを実施しました。 “Small Start, Scale Fast” – 最初のハードウェアコストをなるべく低く抑え、ビジネスが拡大したらシステムも拡張できることが前提です。主にバッチ処理用途で、ある程度のリアルタイム性も要求されます（数分間～1時間内）。データの規模は数十GBから数TBくらいの想定です。 主要なSQLエンジンとして、スケーラビリテ
Apache Hiveの今とこれから
分析指向データレイク実現の次の一手 ～Delta Lake、なにそれおいしいの？～（NTTデータ テクノロジーカンファレンス 2020 発表資料） 分析指向データレイク実現の次の一手 ～Delta Lake、なにそれおいしいの？～ （NTTデータ テクノロジーカンファレンス 2020 発表資料） 2020年10月16日（金） NTTデータ システム技術本部 デジタル技術部 梅森 直人 講演動画は、YouTubeチャンネル「NTT DATA Tech」にて公開中！ https://www.youtube.com/watch?v=NDb9nORBT_A "Apache Flink’s Exactly-Once Semantics (EOS) integration for writing to Apache Kafka has several pitfalls, due mostly to t
ビッグデータを支える技術 - Qiita
Hadoop 大規模な分散処理を支えるJavaフレームワーク HadoopはGoogleのMapReduce、GFS(Google File System)の技術をベースとして作られた HadoopではMapReduceはそのまま「MapReduce(Hadoop/MapReduce)」、GFSは「HDFS(Hadoop Distributed File System)」という名前でそれぞれ開発・公開されている MapReduce データを「Map処理」、「Reduce処理」の2つの処理で処理するモデル 以下、Hadoop/MapReduceの機能 複数のマシン上にデータとデータを処理するためのプログラムモジュールを配置し、プログラムを並列実行する 複数マシン上で分散実行される処理の順序や優先度の制御 障害時の自動リカバリ 処理状況のステータス管理や監視機能 処理全体のパフォーマンスを向上
CDH5.4 Hiveでのカラムずれ問題 - イクジニアブログ
ビールはキリン党のにいやんです。こんばんわ。 一番搾りが好きですが、プリン体がラガーの方が少ないと聞き、ラガーに浮気しようかと・・・ さてさて、先日CDH5.4のアップデート方法を書いて、特に問題なかったぜ！って思ったのですが。 後から大問題が確認されました。。。 なんとHiveのバグを思いっきり踏んでいたらしく、selectした際のカラムずれが起きてました...orz バグは以下のチケットにあがっています。 [HIVE-9613] Left join query plan outputs wrong column when using subquery - ASF JIRA どのようなバグかざっくりいうと、 「left outer joinを繰り返すと、select したのと違うカラムが表示される場合がある」 という、なんとも悲惨なバグです。 すでにチケットはクローズされ、Hive1.2
フリーのビッグデータ分析学習環境を使って、構造化データと非構造化データの分析を試してみる
Apache Hiveは、SQLに似た言語（HiveQL）を使用して、データの抽出や変換などを行うことができます。しかし、Hiveは処理にMapReduceを使用しており、大規模データのバッチでの処理や、チュートリアル3（後述）のような柔軟な処理には適していますが、一般的に処理に時間がかるため、繰り返し分析を行うような用途に利用するのは難しいでしょう。 Cloudera Impalaは、大規模データのための高速なSQLエンジンです。残念ながらこのチュートリアルではその本来の力を発揮することができませんが、数十TBもの大量データに対するクエリでも、今回と同じ操作で同じように分析を行うことができることは覚えておいてください。 Impalaについての詳細は、以下のスライドを参考にしてください。 「Impala概要 道玄坂LT祭り 20150312」 「Evolution of Impala」 「
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - alexholmes/vagrant-hadoop-spark-hive: Vagrant project to spin up a single virtual machine running current versions of Hadoop, Hive and Spark
