Spark SQLとHive、Hadoop上でのクエリ処理性能を比較してみた
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 年々拡大するビッグデータ市場。IDC Japanの予測によれば、国内のビッグデータソフトウェア市場の規模は2014～2019年にかけて年間平均成長率33.5％で拡大し、2019年には470億6100万円に達する。 ビッグデータを分散処理・管理するためのソフトウェア基盤としてメジャーなOSSに「Apache Hadoop」がある。Hadoop上のデータ処理には、従来から「Hadoop MapReduce」や、MapReduce上で動作するクエリ処理技術である「Apache Hive」が利用されてきた。しかし、MapReduceとHiveには、大規模データの処理に活用する上での課題がある。 MapReduceはスループット重視の設計であるた
SQL on Hadoop in Taiwan
This document discusses SQL engines for Hadoop, including Hive, Presto, and Impala. Hive is best for batch jobs due to its stability. Presto provides interactive queries across data sources and is easier to manage than Hive with Tez. Presto's distributed architecture allows queries to run in parallel across nodes. It supports pluggable connectors to access different data stores and has language bi
開発者のためのSQLパフォーマンスの全て
前書き - インデックスの作成はなぜ開発者のタスクなのか インデックスの 内部構造 - インデックスは何に似ているか インデックス リーフノード - 二重連結リスト 検索 ツリー(Bツリー) - バランス木 遅いインデックス パートI - インデックスを遅くする2つの原因 where 句 - 検索のパフォーマンスを改善するためにインデックスを作成 等価 演算子 - 一致するキーの検索 プライマリキー - インデックスの使い方を確認 複合インデックス - 複数列に対するインデックス 遅いインデックス パートII - 前の問題点が再び 関数 - where句の 中での関数 大文字・小文字を区別する 検索 - UPPERと LOWER ユーザ定義 関数 - 関数インデックスの制限 インデックスの作り過ぎ - 冗長性の排除法 パラメータ化 クエリ - セキュリティとパフォーマンスのために 範囲 検
8 SQL-on-Hadoop frameworks worth checking out
Hire me to supercharge your Hadoop and Spark projects I help businesses improve their return on investment from big data projects. I do everything from software architecture to staff training. Learn More The language of data is SQL, so naturally lots of tools have been developed to bring SQL to Hadoop. They range from simple wrappers on top of Map Reduce to full data warehouse implementations buil
10 ways to query Hadoop with SQL
Here's a look at different ways to query Hadoop via SQL, some of which are part of the latest edition of MapR's Hadoop distribution SQL: old and busted. Hadoop: new hotness. That’s the conventional wisdom, but the sheer number of projects putting a convenient SQL front end on Hadoop data stores shows there’s a real need for products running SQL queries against data that lives inside Hadoop as oppo
PostgreSQL Exercises
Welcome to PostgreSQL Exercises! This site was born when I noticed that there's a load of material out there to help people learn about SQL, but not a great deal to make it easy to learn by doing. PGExercises provides a series of questions and explanations built on a single, simple dataset. It's designed for use as a partner to a good book or Postgres' excellent documentation. The exercises on thi
Rdbms qpstudy-okuno
7. 集合の性質 ● 重複がない ● NULL がない – 実際に存在する値のみ ● 要素間に順序がない – 例え数値でも。 米国 中華人民共和国 日本 オーストラリア スウェーデン カメルーン 8. リレーションの構成部品 ● 見出し（ヘッダ）＋本体（ボディ） ● 見出し（ヘッダ、 headding ） – 属性の集合 – 集合なので順序はない ● 本体（ボディ） – ヘッダと同じ属性を持つ組（タプル）の集合 ● 属性（アトリビュート） – 名前と型（タイプ） ● 属性値 – 属性で定義された型を持つ値 – ≒ 列（カラム） ● 組（タプル） – ヘッダで定義された属性に対応した属性値の集合 – ≒ 行 9. リレーションのイメージ 見出し 国名 / 文字列 国番号 / 整数 本体 地域 / 文字列 国名：日本 , 国番号： 81, 地域：アジア 国番号： 86, 国名：中華人民共和国
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apache Hadoop Distribution | MapR