第18回 Impalaの設計と実装［2］ | gihyo.jp

はじめに 今回は、ImpalaのSQL処理の高速化において重要な役割を占めるクエリ処理について説明します。 Impalaのクエリ処理の特徴 Impalaは、MapReduceやSparkをはじめとする既存の手続き型のデータ処理エンジンを使用せず、アドホックなSQLクエリの処理の高効率化に焦点を置いた設計と実装が特徴です。たとえば、結合方法を見てみると、MapやReduceもしくはMapReduceジョブなどのブロッキングオペレータ（第16回）を組み合わせていく処理エンジンにおいては、Impalaにおけるパイプライン結合処理などを実現することは必ずしも容易ではありません（第8回「Impala／Prestoにおける結合処理」⁠）⁠。 また、MapReduceやSparkでは中間データをディスクに書き込むことにより高い耐障害性を実現しますが、Impalaでは耐障害性を多少犠牲にしてメモリ上で処理

[ayaniimi213]

“前回”

[shiumachi]

“MapReduceで複数表の結合を行う場合，1つの結合処理が完了しから次の結合処理を行いますが，Impalaでは上記のようにデータを連続的に結合していく（すなわち，複数の結合を同時に実行する）戦略を取ります”

[wyukawa]

prestoって統計情報無いよな

[highfrontier]

第18回　Impalaの設計と実装［2］

[kimutansk]

ここではPlanFlagmentは05Aggregateまで行って以後は別ホストというパターンですか。ホスト数も出るのはわかりやすい。

[minonet]

第18回　Impalaの設計と実装［2］ ── Hadoopはどのように動くのか ─並列・分散システム技術から読み解くHadoop処理系の設計と実装 今回は，ImpalaのSQL処理の高速化において重要な役割を占めるクエリ処理…

[kasumani]

第18回　Impalaの設計と実装［2］ はじめに 今回は，ImpalaのSQL処理の高速化において重要な役割を占めるクエリ処理について説明します。 Impalaのクエリ処理の特徴 Impalaは，MapReduceやSparkをはじめとする既存の手続き型のデータ