2015.12.22 スケールアウト可能なSQLエンジンのベンチマークテスト:Presto vs Spark SQL vs Hive on Tez 1、初めに 次世代システム研究室のL.G.Wです。最近リリースした関連記事推薦システム:TAXEL byGMOに携わっております。 このシステムは多様なデータソースからの集計・解析・ETLが重要になるので、性能とビジネス要件を満たすSQLエンジンを選定するため、主要なSQLエンジンのベンチマークテストを実施しました。 “Small Start, Scale Fast” – 最初のハードウェアコストをなるべく低く抑え、ビジネスが拡大したらシステムも拡張できることが前提です。主にバッチ処理用途で、ある程度のリアルタイム性も要求されます(数分間~1時間内)。データの規模は数十GBから数TBくらいの想定です。 主要なSQLエンジンとして、スケーラビリテ
![スケールアウト可能なSQLエンジンのベンチマークテスト:Presto vs Spark SQL vs Hive on Tez - GMOインターネットグループ グループ研究開発本部](https://cdn-ak-scissors.b.st-hatena.com/image/square/b8ba488e37244343adb919c7b0e192cd868dd891/height=288;version=1;width=512/https%3A%2F%2Fwww.gmo-jisedai.com%2Fwp-content%2Fuploads%2F2019%2F02%2F20151222-150x150.png)