タグ

Hiveとsparkに関するwyukawaのブックマーク (1)

  • スケールアウト可能なSQLエンジンのベンチマークテスト:Presto vs Spark SQL vs Hive on Tez - GMOインターネットグループ グループ研究開発本部

    2015.12.22 スケールアウト可能なSQLエンジンのベンチマークテスト:Presto vs Spark SQL vs Hive on Tez 1、初めに 次世代システム研究室のL.G.Wです。最近リリースした関連記事推薦システム:TAXEL byGMOに携わっております。 このシステムは多様なデータソースからの集計・解析・ETLが重要になるので、性能とビジネス要件を満たすSQLエンジンを選定するため、主要なSQLエンジンのベンチマークテストを実施しました。 “Small Start, Scale Fast” – 最初のハードウェアコストをなるべく低く抑え、ビジネスが拡大したらシステムも拡張できることが前提です。主にバッチ処理用途で、ある程度のリアルタイム性も要求されます(数分間~1時間内)。データの規模は数十GBから数TBくらいの想定です。 主要なSQLエンジンとして、スケーラビリテ

    スケールアウト可能なSQLエンジンのベンチマークテスト:Presto vs Spark SQL vs Hive on Tez - GMOインターネットグループ グループ研究開発本部
    wyukawa
    wyukawa 2015/12/22
    PrestoでOutOfMemoryで失敗すること多かったっけ?て思ったら0.86か。さすがに古すぎるのでは。最近はメモリ管理変わって落ちることは無い気がするけど。
  • 1