エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
SparkSQL - HiveContext/SQLContextの性能比較 - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
SparkSQL - HiveContext/SQLContextの性能比較 - Qiita
SparkSQLにはSpark独自のSQLが使えるSparkContextと、HiveQLが使用できるHiveContextがあります。 Spark... SparkSQLにはSpark独自のSQLが使えるSparkContextと、HiveQLが使用できるHiveContextがあります。 SparkSQLは関数など機能的に足りないもの(日付演算等)があり、HiveContextを使いたい場合もありますが”Hive”という名称にちょっとだけ性能の不安があるのではと思っていました。 そこで非常に簡易的なものではありますが、同一データ、SQLでContextのみを切り替え、比較してみたので備忘程度に記載します 実行環境・方法 環境はMBP1台構成で以下の通りとなります プロセッサ 2.4GHz Core i5 メモリ 8GB(Heapは2GB割り当て) 実行には以下のソースコードをscalacでJar化し、spark-submitで実行しています インプットデータはCSVファイルを用意して、TRAN_A、TRAN_Bのみ増幅して実行しています