エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
大規模分散データ処理フレームワーク「Apache Spark 1.6」正式リリース
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
大規模分散データ処理フレームワーク「Apache Spark 1.6」正式リリース
米Databricksは2016年1月4日(米国時間)、高速な大規模分散データ処理のフレームワーク「Apache Spark... 米Databricksは2016年1月4日(米国時間)、高速な大規模分散データ処理のフレームワーク「Apache Spark」の新版となる「Apache Spark 1.6」正式版のリリースを発表しました。 Spark 1.6では、よく使われるデータフォーマットの1つであるParquetの読み込みに、新しいParquet Readerを導入。いくつかの処理のバイパスやコードの最適化を行った結果、ベンチマークでこれまで1秒当たり290万行の読み込み速度だったものを1秒当たり450万行まで、約50%改善したと説明されています。 また、Spark 1.6ではこれまで設定により固定されていた実行用のメモリ領域とキャッシュ用のメモリ領域の大きさを、新しいメモリマネジャーの導入によって自動的に最適化できるように改善。手動での最適化を不要にし、実行速度の向上に貢献しました。 直近で導入された「DataF