気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
25users
がブックマーク
2
2
大規模分散データ処理フレームワーク「Apache Spark 1.6」正式リリース。メモリコンフィグレーションの自動化、静的型付けのDataset API、速度の向上も実現
25 users
www.publickey1.jp
www.publickey1.jp
記事へのコメント2件
- 注目コメント
- 新着コメント
minonet
大規模分散データ処理フレームワーク「Apache Spark 1.6」正式リリース。メモリコンフィグレーションの自動化、静的型付けのDataset API、速度の向上も実現 高速な大規模分散処理のフレームワーク「Apache …
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
いまの話題をアプリでチェック！
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
大規模分散データ処理フレームワーク「Apache Spark 1.6」正式リリース。メモリコンフィグレーションの自動化、静的型付けのDataset API、速度の向上も実現
Spark 1.6では、よく使われるデータフォーマットの1つであるParquetの読み込みに、新しいParquet Reader... Spark 1.6では、よく使われるデータフォーマットの1つであるParquetの読み込みに、新しいParquet Readerを導入。いくつかの処理のバイパスやコードの最適化を行った結果、ベンチマークでこれまで1秒あたり290万行の読み込み速度だったものを1秒あたり450万行まで、約50％改善したと説明されています。 また、1.6ではこれまで設定により固定されていた実行用のメモリ領域とキャッシュ用のメモリ領域の大きさを、新しいメモリマネージャの導入によって自動的に最適化できるように改善。手動での最適化を不要にし、実行速度の向上に貢献しました。 昨年導入された「DataFrame」とJavaVMのオーバーヘッドを改善する実行エンジンの「Project Tungsten」は、Sparkの実行速度の改善に寄与しました。Spark 1.6ではDataFrameを拡張したDataset APIが追
ブックマークしたユーザー
すべてのユーザーの
詳細を表示します
詳細を表示します
www.publickey1.jp
www.publickey1.jp
www.publickey1.jp
www.publickey1.jp
www.tokyo-sports.co.jp
note.com/exaray
anond.hatelabo.jp
mainichi.jp
zenn.dev/harumikun
blog.tinect.jp
posfie.com
pc.watch.impress.co.jp
www.gizmodo.jp
speakerdeck.com/ytr0903
zenn.dev/turing_motors
codezine.jp
www.excite.co.jp
tabelog.com
ameblo.jp/yuwanko
japan.zdnet.com
foneslife.com
foneslife.com
levtech.jp
engineers.ntt.com
2016/01/07 リンク