タグ

関連タグで絞り込む (3)

タグの絞り込みを解除

日本語とJapaneseに関するwlbhiroのブックマーク (2)

  • [翻訳] Spark Architecture: memory - Qiita

    ここでの述べられているメモリモデルはSpark 1.6+ではdeprecatedとなっています。新しいメモリモデルは、 UnifiedMemoryManager　をベースにしていて厳密なexecution と storage memory の境界がありません。 最近、私はSparkのアーキテクチャに関しての質問にStackOverflowで解答していました。それらの質問はインターネット上におけるSparkのアーキテクチャに対するよい説明がないのが原因であるように見えました。オフィシャルのガイドでさえ、詳細について書かれていなく、よいダイアグラムももちろんありません。”Learning Spark”のような幾つかの本や公式のワークショップの資料に関しても同じことがいえます。 この記事では上記の問題に対する解答と Spark のアーキテクチャに対するガイドと Spark アーキテクチャに対する

    [翻訳] Spark Architecture: memory - Qiita

  • チューニング - Spark 3.2.1 ドキュメント 日本語訳

    ここから少し、楽天モバイルの宣伝になります。 このサイトでアフィリエートや広告を貼るつもりは全然無かったのですが、 6月中に楽天モバイルの契約30件を取るか、船を降りるかするように言われています。 回線の増設を考えている方、お子様に新しく携帯を持たせようと考えている方、 下記リンク先で楽天にログイン後、楽天モバイルの各プランをご検討いただけないでしょうか。 楽天モバイル 紹介リンク Sparkのチューニング データのシリアライズ メモリー チューニング メモリ管理概要 メモリ消費の決定 データ構造のチューニング シリアライズ化されたRDDストレージ ガベージコレクションのチューニング 他に考慮すべきこと 並行度のレベル 入力パスの並列リスト reduceタスクのメモリの使用 大きな変数のブロードキャスト データの局所性 概要 ほとんどのSparkの計算のメモリ内の性質により、Sparkプロ

  • 1

お知らせ

もっと読む

公式Twitter

  • @HatenaBookmark

    リリース、障害情報などのサービスのお知らせ

  • @hatebu

    最新の人気エントリーの配信

はてなブックマーク

公式Twitter

はてなのサービス

  • App Storeからダウンロード
  • Google Playで手に入れよう
Copyright © 2005-2024 Hatena. All Rights Reserved.