Apache Spark - partitionについて - - Qiita
はじめに この記事は、Apache Sparkのpartitionの概念について例題を添えてまとめてみようと試みた記事です。 Apache Sparkの概要についてはApache Spark で分散処理入門をどうぞ。 例題で見るパーティションのイメージ 以下は、Apache Sparkの分散処理のイメージを例題とともに図解しているものです。 まず、使う関数の説明、次にその処理のイメージ、最後にソースコードの順番で紹介しています。 パーティションの使い方が異なる三例を紹介します。 - filter関数の例 - flatmap関数の例 - reduceByKey関数の例 filter関数の例 要素単位の変換としてはmap()やfilterなどがあります。 関数 説明
)
不可解な小さなパーティションを理解して削除する
パーティションが存在しないクリーンな状態のディスクに Windows 7 をインストールすると、ディスクの先頭にシステムで予約済みのパーティションが作成され、残りの未割り当ての領域にシステム ドライブが作成されます。この小さなパーティションには、ドライブ文字が割り当てられないため、ディスクの管理コンソールで確認するか、Diskpart などのハードウェアに近いユーティリティを使用してディスク構造を確認しない限り、このパーティションの存在は把握できません。 Windows 7 で新しく作成されるようになった、この小さなパーティションには、2 つの機能があります。1 つは、ブート マネージャー コードとブート構成データベースを格納することです。もう 1 つは、BitLocker ドライブ暗号化の機能で必要なスタートアップ ファイル用の領域を予約することです。BitLocker を使用してシステ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Linux日和～ループバックマウントとオフセット～
