ノードタイプ (プライマリノード、コアノード、タスクノード) について理解する - Amazon EMR
このセクションでは、Amazon EMR によるこれらの各ノードタイプの使用方法を説明し、クラスターの容量計画の基礎を提供します。 プライマリノード プライマリノードはクラスターを管理し、通常は分散アプリケーションのプライマリコンポーネントを実行します。例えば、プライマリノードは、アプリケーションのリソースを管理するための YARN ResourceManager サービスを実行します。また、HDFS NameNode サービスを実行し、クラスターにサブミットされたジョブのステータスを追跡して、インスタンスグループのヘルスをモニタリングします。 クラスターの進行状況をモニタリングしてアプリケーションを直接操作するには、Hadoop ユーザーとして SSH でプライマリノードに接続します。詳細については、「SSH を使用してプライマリノードに接続する」を参照してください。プライマリノードに接
Amazon EMRの典型的なデザインパターン
Amazon EMRを有効に使うには、クラスタやタスクノードの使い方を工夫する必要があります。 クラスタは一時的クラスタと永続的クラスタに分類出来ますが、 ・データのロード時間 ・処理時間 ・ジョブ数 によって、適切なクラスタを使用する事が大切です。 必要な時だけタスクノードを使うようにするとコストを削減し、パフォーマンスの向上が期待出来ます。 Amazon EMRを有効に使う方法 Amazon EMRを有効に使うデザインパターンとして、 ・一時的クラスタと永続的クラスタを使い分ける ・タスクノードの使い方を工夫する などの方法が考えられます。 一時的クラスタと永続的クラスタ ジョブが実行している間だけ動作しているが一時的クラスタで、ジョブに関係なく動作し続けるのが永続的クラスタです。 一時的クラスタは、 ・立ち上がっている期間が短いので、コストを節約出来る ・運用の手間が掛からない など
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
