[EMR小ネタ] ディスクサイズにご用心 | DevelopersIOこんにちは、小澤です。 今回は、EMRを利用する際にちょっと気をつけておいたほうがいい小ネタを紹介します。 EMRでのディスクサイズ EMRを利用するときは多くの場合、S3などを入出力先として利用するかと思います。 そのため、主にHDFSとして利用されるインスタンスのディスクサイズってそれほど関係ないんじゃないの？と思われる方も多いかと思います。 しかし、実はHadoopでは、必ずしも入力と出力意外に何も生成しないかというとその限りではありません。 いくつか例を挙げると Hadoopのログ出力 Mapperの中間出力 Hiveのscratchdir Sparkのキャッシュ などが考えられます。 これらはHDFSや各ノードのローカルディスクに保存されることになります。 平均的なディスク使用率としてみたときはたいしたことないけど、 ジョブ実行中などで一時的に上がるという状態は考慮しておいたほう
![[EMR小ネタ] ディスクサイズにご用心 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/46fafde613a125aacd21cca3f78d3bb8d8855101/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FAmazon_EMR.png)
