Hadoopクラスタでulimitを設定するときの注意点 - たごもりすメモ

Hadoopクラスタを運用する際に ulimit で nofile (プロセスがopenできるファイルディスクリプタ数の上限)の設定を変更しておくべき*1というのはもはや常識的なお話ですが、そこには実は罠がある。たぶんRHELのデフォルト通りならハマらないんだろうけど、手を入れている環境だとハマる。ので、その話。 要するにハマった。のを解決したよ多分！ まだ最終的な確認できてないけど！ 各書籍での解説 とりあえず、国内で売られているHadoop関連書籍の記述を確認しておこう。まずHadoop徹底入門。 ファイディスクリプタの設定は、/etc/security/limits.conf に記述します。エディタを利用して、limits.conf に以下のように記述します。ここでは、Hadoopの各種ノードを起動するユーザーを hadoop とします[12]。 hadoop soft nofile

[tagomoris]

書いた

[tmatsuu]

sshdの罠。ほー知らなかった。でもUsePAM yesにすると公開鍵認証に限定することができなかったような（パスワード認証もできてしまう）。違ったかな？

[kimutansk]

sshdのPAM経由で適用されていたわけですか。なので当然無効化されている場合は適用されないと。

[overlast]

同じ事やった

[chezou]

Hadoopでファイルディスクリプタが枯渇しないための設定方法

[hiboma]

ところでファイルデスクリプタの制限で嬉しかった事例あんまみないな