Linuxにおける10億ファイル問題 | スラド

ファイルシステムが大容量に対応し、ハードディスクの容量あたりの価格が安くなるにともない、1つのパーティションに入るファイル数も増えている。しかし、Red HatのRic Wheeler氏によると、100万ファイルではしっかりと動くファイルシステムも、10億ファイルともなるとスケーラビリティの問題が発生してくるとのこと。 詳細はLinuxcon 2010での発表スライド（PDF）及びLWNの記事を参照。 大量のデータを扱いたければデータベースを使うか、複数のパーティションに分割して使え、という話があると思われるが、発表スライドでは「ファイルシステムは無料で多くの人々にとって親しみやすく分かりやすい、また複数のパーティションに分割するとユーザーによるデータの管理が面倒になり、またディスクシークの最適化が難しくなる」とし、大容量のファイルシステムの必要性が説かれている。 現在でもRAIDやJBO

[zakinco]

ふむふむ

[tettsyun]

人事ではない問題

[ita-wasa]

メモリ不足やプロセステーブルがあふれた時などは、特攻隊コマンドが役に立ちます。 > exec su パスワード間違えると、本当にそのままサヨナラです。

[hirsato]

境界条件の大切さを改めて思い知る。

[sonota88]

「10億のファイルに対してlsを実行すると実行完了まで数日かかるという」

[holypp]

lsはreaddir()とstat()でディレクトリ内のファイルを取得するため毎秒数千ファイル程度の処理しかできない。

[shutaro]

参考になる

[dolmen777]

Linuxにおける10億ファイル問題

[youshow]

10億のファイルに対してlsを実行すると実行完了まで数日かかる

[toshikaz55]

「10億のファイルに対してlsを実行すると実行完了まで数日かかる」 "Linuxにおける10億ファイル問題 - スラッシュドット・ジャパン"

[w2allen]

引用：大量のデータを扱いたければデータベースを使うか、複数のパーティションに分割して使え、という話があると思われるが、発表スライドでは「ファイルシステムは無料で多くの人々にとって親しみやすく分かり

[Donca]

✔ Linuxにおける10億ファイル問題

[nminoru]

時代はオブジェクトストレージなのか…