Linuxにおける10億ファイル問題 | スラド
ファイルシステムが大容量に対応し、ハードディスクの容量あたりの価格が安くなるにともない、1つのパーティションに入るファイル数も増えている。しかし、Red HatのRic Wheeler氏によると、100万ファイルではしっかりと動くファイルシステムも、10億ファイルともなるとスケーラビリティの問題が発生してくるとのこと。 詳細はLinuxcon 2010での発表スライド（PDF）及びLWNの記事を参照。 大量のデータを扱いたければデータベースを使うか、複数のパーティションに分割して使え、という話があると思われるが、発表スライドでは「ファイルシステムは無料で多くの人々にとって親しみやすく分かりやすい、また複数のパーティションに分割するとユーザーによるデータの管理が面倒になり、またディスクシークの最適化が難しくなる」とし、大容量のファイルシステムの必要性が説かれている。 現在でもRAIDやJBO
iノード数の確認コマンド、上限に関して 【Redhat Enterprise Linux 6】
iノード (Index Node) とは Unix 系のOSで使用されるファイルの管理方式です。ファイルは実データとiノードで管理されています。iノードでは主に以下の情報が管理されています。 ファイルの所有者 ファイルのアクセス権 サイズ 作成日時 実データの場所 iノードには最大の上限数があるため、iノードを使い切ると実際にディスクに空き容量があっても新規にファイルを作成できなくなります。 1.ファイル作成とiノード数の増減 iノード数を確認するには df -i コマンドを使用します。以下の例ではファイル作成の前と後でのiノード数の増減を確認しています。 (1)df -i で現在の iノード 数を確認します。/ (システムのルートパーティション)の iノード の使用数は85867 、空き数は1195253であることが分かります。 (2)touch コマンドでファイルを1個新規に作成してい
cp: Input/output errorを無理やりコピーする
UNIX系のOSでファイルコピーをした際cp: Input/output errorが発生することがマレにある。 ストレージの不具合や突然の電源断でファイルシステムに不整合が発生し、データの読み書きに失敗した場合に発生するエラーである。これが発生した時点コピー処理は打ち切られ、残りのデータは一切コピーされなくなってしまう。 たとえファイルの完全復元が難しいと分かってはいても、吸えるデータは可能な限り吸っておきたいのが人情というもの。残りの正常かもしれないデータをみすみす棄ててしまうのは勿体ない。動画や音声なんかだと壊れたブロックの前後が欠落するだけで、全体としてみれば実用上問題ない事が殆どだし。 そんな時はcpioコマンドで、次のようにすると無理やりコピーができる。 find . -depth -print0 | cpio --null -pvd dstdir 本来の用途はファイルストリー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
