それって単なるdisk cacheの差では? : 404 Blog Not Found
2009年07月28日15:00 カテゴリiTech それって単なるdisk cacheの差では? 申し訳ないけど、ぬか喜びのような気が。 ディレクトリの中にある大量の小さなファイルを高速に読み込む方法 - 射撃しつつ前転 dirdumpを実行すると、以下のような結果が得られた。 ./dirdump data 0.26s user 6.43s system 18% cpu 36.962 total ./dirdump data --nosort 0.40s user 9.28s system 1% cpu 14:08.45 total 36秒と850秒という、圧倒的な速度差（23.6倍！）が得られた。 このdirdump、FreeBSDでもそのまま動いたのだけど、4096bytes/file * 65556 files で動かしてみた結果が、こう。ファイルの生成に使ったscriptはent
ディレクトリの中にある大量の小さなファイルを高速に読み込む方法 - 射撃しつつ前転 改
ディレクトリの中にある大量のファイルを高速に読み込む方法が知りたかったので、実験してみた。想定しているシチュエーションは、一つ一つのファイルは数KB程度だが数が多い、という場合である。適当な順番でアクセスすると、ランダムアクセスになってしまいとても時間がかかる。個々のファイルを読み込む順番はどうでも良く、すべてのファイルを処理することさえできればいいので、原理的にはシーケンシャルアクセスで処理できてしかるべきである。 まず、ファイルシステムについて。HDDやSSDなどのハードウェアにアクセスする際には、ファイル名などという概念はもちろん存在しない。ファイル名と実際のディスク上の対応を管理するのがファイルシステムの主な役割である。ファイルシステムは、ファイル名からそのファイルに対応するブロック番号（メモリアドレスみたいなもんだな）を調べて、そのブロック番号を指定してHDDやSSDにアクセスす
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
