ディレクトリの中にある大量の小さなファイルを高速に読み込む方法 - 射撃しつつ前転 改
ディレクトリの中にある大量のファイルを高速に読み込む方法が知りたかったので、実験してみた。想定しているシチュエーションは、一つ一つのファイルは数KB程度だが数が多い、という場合である。適当な順番でアクセスすると、ランダムアクセスになってしまいとても時間がかかる。個々のファイルを読み込む順番はどうでも良く、すべてのファイルを処理することさえできればいいので、原理的にはシーケンシャルアクセスで処理できてしかるべきである。 まず、ファイルシステムについて。HDDやSSDなどのハードウェアにアクセスする際には、ファイル名などという概念はもちろん存在しない。ファイル名と実際のディスク上の対応を管理するのがファイルシステムの主な役割である。ファイルシステムは、ファイル名からそのファイルに対応するブロック番号（メモリアドレスみたいなもんだな）を調べて、そのブロック番号を指定してHDDやSSDにアクセスす
複数のディレクトリを一つにまとめることが出来るmhddfsをubuntuで使ってみる (blog@browncat.org)
blog@browncat.org Web, Linux, Ubuntu, Mac, PDA, 携帯電話, プログラミング, ソフトウェア＆落書き HDDというものは常に容量が足りていないか、空きだらけかどっちかの状態であることが多いと思うのですが、特に足らなくなって増設したりすると、ファイルの移行やなんだかんだと結構面倒なものです。 特にマルチメディアのファイルなどの巨大で数が多いデータの場合なんかはファイルの移動もそう楽ではありませんよね。シンボリックリンクを駆使するという手もありますが、所詮はシンボリックリンク。マウントポイントを移動したりするとリンク切れを起こしたりして扱いがあまりよくありません。 私はこのような状況になると今までunionfsを使って新しいHDD>古いHDDという風にマウントして使っていました。これだと元のディレクトリの上に新しいHDDのディレクトリが重なってちょ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
