ディレクトリの中にある大量の小さなファイルを高速に読み込む方法 - 射撃しつつ前転 改
ディレクトリの中にある大量のファイルを高速に読み込む方法が知りたかったので、実験してみた。想定しているシチュエーションは、一つ一つのファイルは数KB程度だが数が多い、という場合である。適当な順番でアクセスすると、ランダムアクセスになってしまいとても時間がかかる。個々のファイルを読み込む順番はどうでも良く、すべてのファイルを処理することさえできればいいので、原理的にはシーケンシャルアクセスで処理できてしかるべきである。 まず、ファイルシステムについて。HDDやSSDなどのハードウェアにアクセスする際には、ファイル名などという概念はもちろん存在しない。ファイル名と実際のディスク上の対応を管理するのがファイルシステムの主な役割である。ファイルシステムは、ファイル名からそのファイルに対応するブロック番号（メモリアドレスみたいなもんだな）を調べて、そのブロック番号を指定してHDDやSSDにアクセスす
壊れたかもしれないハードディスクからのデータサルベージ - 黒糖々日記/kokutoto diary
2013年12月9日追記: 少し冗長なので、新ブログでリライトしました。あわせてこちらもご覧ください。 http://www.xmisao.com/2013/12/02/hdd-salvage-by-dd.html 発端 今月上旬、Webブラウジング中にハードディスクが「カターン」と断末魔をあげてPCがフリーズ、それ以来そのマシンでOSが立ち上がらなくなるというトラブルに遭遇しました。 もちろんディスクトラブルを疑いましたが、結論からいうと実はマザーボードが壊れていてハードディスクが巻き添えを食った形でした。幸いハードディスクはWindowsが入っていたパーティションの一部が論理的に破壊されただけで無事、必死のサルベージ作業の甲斐もありほとんどのデータが復旧できました。 以下はLinuxを使って挙動の妖しいハードディスクからデータをサルベージする方法の備忘録です。当初はディスクが物理的に壊
Linuxチューニング 第1部第1回 ファイル・アクセスを高速化：ITpro
ファイルの入出力性能の改善は，システム全体の処理速度向上に大きく貢献する。高速なプロセッサを搭載する現在のコンピュータでは，ファイルのアクセス速度がシステム・パフォーマンスのボトルネックになっているためである。不要なディスク・アクセスの削減とアクセス速度そのものの向上が，チューニングの要となる。 アクセス時刻の記録を省略しファイル読み込みを高速化 ファイルにアクセスしたときには，最終アクセス時刻が属性情報として記録される。この情報を記録しないように設定することで，ファイルの読み込み速度を向上できる。最終アクセス時刻の記録を止めるには，ファイル・システムのマウント時に，noatimeオプションを指定する。ベンチマークでは，読み込み速度が2倍強に改善できた。 atimeは無駄 LinuxなどのUNIX系OSでは，statやfstat，lstatというシステム・コールを使って，ファイルの属性情報
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
