ディレクトリの中にある大量の小さなファイルを高速に読み込む方法 - 射撃しつつ前転 改
ディレクトリの中にある大量のファイルを高速に読み込む方法が知りたかったので、実験してみた。想定しているシチュエーションは、一つ一つのファイルは数KB程度だが数が多い、という場合である。適当な順番でアクセスすると、ランダムアクセスになってしまいとても時間がかかる。個々のファイルを読み込む順番はどうでも良く、すべてのファイルを処理することさえできればいいので、原理的にはシーケンシャルアクセスで処理できてしかるべきである。 まず、ファイルシステムについて。HDDやSSDなどのハードウェアにアクセスする際には、ファイル名などという概念はもちろん存在しない。ファイル名と実際のディスク上の対応を管理するのがファイルシステムの主な役割である。ファイルシステムは、ファイル名からそのファイルに対応するブロック番号（メモリアドレスみたいなもんだな）を調べて、そのブロック番号を指定してHDDやSSDにアクセスす
404 Blog Not Found:findを極めたかったら、statを押さえよ
2009年05月13日13:30 カテゴリiTech findを極めたかったら、statを押さえよ find(1)ねたというのは、定期的にblogosphereを賑わせるものだし、それはそれでよいし、私自身いくつか書いているのだけど.... findを極める！ - IDEA*IDEA 〜 百式管理人のライフハックブログ 〜 タグ「find」を含む新着エントリー - はてなブックマーク 404 Blog Not Found:perl - the best friend of find(1) 404 Blog Not Found:勝手に添削 - find(1) さすがに何年もblogosphereにいると、いいかげん見飽きてくる。ましてや「極めたい」ともなると、findばっか見ていても絶対無理なのだし。 というわけで、findとは何かを改めて説明したあと、その背後にあるstatを抑えてみること
Geekなぺーじ : Linuxにデフラグが無い理由
Interop 2023のShowNetバックボーン詳解 Interop Tokyo 2023のShowNetバックボーンに関して、ShowNet NOCの中村遼さんからの寄稿を頂きました。 詳細であり、かつ、わかりやすい素晴らしい解説、ありがとうございます！ Interop 2023のShowNetバックボーン 続きを読む... Interop Tokyo 2023 ShowNet取材動画 今年のShowNetは、初の動画取材にチャレンジしました。 これまで、ShowNetの取材をしていて、「この取材で一番楽しんでいるのは自分だな」と感じていました。 例年、ShowNet NOCの方々や、その他専門家の方々から色々なお話を伺って記事を書くのですが、取材の過程で話が凄く盛り上がっていく瞬間というのが多く、「この瞬間の楽しさ、というか熱量、を文章という形にしてしまうと伝えきれない」と感じてい
7-7. Unixパス名の安全対策
相対パス記法を悪用したディレクトリトラバーサル攻撃から保護するために，パス名チェックは欠かせない。しかし相対パス記法を仕様上認めるアプリケーションもある。パス名を正規化して，意図するディレクトリ／ファイルを指しているかどうかをチェックしよう。 リスト１のPerl で書かれたサンプルプログラムを見ていただきたい。ファイルを操作するアプリケーションによく見られるコーディング例である。このアプリケーションではデータファイルを「/var/data/」ディレクトリ下に配置し，そのディレクトリ下のファイルへのみアクセスすることを前提としている。1行目はこれをそのまま反映させたコーディングで，データディレクトリ「/var/data/」のパスに，参照しようとしているファイル名$fileを連結して，パス名$filepathを構築している。その後，2行目のsysopen文で$filepathにしたがいデータフ
ノートPCでこそ使いたいZFS ― ＠IT
2007/06/29 アップルは次期バージョンのMac OS X、「Leopard」で、サン・マイクロシステムズが開発したファイルシステム「ZFS」を採用するという。現在、報道されているところによれば、デフォルトは従来のHFS+のままで、ZFSはオプションの形での利用ということになりそうだが、それにしてもビッグニュースだ。「サンってことはデータセンターで使う、サーバ向けのファイルシステムでしょ？」と思う人が多いだろう。確かに高可用性と高いメンテナンス性を実現する機能などはサーバ向けの印象を与える。しかし、ZFSはエンドユーザーにとっても、実に魅力的な機能を提供する。 ノートPCにこそZFS！ ここでは主に、サン・マイクロシステムズでSolarisの開発に携わっているカーネル技術者、エリック・クスターツ（Eric Kustarz）氏のブログエントリ「ZFS on a laptop？」（ノート
Six Apart - Tech Talk Blog: 分散ファイルシステム MogileFS について
初登場になります、酒井といいます。 今回は Six Apart のサービスで使われている MogileFS というファイルシステムを紹介したいと思います。MogileFS については、日本語の情報はあまり…、というかほとんどない状況ですので参考にしていただければと思います。では早速。。。 MogileFS とは MogileFS とは、Perl で記述されているオープンソースな分散ファイルシステムです。 プロジェクトホームページ http://www.danga.com/mogilefs/ メーリングリスト http://lists.danga.com/mailman/listinfo/mogilefs 上記のホームページ内でも紹介されていますが、主に以下のような特徴があります。 アプリケーションレベルでの実装なので特殊なカーネルモジュールいらず。 ファイルを複数ホストに自動コピー / バ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
