ディレクトリの中にある大量の小さなファイルを高速に読み込む方法 - 射撃しつつ前転 改
ディレクトリの中にある大量のファイルを高速に読み込む方法が知りたかったので、実験してみた。想定しているシチュエーションは、一つ一つのファイルは数KB程度だが数が多い、という場合である。適当な順番でアクセスすると、ランダムアクセスになってしまいとても時間がかかる。個々のファイルを読み込む順番はどうでも良く、すべてのファイルを処理することさえできればいいので、原理的にはシーケンシャルアクセスで処理できてしかるべきである。 まず、ファイルシステムについて。HDDやSSDなどのハードウェアにアクセスする際には、ファイル名などという概念はもちろん存在しない。ファイル名と実際のディスク上の対応を管理するのがファイルシステムの主な役割である。ファイルシステムは、ファイル名からそのファイルに対応するブロック番号（メモリアドレスみたいなもんだな）を調べて、そのブロック番号を指定してHDDやSSDにアクセスす
Dropboxを超えた？オンラインストレージ「SugarSync」 - らっこのじゆうちょう
最近「SugarSync」というオンラインストレージを見つけたのですが、これが本当にスゴいです。 （SugarSync自体はかなり前からあったらしいのですが、最近大幅に改良され2GBの無料版も追加されたようです） これまではDropboxを使っていたのですが、同期したいファイルは必ずDropboxフォルダの中に入れなければなりませんでした。 また、オンラインにバックアップしたファイルは全て、DropBoxを使っている別のPCにも同期されてしまっていました。（そのシンプルさがDropboxの良いところでもあるのですが） けれど、「元の場所に置いたままオンラインにバックアップしたいファイル」「別PCとは同期しなくても良いけどオンラインにはバックアップしておきたいファイル」も結構あるわけで、特に後者は別PCのディスク容量が残り少ない場合など、かなり困ったりします。 それに対して「SugarSyn
Kazuho@Cybozu Labs: Pacific という名前の分散ストレージを作り始めた件
大規模なウェブアプリケーションのボトルネックがデータベースであるという点については、多くの同意が得られるところだと思います。解決策としては、同じ種類のデータを複数の RDBMS に保存する「sharding」 (別名：アプリケーションレベルパーティショニング／レベル２分散注1) が一般的ですが、最近では、分散キーバリューストア (分散 KVS) を使おうとする試みもみられるようになってきています。 分散 KVS が RDBMS sharding に対して優れている要素としては、事前の分割設計が不要で、動的なノード追加（とそれにともなう負荷の再分散）が容易、といった点が挙げられると思います。一方で、Kai や Kumofs のような最近の実装では eventually consistent でこそ無くなってきているものの、ハッシュベースの分散 KVS は、レンジクエリができなかったり (例:
目覚ましい進化を見せるストレージエンジン - PBXT改善の軌跡
PBXTというストレージエンジンがある。これは、PrimeBase社によるストレージエンジンで、トランザクションをサポートした本格的なものである。（つまり、InnoDBやFalconの代替として使うことを目指したエンジンなのである。）PBXTは次のページからダウンロード可能だ。 http://www.primebase.org/ 上記のページにも書いてあるが、PBXTの特徴は次の通り。 MVCC（Multi Version Concurrency Control）トランザクションのサポートACID準拠行レベルのロックデッドロック検知外部キーのサポートWrite Once（追記型アーキテクチャ）BLOBストリーミング 最後の2つ以外はInnoDBと同じである。Write Onceとは追記型のアーキテクチャで、InnoDBのように独立したログが存在しないという意味である。（PostgreSQL
Spread Toolkit + Perl で cagra みたいなのを実装してみた - 酒日記 はてな支店
分散ストレージシステム Cagra が面白そうだなあと思いつつ以下の図を見たら、 これ、Spread Toolkit でセッションレプリケーション - 酒日記 はてな支店 で書いた図に似ているなと。 要するに、client は localhost(でなくてもいいけど) の daemon と通信し、daemon 同士は udp multicast 等でメッセージ交換する、という形が一緒。 であれば、Spreat Toolkit を使えば似たようなのが実装できるんじゃないか、ということで作ってみた。 ソースは coderepos に置いてあります。http://svn.coderepos.org/share/lang/perl/Spread-DStorage/ Spread については日本語の情報がほとんど見つからないので、手前味噌ですが http://d.hatena.ne.jp/sfuji
プラグインで独自ストレージを作ろう - mixi engineer blog
OpenSocialとかC++0xとか世の中の流れが早すぎて、いろいろと勉強しなきゃなと焦りつつも、ついついピクミン2にはまってしまうmikioです。今回はTokyo Tyrant（TT）を使ってユーザ独自のストレージシステムを簡単に構築する方法について説明します。 プラグインとは オブジェクト指向プログラミングに慣れた人にとっては、インターフェイスと実装を分離することによってプログラムの拡張性や保守性を向上させる技法（データ抽象）は常識ですよね。その考えをさらに進めると、インターフェイスのみをプログラムに記述しておいて、具体的な実装は実行時に割り当てるという、いわゆるプラグイン（plug-in）という技法に至ります。プラグインでカスタマイズできる能力をプラガブル（pluggable）などと言ったりもします。 例えばTokyo Cabinet（TC）では、レコードの挿入、削除、参照といった
SSDを利用した検索エンジン - moratorium
本日、SSDを利用した検索エンジンをリリースしました。 全文検索エンジンSedue プリファードインフラストラクチャー、高速全文検索エンジン「Sedue 24」の新バージョンでSSDに対応 --- 大規模検索システムをPCサーバ1台で実現可能に --- 合わせて、Wikipediaの全言語2300万文書、約50GBのテキストを1台のSSDで検索するデモも公開しています。 Worlds' Wikipedia Search by ONE Solid State Drive 4月にはPFIの製品紹介もかねた無料セミナーを行う予定ですので、ぜひお越しください。 セミナー案内ページ このエンジンはライセンス提供・サービス運用・検索ASP提供などに活かして行きたいと思っています。と、ここまでが宣伝。 単純にHDDをSSDに変えるだけでは十分な性能が得られない事が分かったので、色々とSSDのデバイス特性
blog.katsuma.tv
greeさんで開催されたKey Value Store勉強会に行ってきました。 時間にして4時間超え、内容も国内のKey-Value Storeなソフトウェアの最前線の話ばかりで相当なボリューム。以下、メモってたのを残しておきたいと思います。（誤字、脱字、内容に誤りを含むものなどありましたらお伝えください）また、発表者の方やプロダクトについて、ざっくり調べてURL見つけられたものについてはリンク張っています。 森さん / 末永さん groonga Sennaの後継エンジン 融通が効かないのがSennaのデメリット スコア算出式のカスタマイズなど Sennaの転置索引 索引の構成部品を自由に組み合わせて使える APIもいろいろ QL DB Low Level memcached互換のkey-value store バイナリのみ対応 計測 クライアント memstorm-0.6.8 mem
Dropbox for Linux を GNOME 以外で利用
カテゴリー » Linux » いろいろ October 25, 2008 Dropbox for Linux を GNOME 以外で利用 最近一部で話題のオンラインストレージDropbox。簡単にファイルの共有と同期が可能で、変更履歴まで記録してくれて何かと便利。 同期には専用ソフトを使うわけですが、WindowsだけでなくLinux版も用意されてます。そのLinux版の名前は nautilus-dropbox といって、その名の通りNautilus(GNOME)専用。KDEやXFCEその他諸々では（無理矢理動かさない限り）使えない。公式サイトにはオープンソースで仕様を公開してるんだからプログラムを自分で作ってちょ、と書いてありますが、そんな力量はないのよ困った困った。 んでまあ、ちょっと調べてみたら Dropbox without Gnome を発見。Nautilusはただのインター
“すべてクラウド”も間近!? 「ZumoDrive」を使ってみた － ＠IT
2009/01/23 オンラインストレージサービスは古くからあるが、汎用クラウドサービスの登場で、その使い勝手が急速に進化している。2009年1月に入ってプライベートベータテストを始めた「ZumoDrive」は、エンドユーザー向けのサービスとしては、現時点で最も先進的な利便性とリーズナブルな価格を実現したサービスの1つだ。ZumoDriveはAmazon S3をバックエンドに使い、ローカルPCのOSに透過的にマウントできる仮想ドライブを提供する。ファイルはクリックして初めてストリーム配信されるため、ローカルストレージは、もはや主従関係でいえば従の“キャッシュ”として機能する。 ZumoDriveを使ってみたい読者は、同サービスのWebサイトで招待コード“itmedia”を入力してみてほしい。現在ZumoDriveはプライベートベータテスト中だが、＠IT読者に対して先着で500アカウントまで
Dropboxを使い始めた&有料版にアップグレードしたよ。 – creamu
さて、少し前からDropboxを使い始めました。オンライン上にファイルを置いて、複数のPCで共有できるサービスですね。 会社と自宅のPCで同じファイルを見たいことはよくありますよね。僕はいいな、と思ったサイトのスクリーンショットを撮って、タグみたいにキーワードでファイル名をつけてばんばん保存しています。 それですぐに無料の2GBがいっぱいになってしまって、、迷ったんですが、1ヶ月1000円くらいだし、一気に50GBまで使えるようになるので有料版を申し込みました。 クレジットカードのデータを入力するだけなので手軽ですね。 アップグレードしたあとはこんな感じ。まだまだいけるぜ。 複数のPCで同じファイルを見るときは、USBメモリに入れてとか、僕はiPodに入れたりしてたんですが、USBをつないで外してまたつないで、と面倒ですよね。 それが、フォルダに保存するだけで自動でWeb上にファイルが保存
Ex DOM Storage をリリースしました - Yet Another Hackadelic
結構前に作っていたんだけど、IE6, IE7 でも動作する DOM Storage を作ったので、きちんと告知します。 追記 ちなみにサーバーにファイル置くだけで動きます。ユーザーに何かインストールさせる必要はありません。(2008-09-24T11:45:56+09:00) CodeReposにソースを移動しました。(2008-09-24T12:37:24+09:00) Ex DOM Storage dist http://svn.coderepos.org/share/lang/javascript/exdomstorage/tags/0.01/ source http://svn.coderepos.org/share/lang/javascript/exdomstorage sample http://svn.coderepos.org/share/lang/javascript/
Amazon EC2/S3を使ってみた - まとめ (Amazon Web Services関連エントリ目次) - RX-7乗りの適当な日々
Amazon EC2/S3および、その他Amazon Web Servicesについて、具体的な使い方を中心に、これまでこのブログ内で色々とエントリを書いてきたので、このエントリに目次代わりとしてまとめておきます。 今後も関連エントリを書いた際に、以下に追記していきますが、場合によっては記載されている情報が古い場合もありますので、その点はご了承ください。(できるだけ気づいた時点で修正しています。) # 尚、ここで紹介しているエントリは、全て私(id:rx7)自身が書き記したものです。 基本の流れを知る Amazon EC2/S3を使ってみた - 1.AWSへの登録〜S3を使う Amazon EC2/S3を使ってみた - 2.EC2が起こすイノベーション Amazon EC2/S3を使ってみた - 3.EC2起動後〜AMI作成 Amazon EC2/S3を使ってみた - 4.EC2で固定IP
Amazon S3 をバックアップストレージとして利用する
Amazon Simple Storage Service(A3)をバックアップストレージとして使うときのメモです。 ここでは自分のみがアクセスする目的と考え、ファイルを公開して配布する目的では必要となるであろうログの取得についてなどは省きます。 利点 単価がとにかく安い(1か月あたりの料金:転送量が$0.20/GB、データ領域が$0.15/GB) Amazonインフラなので信頼性がある 欠点 APIでの提供なので何らかのツールが必要となる そんなに速くない ちょこちょこ使うストレージとしてみると使いづらい ファイル操作は基本GET/PUT/DELETEしか用意されていない 移動・名前変更を行おうとするとGET→名前を変えてPUT→DELETEとなるのでムダがある(時間的にも金銭的にも) バケット(bucket) ストレージの領域の事。フォルダよりドライブに近い概念です。 自由に作成できま
Q4M - a Message Queue for MySQL
Q4M (Queue for MySQL) is a message queue licensed under GPL that works as a pluggable storage engine of MySQL, designed to be robust, fast, flexible. It is already in production quality, and is used by several web services (see Users of Q4M). To start using Q4M, download either a binary or source distribution from the install page, and follow the installation instructions. A small tutorial is also
HDD以上に便利なオンラインストレージ“Dropbox” ― ＠IT
2007/04/09 OSのファイルシステムに統合され、Windows上からは通常のフォルダとして扱えるオンラインストレージサービス「Dropbox」の詳細が明らかになった。Dropboxは、複数のPCから同一フォルダが扱えるだけでなく、バックアップや変更履歴管理、ローカルファイルシステムと完全な透過性を備えた高機能なオンラインストレージサービスだ。 rsync、trac、subversionのいいところ取り 「ほかのオンラインストレージや同期サービスは、どれも使うのが面倒だったり、十分にスケールしなかったり、あるいは何か制限があったりするので不満だった。それじゃあということで、自分たちで、まともなものを作ろうと決めた」。DropboxのCEOで開発者のDrew Houston（ドゥリュー・ヒューストン）氏は＠ITのメールインタビューに答え、開発の動機をそう語る。マサチューセッツ工科大学で
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://jp.techcrunch.com/2009/05/01/20090430facebook-gets-three-times-more-efficient-at-storing-photos-with-haystack/
moved
senduit | Share easily.
https://labs.cybozu.co.jp/blog/kazuho/archives/2008/10/web_service_on_ssd.php