MogileFSを読んでみる - I sort my thought...
brad productsはMemcachedに代表されるように非常に設計が素朴で、それでいて高性能ということで興味がわいたのでmogilefsdを中心にMogileFSのソースコードを読んでみました。 まず、http://code.sixapart.com/svn/mogilefs/から最新版のコードをチェックアウトします。この中のdocや、CHANGLOG、devnotesは貴重な情報源なので目を通しておいた方が良いでしょう。 MogileFSはデータを入れた際に、そのデータのクラスのmin_devcountの数は最低でも複製されるようにします。その際にどのようにして、デバイスを選択しているかなどを中心に読んでみました。 まずmogilefsdを立ち上げると、それぞれ役割別のworkerが子プロセスとして立ち上がります。 どんなWorkerがあるかは、MogileFS::Worker以
Shibuya.pm Technical Talk #08 - Advanced MogileFSの資料を公開します - 日向夏特殊応援部隊
ダウンロード shibuya_pm_tt08_advanced_mogilefs.ppt 解説 今回はMogileFSのpluginの作り方にフォーカスを当てた内容になっています。 MogileFSのpluginは、 DB Schemaをplugin用に定義する global_hookにコールバックを定義する 新しいcmdをquery workerに追加/置換する といった機能を持っています。 どうすればpluginが書けるかはこの資料でほぼ十分分かるかと思いますので、 是非plugin開発に挑戦してみて下さい。 MogileFS::Plugin::MultiHookについて pluginのサンプルとしては余り参考にしないで下さい。 本来loadメソッドでやるべき内容では無い事を無理やりやってますので。 それと、このモジュールのunregister_global_hookの挙動は次のバージ
Yet Another Hackadelic - Note of MogileFS #03 - MogileFS Serverのインストール(覚書)
はじめに まだ勉強中なんで内容は物凄い無保証です。ｗ あと基本的にSixApartではDebianでの動作が多いらしいのでDebian使いの方は少し幸せかもしれません。 それとziguzaguさんの記事を非常に参考にさせて頂きました。この場を借りてお礼申し上げます。 下準備 とりあえずMySQLは必要です！ 今回はtrackerはhttpセットアップとします。 As we've said, MogileFS can use NFS or HTTP, but we highly recommend an HTTP-based setup! Linux NFS is horrible and we've experienced no end of lowmem problems, file corruption (4k pages of zeros), and NFS server probl
MogileFSがmemcacheをサポート - 日向夏特殊応援部隊
ここのところ、MySQL以外のデータベース(Postgres, Oracleなど)も公式でサポートしてみたり、コードのクリーン化なども頻繁に行っているMogileFSですが、memcacheをバックエンドに使用出来るようになったようです。 Reall, you should cache get_paths requests in your application, avoiding an extra round-trip to the trackers that could be avoided on a cache hit. That is, you should do: 1) app <-> memcache Rather than: 2) app <-> tracker <-> memcache Although, if 1) is too hard, it's true that
X-Sendfile, X-REPROXY-FILE, X-REPROXY-URL - 日向夏特殊応援部隊
d:id:spiritloose:20061025:1161770915 ApacheでもlighttpdのX-Sendfileが使えるみたい。 ここで言及されてるX-REPROXY-FILEなんだけど、Perlbalの機能です。 付属のdocにあるreproxying.txtによると、 This can be useful for having URLs that get mapped to files on disk without giving users enough information to map out your directory structure. For example, you can create a file structure such as: /home/pics/$userid/$pic Then you can have URLs such as:
Six Apart - Tech Talk Blog: 分散ファイルシステム MogileFS について
初登場になります、酒井といいます。 今回は Six Apart のサービスで使われている MogileFS というファイルシステムを紹介したいと思います。MogileFS については、日本語の情報はあまり…、というかほとんどない状況ですので参考にしていただければと思います。では早速。。。 MogileFS とは MogileFS とは、Perl で記述されているオープンソースな分散ファイルシステムです。 プロジェクトホームページ http://www.danga.com/mogilefs/ メーリングリスト http://lists.danga.com/mailman/listinfo/mogilefs 上記のホームページ内でも紹介されていますが、主に以下のような特徴があります。 アプリケーションレベルでの実装なので特殊なカーネルモジュールいらず。 ファイルを複数ホストに自動コピー / バ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Catalyst-Model-MogileFS-Client - 日向夏特殊応援部隊