タグ

mogilefsとperlに関するlapis25のブックマーク (5)

  • MogileFSを読んでみる - I sort my thought...

    brad productsはMemcachedに代表されるように非常に設計が素朴で、それでいて高性能ということで興味がわいたのでmogilefsdを中心にMogileFSのソースコードを読んでみました。 まず、http://code.sixapart.com/svn/mogilefs/から最新版のコードをチェックアウトします。この中のdocや、CHANGLOG、devnotesは貴重な情報源なので目を通しておいた方が良いでしょう。 MogileFSはデータを入れた際に、そのデータのクラスのmin_devcountの数は最低でも複製されるようにします。その際にどのようにして、デバイスを選択しているかなどを中心に読んでみました。 まずmogilefsdを立ち上げると、それぞれ役割別のworkerが子プロセスとして立ち上がります。 どんなWorkerがあるかは、MogileFS::Worker以

    MogileFSを読んでみる - I sort my thought...
  • Yet Another Hackadelic - Note of MogileFS #03 - MogileFS Serverのインストール(覚書)

    はじめに まだ勉強中なんで内容は物凄い無保証です。w あと基的にSixApartではDebianでの動作が多いらしいのでDebian使いの方は少し幸せかもしれません。 それとziguzaguさんの記事を非常に参考にさせて頂きました。この場を借りてお礼申し上げます。 下準備 とりあえずMySQLは必要です! 今回はtrackerはhttpセットアップとします。 As we've said, MogileFS can use NFS or HTTP, but we highly recommend an HTTP-based setup! Linux NFS is horrible and we've experienced no end of lowmem problems, file corruption (4k pages of zeros), and NFS server probl

    Yet Another Hackadelic - Note of MogileFS #03 - MogileFS Serverのインストール(覚書)
  • X-Sendfile, X-REPROXY-FILE, X-REPROXY-URL - 日向夏特殊応援部隊

    d:id:spiritloose:20061025:1161770915 ApacheでもlighttpdのX-Sendfileが使えるみたい。 ここで言及されてるX-REPROXY-FILEなんだけど、Perlbalの機能です。 付属のdocにあるreproxying.txtによると、 This can be useful for having URLs that get mapped to files on disk without giving users enough information to map out your directory structure. For example, you can create a file structure such as: /home/pics/$userid/$pic Then you can have URLs such as:

    X-Sendfile, X-REPROXY-FILE, X-REPROXY-URL - 日向夏特殊応援部隊
  • Catalyst-Model-MogileFS-Client - 日向夏特殊応援部隊

    リリースしました。 Catalyst-Model-MogileFS-Client 大体基的な使い方はhosts(trackers), domainを指定した名前づけされたMogileFS::Clientが使えるよって感じです。 Modelだけじゃアレなので、Viewクラスも多分作ると思います。 path listを渡すと可能ならX-REPROXY-URLでフロントに返し、ダメならLWPで取ってくるみたいな感じになると思います。(今思いっきり作ってる最中。)

    Catalyst-Model-MogileFS-Client - 日向夏特殊応援部隊
  • Six Apart - Tech Talk Blog: 分散ファイルシステム MogileFS について

    初登場になります、酒井といいます。 今回は Six Apart のサービスで使われている MogileFS というファイルシステムを紹介したいと思います。MogileFS については、日語の情報はあまり…、というかほとんどない状況ですので参考にしていただければと思います。では早速。。。 MogileFS とは MogileFS とは、Perl で記述されているオープンソースな分散ファイルシステムです。 プロジェクトホームページ http://www.danga.com/mogilefs/ メーリングリスト http://lists.danga.com/mailman/listinfo/mogilefs 上記のホームページ内でも紹介されていますが、主に以下のような特徴があります。 アプリケーションレベルでの実装なので特殊なカーネルモジュールいらず。 ファイルを複数ホストに自動コピー / バ

  • 1