SSDでファイルシステムを高速化 - 浜村拓夫の世界
Webサーバのデータバックアップのため、ストレージを追加したい。 HDDにするか、SSDにするか？ Last.fmがサーバにSSDを導入、分散ファイルシステムもSSD対応にしてスケール向上に成功！ 音楽配信サイトのLast.fmは、今年の10月からXbox Liveでも利用できるようになったことを受けてユーザー数が大幅に増加。 これに対応するためサーバにSSDを採用したところ、問題なくスケールの向上に成功してしまったことをブログ「Launching Xbox, Part 2 - SSD Streaming」で明らかにしています。 SSDで同時接続数が300から7000に増加 Last.fmはこれまで7200rpmのSATAドライブをバックエンドに利用。 ファイルシステムとしてオープンソースの分散ファイルシステムであるMogileFSを採用していました。 MogileFSを拡張して「Hotノ
MogileFS を Java から使ってみる - kikumotoのメモ帳
MogileFS には非公式ではあるが Java クライアントもある。 今回は http://github.com/davidsheldon/java-mogilefs/tree/master にあるライブラリを利用してみることにした。 ファイルの読み書き 取得したファイルの中に、TestMogileFS.java というのがあるので、それを見るとだいたい使い方がわかる。 MogileFS にファイルを格納する場合を抜粋すると以下のような感じ。ちなみに、ここで SimpleMogileFSImpl を使ったのは PooleMogileFSImpl を使うと、newFile の呼び出しでなぜか時間がかかったから。commons-pool 側の問題のように見えたので、とりあえず SimpleMogileFSImpl で試してみたということ。 MogileFS mfs = new SimpleM
jognote in silico >> mogilefs
このドメインは お名前.com から取得されました。 お名前.com は GMOインターネットグループ(株) が運営する国内シェアNo.1のドメイン登録サービスです。 ※表示価格は、全て税込です。 ※サービス品質維持のため、一時的に対象となる料金へ一定割合の「サービス維持調整費」を加算させていただきます。
MogileFSに関して日本語で読める情報 - kinneko@転職先募集中の日記
読みは「モジャイル」かな？ まずは、このへんから。 Learning MogileFS http://www.art-code.org/files/shibuya_pm_tt07_mogilefs_with_catalyst.pdf 分散ファイルシステム MogileFS について http://www.sixapart.jp/techtalk/2006/10/dev_mogilefs.html MogileFS のインストールと初期設定 http://www.sixapart.jp/techtalk/2006/10/dev_mogilefs_install.html MogileFS::Client と MogileFS 内部でのファイルノード管理 http://www.sixapart.jp/techtalk/2006/10/mogilefsclient_mogilefs.html N
Yet Another Hackadelic - MogileFS::Plugin::FilePaths, MogileFS::Client::FilePathsを試してみる
はじめに MogileFS::Client::FilePathsのドキュメントですが、激しく適当に書かれているのと、使い方だとかセットアップの仕方とかは笑えるくらい情報が無いので、ソース嫁しか手段が無い事を予めお断りしておきます。 FilePathsプラグインとは？ MogileFSでは実際のファイルシステムのようにパスが存在する訳では無く、実態としては domain key によって管理されています。 特定のdomainに存在するファイルの探索はlist_keysメソッドで探すと言う手法しかデフォルトではありません。 で、MogileFSのサーバー側のプラグインとして、FilePathsプラグインと言う物がありますが、こちらを有効にしておくと実際のファイルシステムのようにパスと言う概念を持ち込む事が出来るようになります。 インストール mogdbsetupコマンドを実行する際にplugi
Shibuya Pm Tt08 Advanced Mogilefs
MPAなWebフレームワーク、Astroの紹介 (その2) 2024/05/24の勉強会で発表されたものです。
MogileFS Architecture
Voici la première déclinaison produit de notre stratégie Open Storage avec la série Sun Storage 7000 Unified Storage System. Cette offre se compose de trois modèles offrant de 2 à 576 To de volumètrie brut. Ces modèles sont le S7110, le S7210 et enfin le S7410 qui existe également en version cluster. Voici la première déclinaison produit de notre stratégie Open Storage avec la série Sun Storage 7
Last.fm – the Blog · Launching Xbox, Part 2 - SSD Streaming
This is the second in a series of posts from the Last.fm engineering team covering the geekier aspects of our recent Last.fm on Xbox LIVE launch. Part one (“The War Room”) is here. The music streaming architecture at Last.fm is an area of our infrastructure that has been scaling steadily for some time. The final stage of delivering streams to users fetches the raw mp3 data from a MogileFS distribu
nginxでMogileFS - スコトプリゴニエフスク通信
このトピックが役に立った。PerlbalのX_REPROXY_URL的なことをnginxでやるnginxがリバースプロキシになっていて、背後(127.0.0.1:8000)にアプリケーションがいる場合、次のような設定になる。 upstream django { server 127.0.0.1:8000; } server { listen 80; server_name localhost; location / { proxy_pass http://django; } location /reproxy { internal; set $reproxy $upstream_http_x_reproxy_url; proxy_pass $reproxy; proxy_hide_header Content-Type; } } はまったのが、"proxy_pass $reproxy"のよ
nginx mogilefs moduleが素晴らしい - スコトプリゴニエフスク通信
nginx mogilefs moduleはモジュールとしてnginxに組み込んで使うMogileFSクライアント。これを使うと、「普通のWebDAVのようにアクセスできるのに背後にあるストレージはMogileFS」ということを簡単にできる。http://www.grid.net.ru/nginx/mogilefs.en.htmlhttp://github.com/vkholodkov/nginx-mogilefs-module/tree/master インストールnginxの再ビルドが必要。 $ wget http://www.grid.net.ru/nginx/download/nginx_mogilefs_module-1.0.2.tar.gz $ tar xzf nginx_mogilefs_module-1.0.2.tar.gz $ wget http://sysoev.ru/n
MogileFSで構築する高速スケーラブルな分散ファイルシステム - builder by ZDNet Japan
本連載「オープンソースソフトウェアでクリエイターを支援するmoonlinx」の第1回「ウェブメディア「moonlinx」を支えるオープンソースソフトウェア」ではmoonlinxの概要およびシステム構成を、第2回の「openSUSEの管理ツール「YaST」で作業を効率化：moonlinxを支えるOSS」では使用OSであるopenSUSEについて簡単に説明しました。 今回は、moonlinxで取り扱うメディアファイル（画像、音楽、動画）の保管方法について説明したいと思います。 分散ファイルシステム「MogileFS」 moonlinxでは、各種メディアファイルの保管に、オープンソースの分散ファイルシステム「MogileFS」を利用しています。 分散ファイルシステムを用いることにより、ファイルシステムを構成するノード群の一部がダウンしても、データを失うことなくシステムとして機能し続け、かつ自動レ
MogileFS - PukiWiki
Install Perl † % tar zxvf perl-5.10.0.tar.gz % cd perl-5.10.0 % ./Configure -des -Dmyhostname=localhost -Dperladmin=viz@localhost \ > -Dcc=/usr/bin/gcc -Dprefix=$HOME/perl-5.10.0 \ > -Dusethreads -Duseithreads -Duselargefiles % make % make test % make install $HOME/perl-5.10.0/bin に PATH を通しておく。 OS に標準で入っている Perl よりも先に見つかるようにしておく。 ↑ Setting CPAN Environment † cpan のための設定をする。 % cpan 初回に起動するといろいろ聞かれ
Six Apart - Tech Talk Blog: MogileFS のインストールと初期設定
酒井です。タイトルの通り、今回は MogileFS のインストールから初期設定までをずらずらと紹介します。 MogileFS では各コンポーネントごとに別サーバーを割り当てるのが通常ですが、実際には1台ですべてのコンポーネントを稼動させることができますので、colinux などの環境で手軽に実験することが可能です。今回使用した環境は、 Debian/sid (colinux) perl 5.8.8 MySQL 5.0 (non cluster) です。 また、使用する MogileFS のバージョンは、現時点では開発中ですがもうすぐリリースとなる（はずの）バージョン 2.0 を SVN リポジトリ の trunk からチェックアウトして使用します（revision 421 をインストールしました）。 リポジトリURL http://code.sixapart.com/svn/mogilef
jognote in silico -- Blog Archive » MogileFSをFreeBSD 6.2上にインストールする
このドメインは お名前.com から取得されました。 お名前.com は GMOインターネットグループ(株) が運営する国内シェアNo.1のドメイン登録サービスです。 ※表示価格は、全て税込です。 ※サービス品質維持のため、一時的に対象となる料金へ一定割合の「サービス維持調整費」を加算させていただきます。
dfltweb1.onamae.com – このドメインはお名前.comで取得されています。
このドメインは お名前.com から取得されました。 お名前.com は GMOインターネットグループ(株) が運営する国内シェアNo.1のドメイン登録サービスです。 ※表示価格は、全て税込です。 ※サービス品質維持のため、一時的に対象となる料金へ一定割合の「サービス維持調整費」を加算させていただきます。
MogileFS / HowTo
Just to get documentation started, a quick copy/paste from the old source - BGD. How To Setup MogileFS Version: 0.06, October 1, 2009 Author: Brett G. Durrett (first name at last name dot net) Source: http://durrett.net/mogilefs_setup.html Overview This document explains how to set up and configure a basic MogileFS installation. It is intended for the novice systems administrator and should enable
Note of MogileFS #08 - Inside MogileFS architecture (1) - Yet Another Hackadelic
はじめに…の前に これを書き途中で2回もFireFoxが落ちた。しかもはてなのバックアップ機能を有効にしたけど、無意味だった罠。orz... hatena-mode.elを本気で使いたくなってきた。*1 はじめに シーケンス図もどきを書こうと思ったんですが、良く考えたら自信を持って書けない事が判明したので、泣く泣くソースを読む事にしました。*2 と言う訳で元の動機がその程度なので余り深く突っ込まない予定…だけど突っ込まざるを得ないか。 特にdatabaseに対して保存しておく情報のやり取りに関しては基本、触れない予定です。 題材としてはファイルの保存、レプリケーション周りを見てみます。 MogileFS::Client->new_file 保存系の操作は最終的にこのメソッドに行き着きます。 この辺りに関してはd:id:ZIGOROu:20061016:1161034490を参照。 sub
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.scribd.com/doc/21962572/MogileFS-Infrastructure
GitHub - victori/java-mogilefs: Java client library for MogileFS
http://code.sixapart.com/svn/mogilefs/trunk/