Last.fmがサーバにSSDを導入、分散ファイルシステムもSSD対応にしてスケール向上に成功！
音楽配信サイトのLast.fmは、今年の10月からXbox Liveでも利用できるようになったことを受けてユーザー数が大幅に増加。これに対応するためサーバにSSDを採用したところ、問題なくスケールの向上に成功してしまったことをブログ「Launching Xbox, Part 2 - SSD Streaming」で明らかにしています。 SSDで同時接続数が300から7000に増加 Last.fmはこれまで7200rpmのSATAドライブをバックエンドに利用。ファイルシステムとしてオープンソースの分散ファイルシステムであるMogileFSを採用していました。 オーディオストリーミングの能力は基本的にこのMogileFSの管理下にあるハードディスクのランダムI/O性能に依存しており、現在は1つのハードディスクあたり約300同時接続をサポートしていたとのこと。 しかしXbox LiveがLast.
nginx mogilefs moduleが素晴らしい - スコトプリゴニエフスク通信
nginx mogilefs moduleはモジュールとしてnginxに組み込んで使うMogileFSクライアント。これを使うと、「普通のWebDAVのようにアクセスできるのに背後にあるストレージはMogileFS」ということを簡単にできる。http://www.grid.net.ru/nginx/mogilefs.en.htmlhttp://github.com/vkholodkov/nginx-mogilefs-module/tree/master インストールnginxの再ビルドが必要。 $ wget http://www.grid.net.ru/nginx/download/nginx_mogilefs_module-1.0.2.tar.gz $ tar xzf nginx_mogilefs_module-1.0.2.tar.gz $ wget http://sysoev.ru/n
nginxでMogileFS - スコトプリゴニエフスク通信
このトピックが役に立った。PerlbalのX_REPROXY_URL的なことをnginxでやるnginxがリバースプロキシになっていて、背後(127.0.0.1:8000)にアプリケーションがいる場合、次のような設定になる。 upstream django { server 127.0.0.1:8000; } server { listen 80; server_name localhost; location / { proxy_pass http://django; } location /reproxy { internal; set $reproxy $upstream_http_x_reproxy_url; proxy_pass $reproxy; proxy_hide_header Content-Type; } } はまったのが、"proxy_pass $reproxy"のよ
MogileFSの利用と高速化 » SlideShare
MogileFS+Perlbalな運用形態におけるX-REPROXY-URLの活用と、X-REPROX-CACHE-FORを使ったサーバレスポンスの高速化、サーバの負荷軽減についてRead less
tokuhirom blog
Blog Search when-present<#else>when-missing. (These only cover the last step of the expression; to cover the whole expression, use parenthesis: (myOptionalVar.foo)!myDefault, (myOptionalVar.foo)?? ---- ---- FTL stack trace ("~" means nesting-related): - Failed at: ${entry.path} [in template "__entry.ftlh" at line 3, column 25] - Reached through: #include "__entry.ftlh" [in template "entry.ftlh" at
Yet Another Hackadelic - MogileFS::Plugin::FilePaths, MogileFS::Client::FilePathsを試してみる
はじめに MogileFS::Client::FilePathsのドキュメントですが、激しく適当に書かれているのと、使い方だとかセットアップの仕方とかは笑えるくらい情報が無いので、ソース嫁しか手段が無い事を予めお断りしておきます。 FilePathsプラグインとは？ MogileFSでは実際のファイルシステムのようにパスが存在する訳では無く、実態としては domain key によって管理されています。 特定のdomainに存在するファイルの探索はlist_keysメソッドで探すと言う手法しかデフォルトではありません。 で、MogileFSのサーバー側のプラグインとして、FilePathsプラグインと言う物がありますが、こちらを有効にしておくと実際のファイルシステムのようにパスと言う概念を持ち込む事が出来るようになります。 インストール mogdbsetupコマンドを実行する際にplugi
X-REPROXY-CACHE-CLEAR もあわせて使いたい人向けショート BK
■X-Reproxy-Cache-Clear できる Perlbal プラグインCommentsAdd Star ■[Perl][CPAN][Perlbal] X-REPROXY-CACHE-FORを使いたい人向けショートBK X-REPROXY-CACHE-FOR ヘッダが Perlbal に(というか Perlbal::Cache に)どのように解釈されるかというと、 Perlbal::Service.pm 1467 sub add_to_reproxy_url_cache { 1468 my Perlbal::Service $self; 1469 my ($reqhd, $reshd); 1470 1471 ($self, $reqhd, $reshd) = @_; 1472 (snip) 1484 my $hostname = $reqhd->header("Host") ||
mogadmコマンドが多機能になってた件 - 日向夏特殊応援部隊
全然気づかなかったんだけど、MogileFS-Utils-2.12にて下記の機能がいつの間にやら使えるようになっていました。ｗ stas MogileFSの状態表示 slave Slaveデータベースの管理 fsck File systemの監視workerの管理 settings 動的な設定値管理 それとdeviceにmodifyコマンドが付きました。 2.08くらいから状況が変わってたみたいですね。 そのうち調べること fsck workerのまとめ、一度読んだけど忘れた slaveの使い方と何がウマーか ちなみにsettingsは便利 $ mogadm settings memcache_servers 127.0.0.1:11211みたいにして設定出来ます。 設定できそうな値はMogileFS::Config辺りを漁ると、いいかもしれない。
Yet Another Hackadelic - MogileFSのplugin機構のメモ (1)
以前書いた記事、d:id:ZIGOROu:20070626:1182850060 にてMogileFS::Client::FilePathsと、この記事では思い切り書き忘れてましたけど、MogileFS::Plugin::MetaData, MogileFS::Plugin::FilePathsに関する雑多なメモです。 詳しくは来月上旬にあるShibuya.pmにてお話します。 pluginの読み込み箇所 mogilefsdを起動するとMogileFS::Serverのrunメソッドが叩かれます。この後すぐにMogileFS::Configのload_configメソッドが呼ばれます。 この中で、 my @plugins; push @plugins, $cfgfile{plugins} if $cfgfile{plugins}; push @plugins, @{$cmdline{plu
ファイルサーバが遅い - odz buffer
なんか、研究室のファイルサーバの応答が遅いなぁと思ったら、tar でファイルを固めてバックアップしようとしている人がいたという罠。tar + gzip とか tar + bzip2 とかじゃなくて、素の tar。だから CPU をほとんど使わず、ものすごい勢いで read リクエストを飛ばしつつ write リクエストを飛ばすという事態になって数世代前の CPU で ソフトウェア RAID を組んでいるファイルサーバはひとたまりもないというオチ。 しかし、こういう事態があると分散ファイルシステムとかほしくなるよなぁ。ちょっと調べてみたら Linux で使えるオープンソースな分散ファイルシステムとしてGlobal File System、Lustre、GlusterFS、MogileFSあたりがあるようだ*1。 でも動作検証してまでやる気力はないなぁ。 まぁ、とりあえず rsync/unis
MogileFSに関して日本語で読める情報 - kinneko@転職先募集中の日記
読みは「モジャイル」かな？ まずは、このへんから。 Learning MogileFS http://www.art-code.org/files/shibuya_pm_tt07_mogilefs_with_catalyst.pdf 分散ファイルシステム MogileFS について http://www.sixapart.jp/techtalk/2006/10/dev_mogilefs.html MogileFS のインストールと初期設定 http://www.sixapart.jp/techtalk/2006/10/dev_mogilefs_install.html MogileFS::Client と MogileFS 内部でのファイルノード管理 http://www.sixapart.jp/techtalk/2006/10/mogilefsclient_mogilefs.html N
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
