タグ

Infrastructureに関するtakeshiyakoのブックマーク (8)

  • MogileFSに関して日本語で読める情報 - kinneko@転職先募集中の日記

    読みは「モジャイル」かな? まずは、このへんから。 Learning MogileFS http://www.art-code.org/files/shibuya_pm_tt07_mogilefs_with_catalyst.pdf 分散ファイルシステム MogileFS について http://www.sixapart.jp/techtalk/2006/10/dev_mogilefs.html MogileFS のインストールと初期設定 http://www.sixapart.jp/techtalk/2006/10/dev_mogilefs_install.html MogileFS::Client と MogileFS 内部でのファイルノード管理 http://www.sixapart.jp/techtalk/2006/10/mogilefsclient_mogilefs.html N

    MogileFSに関して日本語で読める情報 - kinneko@転職先募集中の日記
  • Six Apart - Tech Talk Blog: MogileFS のインストールと初期設定

    酒井です。タイトルの通り、今回は MogileFS のインストールから初期設定までをずらずらと紹介します。 MogileFS では各コンポーネントごとに別サーバーを割り当てるのが通常ですが、実際には1台ですべてのコンポーネントを稼動させることができますので、colinux などの環境で手軽に実験することが可能です。今回使用した環境は、 Debian/sid (colinux) perl 5.8.8 MySQL 5.0 (non cluster) です。 また、使用する MogileFS のバージョンは、現時点では開発中ですがもうすぐリリースとなる(はずの)バージョン 2.0 を SVN リポジトリ の trunk からチェックアウトして使用します(revision 421 をインストールしました)。 リポジトリURL http://code.sixapart.com/svn/mogilef

  • Six Apart - Tech Talk Blog: 分散ファイルシステム MogileFS について

    初登場になります、酒井といいます。 今回は Six Apart のサービスで使われている MogileFS というファイルシステムを紹介したいと思います。MogileFS については、日語の情報はあまり…、というかほとんどない状況ですので参考にしていただければと思います。では早速。。。 MogileFS とは MogileFS とは、Perl で記述されているオープンソースな分散ファイルシステムです。 プロジェクトホームページ http://www.danga.com/mogilefs/ メーリングリスト http://lists.danga.com/mailman/listinfo/mogilefs 上記のホームページ内でも紹介されていますが、主に以下のような特徴があります。 アプリケーションレベルでの実装なので特殊なカーネルモジュールいらず。 ファイルを複数ホストに自動コピー / バ

  • Geekなぺーじ : Twitterのネットワーク構成を調べてみた

    8月6日、日時間23:30頃から1時間ほどTwitterが落ちていました。 どうもDoS攻撃が原因のようです。 Ongoing denial-of-service attack Site is down で、「Twitterってどういうネットワーク構成なんだろう?」と不思議に思ったので調べてみました。 まあ、「ネットワーク構成」と言えるほどの情報ではありませんが、情報として公開されているものを色々漁ってみました。 AS番号は? まず最初に、Twitterほど大規模だったらきっと自前でASを運用しているに違いない、と思ってAS番号リストからTwitterを探しました。 でも、発見できませんでした。 「Multicast Technologies : asn_expand.txt」 私は何を見てるの? 次に、「いつも自分が見ている物の実態は何だろう?」と思いました。 CDNを使っていると、国

  • 「はてな流大規模データ処理」を見てきた - もぎゃろぐ

    KOF2008:関西オープンソース2008というイベントに来ています。 はてなの伊藤さんの講演があったので、講演メモを公開。 #ボクがメモした内容であって、100%言ったとおりに書いてあるわけじゃないので、参考としてご覧ください。 (続き) アジェンダ 大規模なデータ OSのキャッシュ MySQLの運用 大規模データアプリケーションの開発 データの例 はてなブックマークのデータ量:五千万件くらいのデータ量 このデータに対して何百万人がアクセスしてくる状況でどういう作りにするか レコード数 1073万エントリー 3134万エントリー 4143万タグ データサイズ エントリー2.5GB 何の工夫もなく普通にアクセスすると...200秒待っても結果が帰ってこない 大規模データの難しいところ 開発サーバで開発者が作っている時は快適に動いていても、多数の人間がアク

  • squid : Webコンテンツの配信を最適化する

    Squid: webコンテンツの配信を最適化する Squidは、HTTP、HTTPS、FTPなどに対応したcaching proxyです。キャッシュと、よく閲覧されるサイトの再利用により、帯域幅を減らし、レスポンス時間を向上させます。Squidには広範囲なアクセス制御機能があり、 サーバの機能を高度に向上させます。UNIXとWindowsで動作し、GNU GPL下においてライセンス許可されます。 あなたのインターネット通信を最大限に活用します Squidは、ユーザーにもっとも良いwebアクセス状態を提供するため、世界中の何百ものインターネットプロバイダに利用されています。Squid はクライアント-サーバ間のデータの流れを最適化し動作を向上させ、よく閲覧されるwebコンテンツをキャッシュすることで帯域幅の使用量を抑制します。Squidはまた、ネットワーク効率を最適化するキャッシュサーバの階

  • squid : Optimising Web Delivery

    Squid: Optimising Web Delivery Squid is a caching proxy for the Web supporting HTTP, HTTPS, FTP, and more. It reduces bandwidth and improves response times by caching and reusing frequently-requested web pages. Squid has extensive access controls and makes a great server accelerator. It runs on most available operating systems, including Windows and is licensed under the GNU GPL. Making the most o

  • 1