Makuosan - KLablabWiki
概要 MAKUOSAN (Multicasts All-Kinds of Updating Operation for Servers on Administered Network) makuosan（まくおさん：通称「まくお」）は、複数のサーバへ同時にファイルを転送するソフトウエアです。 以下のような特徴があります。 サーバが増えても転送時間が変わらない サーバが増えても、転送にかかる時間はほとんどかわりません。10台のサーバに転送しても、20台のサーバに転送しても、ほとんど同じ時間で完了します。ただし、転送時間は一番応答が遅いサーバの性能に引っ張られるので、同程度のスペックのサーバで構築された環境で利用することが望ましいです。 すべてのサーバで同時にファイルが更新される マルチキャストを使って全サーバへ同時にファイルを転送するため、「このサーバのファイルは更新されてるけど、あのサ
私がクックパッドの画像配信野郎です - 昼メシ物語
一年ほど前にヤフーを退職した私ですが、その後なにをやっているかというと、クックパッドに入社して画像配信をしています。私が入社する前から動いていた画像配信の仕組みは設計が古くてなにかと困っていたので、より良いシステムを開発してリプレースというのをやっています。前職ではなかなかこういう基盤システムを一人でイチから作って運用までするという体験はできなかったので、でかい仕事をできるチャンスに恵まれて大変充実した毎日です。 入社当初はサービス開発の担当だったんですが、開発に必要な基盤システムを作り始めたらどんどんエンジニアリングのレイヤーが下がってきて、気づけばインフラチームに所属していました。 まあそんな話はさておき、この画像配信関連の成果をいくつかの勉強会で発表したので、その資料を紹介します。 サイバーエージェントxクックパッド合同勉強会（amepad） 弊社オフィスで開催された、サイバーエージ
nginx+php-fpmをyumでインストールして、WordPress/CakePHPを動かす設定
Home > PHP | Web+DB > nginx+php-fpmをyumでインストールして、WordPress/CakePHPを動かす設定 www.1×1.jpの環境をApache+mod_phpな環境から、nginx+php-fpmな環境へ移行しました。 さくらVPSのCentOS5.5環境にnginx+php-fpmをyumでインストールして、CakePHPとWordPressを動かす設定を行いました。 このエントリでは導入ということで、インストールから、とりあえず動作するところまでをご紹介します。 0. 構成 nginx+php-fpm環境にCakePHPとWordPressをインストールします。 それぞれ以下のURLでアクセスできるようにします。 http://www.1×1.jp/ -> CakePHP http://www.1×1.jp/blog/ -> WordPres
3000req / sec と戦う - だるろぐ
ざっくり概要 ピークで3000req / sec 毎分コンテンツ更新要求 コンテンツ更新の際は他所からデータをapi経由で受け取る コンテンツ更新にはTheSchwartzを使用 なコンテンツを色々してきたログ。 尚、ここに書く技術は大半が周囲のギークな方々にサポートしてもらったもので、僕自身が何かしたわけではない。残念すぎる。 構成 internet -> www(squid -> apache) -> app(memcached -> app) -> db フロントエンド wwwサーバがapacheとsquidを動かしている。apacheがリクエストを受け、squidのキャッシュが有ればそれを返し、無ければバックエンドのappサーバへproxy。 バックエンド appサーバがmemcachedとアプリを動かしている。 それぞれ冗長化してるけど、リクエスト数の割に台数は少ない。 技術があ
WordPressを100倍速くする！ MySQLの調整やnginx proxy cache | KRAY Inc
[追記１] 最後で説明しているproxy cacheの設定を修正しました。 [追記２] nginx proxy cacheでキャッシュしない場合の処理を変更しました。 [追記３] スマートフォンや携帯で閲覧した時にキャッシュしない設定を追加しました。 はじめに 大げさな題名ですが、今回はWordPress単体を速くするのではなく、データベースやWebサーバなどの調整、またnginxのproxy cache機能を使って速くする話になります。 サイトの構成によっては、proxy cacheは使えないかもしれませんが、使わなくても5倍程度速くすることはできましたので、参考にしていただければと思います。 今回行うチューニング一覧 DBを最適化するプラグインを導入する APCを導入してPHPを速くする MySQLを速くする 重いWordPressプラグインを外す nginx+FastCGIにする W
WordPress サイトに nginx を導入する - dogmap.jp
WordPress サイトにリバースプロキシサーバとして nginx を導入する際の tips。 nginx (エンジンエックス)とは、オープンソースの軽量高性能なHTTPサーバ且つリバースプロキシです。 従来の HTTP サーバのようにリクエストの処理をスレッドで行わず、非同期のアーキテクチャーを用いるイベントループモデルのサーバです、 そのため、多数のリクエストが着た場合に実行スタックをコピーする必要があるスレッドモデルのサーバと違い、1プロセスでリクエストを処理できるため、メモリ消費量が極端に少なくてすむという利点があります。 # 話題の node.js もイベントループモデルですね。 さて、そんな nginx を WordPress サイトに導入する際の tips です。 CentOS, RHEL に最新の nginx をインストールする CentOS, RHEL に nginx
ke-tai.org > Blog Archive > ケータイ大規模サービスの開発・運用に関する資料のまとめ
ケータイ大規模サービスの開発・運用に関する資料のまとめ Tweet 2009/2/18 水曜日 matsui Posted in 記事紹介・リンク | 5 Comments » 先月末に「満足せる豚。眠たげなポチ。大規模サービスの運用事例まとめ」という大変素晴らしいブログエントリーがあり、ブックマークしていたのですが、なかなか時間を作れずに目を通せずにいました。 本日読んでみると、とてもためになる情報が多かったため、まとめのまとめという形ですが、資料の中からケータイ関係の事例を抽出して、簡単にコメントをつけてみました。 まず、大元の記事はこちらです。 → 満足せる豚。眠たげなポチ。 大規模サービスの運用事例まとめ [blog.hacklife.net] → 満足せる豚。眠たげなポチ。 「大規模サービスの運用事例まとめ」に補記 [blog.hacklife.net] → livedoor 開
Short-term Edge Cache (フロントサーバでの一時キャッシュ) - blog.nomadscafe.jp
3日間で去年一年間分の花粉が悲惨したようです。元気です。 「HTTPコンテンツ圧縮はどのレイヤーで行うのがいいか」で書いたあたりと問題は共通しているのですが、大規模サイトの運用で最近割とボトルネックとなりやすいのはラック-集約スチッチ間のトラフィックです。1台あたりの性能が飛躍的に向上し、画像転送では100Mbps〜300Mbps、それ以上ぐらいは楽に吐き出すようになっているので、ラックスイッチの1Gbpsのuplinkではすぐに詰まってしまいます。この対策として、高トラフィックのサーバを分散配置したり、link aggregationにて2Gbps-4Gbpsに増速したり、あるいは10Gの導入を検討すると思いますが、それには手間もお金もかかるので、まずはトラフィックを減らせないか考えるわけです。 そこで最近、2カ所ほどでとった方法が、フロントのReverse Proxyで短時間、キャッシ
livedoor Techブログ : livedoor Blog モバイルのサーバ構成
こんにちは、栗原です。 今回はlivedoor Blog モバイルのサーバ構成についてご紹介しようと思います。 日本でも最大規模のブログサービスのモバイルサイトがどのようなサーバ構成で稼動しているのか、またその構成を構築していく上で苦労した点や今後どのようにして行こうと考えているかについても説明できたらと思います。 サーバ構成 まずは現在のlivedoor Blog モバイルの内部構成について簡単に説明したいと思います。 livedoor Blog モバイルでは、大きく分けて5種類のサーバ群が稼動しています。 リバースプロキシ + アプリケーションサーバ ユーザが携帯からブログを閲覧した際にページを生成してレスポンスを返すサーバ群になります。現状はApache(リバースプロキシ)とApache + mod_perl(アプリケーション)を1台のサーバに同居させた形で稼動しており、台数は全部で
画像配信の負荷分散も比較的簡単？（その1） - 最速配信研究会(@yamaz)
30万個ぐらいの静的ファイルを配信するサーバーの選び方 で静的な配信サーバに関することが述べられている. naoyaさんが公開されてるInside Hatena Bookmark's Backend の資料などを読むと、mod_perlなサーバーやMySQLサーバーの選び方の参考になったりするわけですが、世の中を見渡してみても、静的コンテンツ（画像とか）を配信するサーバーの指南書らしきものはなかなか見あたりませんでした。 なので、経験を元に書いてみることにします。 ということらしい.書いてあることはすべて同意だけど, つい3ヶ月くらい前まで 平均15k×1万URL×50億httpアクセス/day 平均4KByte×100万URL×3億HTTPアクセス/day な画像サーバと某所で向き合ってたため,ちょっとは役に立てるかもしれないと思ったので,私の経験を書いてみようと思う. 動画配信の負荷分
最速最安WEB画像サーバ構築術 - nginx + ServersMan - 新・浅く広くをモットーに | 一人WEBサービス屋メモ
15:59 | 先日、運営しているサイトcocoの画像サーバを構築しました。昨今はVPSが500円程度で借りられる様になり、一人WEBサービス屋には本当にいい時代になりました。今回、選定対象にしたのは、以下3つの業者です。ServersMan（初期0円 / 月額490円 / メモリ256M / HDD 10G）S@@Ses（初期3000円 / 月額450円 / メモリ512M / HDD 50G）SAKURA Internet（初期0円 / 月額980円 / メモリ512M / HDD 20G）料金やスペックについて、2010/12/19時点のものを記載しました。キャンペーン適用や保障スペックなど細かい注意点がありますので、詳しくは各社サイトでご確認下さい。シミュレーション処理数値目標は、月間1億アクセスとしました。これは、1ページ当たり50画像掲載だったとすると、200万PV。ブラウザキ
Pinterest のスケール
V 先生から教えて頂いたので、Instagram 同様 Django/AWS 構成の Pinterest のスケールをメモ。Pinterest はいつものアカウント名が初めて 先取 されたサービスなので、今後使わないと思います。 本題に入る前に、Python には The Zen of Python (日本語) という思想があります。私はこの思想を Python でのプログラミングだけでなく、インフラの構築の際も意識するように心がけています。"Simple is better than complex" です。Instagram や Pinterest のスケールを見て、この思想がもっと好きになりました。 Instagram はよりシンプルなインフラに更改していくことで、ただスケールするだけでなく、運用や変更のコストも最小限になるように最適化していると思います。結果的に Android ア
Building a Website to Scale to 100 Million Page Views Per Day and Beyond (open to the public) - ConFoo 2012 - Joind.in
Building a Website to Scale to 100 Million Page Views Per Day and Beyond (open to the public) Comments Comments are closed. This would have been a perfect session talk. The topic was interesting as was the content. The speaker could use quite a bit more practice at public speaking. I think some more visual slides (no, not implying the porn), showing how the caching and traffic is actually routed a
CentOS で行なっておきたいセキュリティ設定: ある SE のつぶやき
はじめに Linux のセキュリティ設定ってなかなかまとまったものがないので、いろんなサイトを参考にしながら設定をまとめてみました。想定はWeb サーバーで、使用している Linux は CentOS 6.2 です。 設定内容は以下のようになります。 全パッケージのアップデート リモートからの root ログインを無効にする 公開鍵暗号方式を使用した SSH ログイン設定 iptables 設定 SSH ポート番号の変更 不要なサービスを停止 ログ監視設定 ファイル改ざん検知ツール設定 ウィルス対策ソフト設定 Apache の設定 全パッケージのアップデート 最初に以下のコマンドを実行して、全パッケージを最新の状態にする。 # yum –y update 後は脆弱性が発見された時、または定期的にパッケージのアップデートを行う。 リモートからの root ログインを無効にする リモートからメ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
vmstat コマンドの読み方 (やっぱり Sun がスキ！)
AndroidのNFC機能でFeliCaの読み書きをする | −ゆめログ− | ゆめみスタッフブログ
Linode Documentation
Monitoring Application Level Health
Server World - ネットワークサーバー構築
Av-jyo.com