月間57億PV、300台のサーバを運用するミツバチワークスが編み出したインフラ技術
ミツバチワークスのエンジニアは、「月間57億PV」という巨大なトラフィックをさばくため、さまざまな技術を駆使してインフラを構築している。主と副の2本立てでデータベースを運用し、300台のサーバを使いながら「負荷の限界」に挑むエンジニアに、技術ノウハウを聞く。 ミツバチワークスが運営するケータイブログサービス「DECOLOG」は、異色のサービスである。10代後半から20代前半の女性に最も人気のあるケータイブログサービスで、「デコメール」などを利用して、かわいくカラフルなブログを作成できる。広告基準を厳しくすることで女性ユーザーにも不安なく使ってもらえるような安心感を作り出し、口コミだけでじわじわとアクセス数を伸ばしてきた。 結果、2010年7月実績で月間57億PV（ページビュー）超、想定800万UU（ユニークユーザー）、会員登録者数180万件と、ケータイブログサイトでは国内最大のサービスとし
blog.nomadscafe.jp
PHPの勉強会なので、いままでお会いしたことのない方とお話ができてよかったです。 発表内容は大きくなってしまったmaster.phpファイルをどうやって高速に読むかというお話です。PHPではリクエストの終了とともに全てのメモリを捨ててしまうので、変わらないデータもリクエストの度にキャッシュからロードしなくてはいけません。大きなphpファイルがあれば当然毎回の読み込みがオーバーヘッドとなってきます。そんな環境でどうやってアプリケーションのパフォーマンスをあげていったのかを紹介しています。 スライドの中でfile sizeを小さくする必要があると書きましたが、@hnwさんによると、VM命令が多過ぎるのが問題で、構造を簡単にしたことでVM命令が減ったのがよかったのではとのことでした。非常に参考になりました。ありがとうございました そろそろ傷が癒えてきた。。 ISUCON5の本選にメルカリのインフ
ApacheのアクセスログをMessagePack形式で出力するためのモジュールを作りました : DSAS開発者の部屋
Apacheモジュールのログ出力、こんどはMessagePack版を作成しました。続いてはこちらをご紹介します。 Apacheのアクセスログを使い、ユーザアクセスの集計やパターン解析などというのは一般にどこでもやられていることだと思います。通常のアクセスログはテキストファイルなので、集計を行うためにスクリプト上で扱える変数・オブジェクト化が必要になりますね。1行ごとの各ログ項目を取り出すのに正規表現を使ったり、cutやawkなどを使い空白で分割するなど、色々工夫されていることと思います。 今回、MessagePack版のアクセスログ出力をやってみようと思い立ったのは、アクセスログをあらかじめ構造化済みの状態で保存しておければ、読み込みの際の解析する手間を省くことで解析処理の高速化が期待できるのではないか、そう考えたためです。MessagePackであれば、PythonやRubyはじめ様々な
大規模SNS実現のためのGREEのアプローチ
大規模なサイトでは、どのようにWebアプリケーションをスケーラブルに構築しているのか。GREEのアプローチを、グリー取締役CTOにして、PHPフレームワークEthna（えすな）の開発者でもある藤本真樹氏が解説する。Webアプリケーション開発者必見だ。 はじめに Webサイト構築で面白いのは、つい先日までどう見ても小規模なユーザーベースで動作していたサイトが、瞬く間に数万人、数十万人のユーザーを抱えることになったりする*ことです。また、最初は小規模だったアプリケーションが、少しずつ改善していくうちに、大規模なアプリケーション*になることがあります。本稿では、徐々に大きくなるWebアプリケーションをスケーラブルに構築する方法を説明します。 技術はコモディティ化しているけれど Webアプリケーションの開発に携わっている方は特に実感されていることと思いますが、ここ数年Webかいわいの動きは非常に速
大規模サービスの開発と運用
ベンチャーみたいな小さなところ(?)がサービスを上げるために、どのような手順、どのような環境、どのような運用を行っていくかについてまとまってます。 こういう環境、こういう手順（ペース）で、やっていけると楽しいですね。 サーバ サーバ メリット デメリット 自社サーバ 安く、自由度が高い 面倒、場所、空調、電源、引っ越し レンタルサーバ 小規模 楽 拡張し辛い ホスティング 中規模、大規模 自由度が高く、設備が充実 高い ベンチャー流のサーバ構築 ハードウェアの場合 ハードウェアを統一する 筐体マシン エレクタに格納 マシンは背面を前面にする マジックテーブでまとめる 色違いのLANケーブル ケーブルの長さは書いておく ベンチャー流のネットワーク構成 2回線以上ひいておく DNSを内側におき、回線を自動的に切り替える グローバルにプロキシサーバを設置する ローカルには、クラスBのプライベート
【LAMPで作るソーシャルアプリの負荷対策 ～アプリとインフラの調和のテクニック～】
森本 隼 KLab株式会社 プロジェクトマネジメント部リーダー 2006年KLab株式会社にプログラマーとして入社。 自社メディア事業、SNS事業の開発リーダーを経験し、現在ソーシャルアプリ開発のPMとして活躍中。 セミナーのテーマは 【LAMPで作るソーシャルアプリの負荷対策 ～アプリとインフラの調和のテクニック～】。現在ソーシャルアプリ周りで最もホットな高負荷対策について、KLabの取り組みを紹介しました。 会場は満員御礼で立ち見もちらほら。おおよそ150人程度の方に聴講頂きました（感謝！）。 以下のとおり当日の資料を公開しました。（ソーシャルアプリに限らず）高負荷にお困りの方は必見です！ Lampで作るソーシャルアプリの負荷対策～アプリとインフラの調和のテクニック～
2010-02-16
課題は次の3つ。 サーバの設置場所に出向いて作業する必要がある 長時間の作業を強いられる 同じ作業を繰り返し人手で行うため、作業ミスが発生する可能性がある 課題の解決策として、以下の3つが挙げられる。 1. リモートからの電源投入 (IPMI) IPMI (Intelligent Platform Management Interface) という仕組みを利用する。 電源オフの状態でも操作できるが、メーカーによって異なる部分があるとのこと。 HP の場合は、BIOSで事前に専用ポートをNICに割り当てておくことで、 電源オフの状態でもリモートから SSH で操作することが出きるとのこと。 DELL の場合はどうするのかな?サポートに聞く必要あり。 2. インストーラの自動起動 (PXE) PXE (Preboot eXecution Environment) という仕組みを利用する。 PX
Linux システムの調査でよく使うコマンド - エンジニアきまぐれTips
vmstat は、CPU・メモリ・I/Oの利用状況を調べるのに用いるコマンド。 実行例 $ vmstat 1 5 procs -----------memory---------- ---swap-- -----io---- -system-- ----cpu---- r b swpd free buff cache si so bi bo in cs us sy id wa 0 0 864 45868 11164 1021700 0 0 8 36 66 144 4 1 95 0 0 0 864 45372 11164 1022112 0 0 0 8 204 639 1 1 98 0 0 0 864 45372 11164 1022340 0 0 0 0 198 605 2 0 98 0 1 0 864 45372 11164 1022412 0 0 0 0 170 586 2 1 97
個人型401kのシンプルな選び方 | ライフハッカー・ジャパン
年始のセールで19800円でPSP GOを入手して大喜びしているガジェット大好きＦＰの山崎です。SONY製HDDレコーダーから録画したアニメ（デュラララ！！とか）を電車の中で見てはちょっと得意げになっています。Bluetoothで音声ワイヤレスにするとさらに気持ちいいです。音声ケーブルがワイヤレスになるのって、いいですよ。これでダウンロードソフトがもっと安ければうれしいのですが。 さて、今回は、個人型確定拠出年金（個人型401k）を選ぶ方法を伝授します。 個人型401kは税制上のメリットが強力な（掛金は所得として非課税になるため所得税が軽減され、運用益も非課税なので全額手元に残して効率的に増やせる）、国の行う制度（国民年金基金連合会が主管）です。 国の制度ではありますが、個人型401kでは金融機関ごとに運用商品の選択肢や手数料体系を自由に決定できる仕組みとなっています。つまり、「どの金融機
ke-tai.org > Blog Archive > モバイルサイトの負荷分散に関するノウハウが多数紹介されている記事「モバゲータウンのつくりかた」
モバイルサイトの負荷分散に関するノウハウが多数紹介されている記事「モバゲータウンのつくりかた」 Tweet 2009/6/30 火曜日 matsui Posted in 記事紹介・リンク | 2 Comments » TechTargetジャパンに、モバゲータウンの負荷分散ノウハウが多数紹介されている記事、「モバゲータウンのつくりかた」が掲載されていましたのでご紹介します。 → TechTargetジャパン 「モバゲータウン」のつくりかた [techtarget.itmedia.co.jp] ご存知DeNAの運営するケータイ向けポータルサイト「モバゲータウン」は、1日のPVが6億を超える巨大サイトです。 この記事ではその膨大なアクセス量を、いかにしてさばいているかが解説されています。 モバゲーでは、比較的低価格なPCサーバ1000台で運用を行っているとのことです。 驚くのはこのサーバ群をた
「モバゲータウン」のつくりかた − TechTargetジャパン システム開発
低価格なPCサーバ1000台で1日6億PVをさばく 「モバゲータウン」（以下、モバゲー）といえば、誰しも「中高生に絶大な人気を誇る携帯サイト」という認識ぐらいはあるだろう。ゲーム、ニュースに小説、占いなどのコンテンツ、アバター（仮想キャラクター）を装ったSNSコミュニケーション、ディー・エヌ・エー（以下、DeNA）が運営するショッピングやオークションサイトなどが利用できる、携帯電話向けの総合ポータルサイトだ。 DeNAのポータル事業本部 システム部 部長、武部氏 モバゲーは2009年5月現在で会員数1419万人、月間ページビュー（PV）は約183億を誇る。つまり、1日当たり6億PVである。さぞかし大掛かりなシステムを運用しているのだろうと想像してしまうが、意外にそうではない。 DeNAポータル事業本部 システム部の部長、武部雄一氏は「モバゲーのシステムは、比較的低価格なPCサーバ機1000
とあるはてな社員の日記 - まっさらなサーバを30分で本番投入できるようにする
すこし前にはてなスターのリリースがされたのですが、サービス開始直後にありがちなことに、時々負荷で遅くなったり、アクセスしにくくなったりしてしまいました*1。これではいけない、ということで、すぐ次の日に、バックエンドのサーバを一気に10台近くまで増やして、おおむね快適に使える状態になっていると思います。この時に、新しいサーバをまっさらな状態から、だいたい30分程度で本番投入することができていました。これを、どのように実現したのかを軽く紹介したいと思います。 ちなみに、サービスの重さは、サーバ増強だけで済むものではなく、それ以降も、Javascriptが重い!とか、アプリケーションロジックで重いSQL を走らせてしまって遅いという問題は何回かありました。が、そこはインフラではなく、アプリケーションの問題で、アプリケーションの改善は、継続的に進んでいると思います。ので、今回は、インフラの話に限定
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【魚拓】「モバゲータウン」のつくりかた − TechTargetジャパン