「はてな流大規模データ処理」を見てきた - もぎゃろぐ
KOF2008：関西オープンソース2008というイベントに来ています。 はてなの伊藤さんの講演があったので、講演メモを公開。 ＃ボクがメモした内容であって、100%言ったとおりに書いてあるわけじゃないので、参考としてご覧ください。 (続き) アジェンダ 大規模なデータ OSのキャッシュ MySQLの運用 大規模データアプリケーションの開発 データの例 はてなブックマークのデータ量：五千万件くらいのデータ量 このデータに対して何百万人がアクセスしてくる状況でどういう作りにするか レコード数 1073万エントリー 3134万エントリー 4143万タグ データサイズ エントリー2.5GB 何の工夫もなく普通にアクセスすると...200秒待っても結果が帰ってこない 大規模データの難しいところ 開発サーバで開発者が作っている時は快適に動いていても、多数の人間がアク
安いサーバーを使って台数を増やせば済むように作るほうが技術的に難しいのだけど、単純な数の大小で考える素人は多いんだな - otsune風呂
（まず前提として、最近のはてなの障害の多さは負荷分散がアンバランスになっている（いた）証拠なので、それによって誤解してしまうのも仕方が無いかなぁとは思う。g:naoyaに独り言のようにどういうアンバランスな現象が起きていたのかは書いてあるけど、それを知らない人の方が多いだろうし。追記 http://d.hatena.ne.jp/naoya/20061020/1161314770に細かい追加説明が書いてあった。） はてなのサーバ台数は2chの5倍 : ひろゆき＠オープンSNSで。 2chの運営板をウォッチしている限りだと、MySQLで.datの負荷分散だとか、そういう技術的な対策はすすんでいない。 まぁ2chはアメリカのデータセンターでラックを借りているので、安いシングルCPUの自作パソコンをたくさん並べるよりも、高性能なOpteron Dual 1台をFreeBSD/amd64でぶん回すと
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
