[B! DB][hatena] agwのブックマーク

はてなダイアリーの高速化の裏側 - stanaka's blog

先週、ダイアリーがリニューアルされました。今回のリニューアルはダイアリーの応答時間の改善が目玉の一つとなっており、そのために１週間リリースを延ばし、改善の時間を確保していました。今回は、この改善について記しておきます。はてなでは「推測するな、計測せよ」の原則にしたがって、ダイアリーのユーザーページの全アクセスの応答時間を解析し、ヒストグラムを作っています。また、特定の閾値(1秒、2秒とか)以内に何%のリクエストを返却できている割合をグラフ化しています。このグラフを見ると、応答時間時間は時間とともに劣化することが一目瞭然です。実際に今年初めの値と比較すると10%〜20%程度の悪化が確認されました。あとは、これをひたすら改善していくのみです。今回実施した主な対策は、以下の通りです。ネットワークパケットロスが発生しているようなトラフィック経路上のボトルネックの解消(L2スイッチの置換、物

agw 2010/06/21

リンク

「はてな流大規模データ処理」を見てきた - もぎゃろぐ

KOF2008：関西オープンソース2008というイベントに来ています。はてなの伊藤さんの講演があったので、講演メモを公開。＃ボクがメモした内容であって、100%言ったとおりに書いてあるわけじゃないので、参考としてご覧ください。 (続き) アジェンダ大規模なデータ OSのキャッシュ MySQLの運用大規模データアプリケーションの開発データの例はてなブックマークのデータ量：五千万件くらいのデータ量このデータに対して何百万人がアクセスしてくる状況でどういう作りにするかレコード数 1073万エントリー 3134万エントリー 4143万タグデータサイズエントリー2.5GB 何の工夫もなく普通にアクセスすると...200秒待っても結果が帰ってこない大規模データの難しいところ開発サーバで開発者が作っている時は快適に動いていても、多数の人間がアク

agw 2008/11/20

リンク

KOF 2008 の発表資料 - naoyaのはてなダイアリー

KOF 2008 での発表資料「はてな流大規模データ処理」を以下にアップロードしました。 http://bloghackers.net/~naoya/ppt/081108huge_data.ppt 一部参考文献からの引用 (Introduction to Information Retrieval から Vector space model の図、たつをの ChangeLog から転置インデックスの図) があります。この場を借りて感謝。環境によってはおそらくフォントの表示がいまいちだと思いますが、ご了承ください。追記 SlideShare にアップロードしました。 081108huge_data.pptView SlideShare presentation or Upload your own. (tags: linux mysql) 追記: メモリはディスクの 150 倍について

agw 2008/11/20

リンク

CodeZine にて KOF 2008 の記事と補足 - naoyaのはてなダイアリー

大阪南港ATCで開催された「関西オープンソース2008」の2日目（11月8日）午前中のセッションで、株式会社はてなCTOの伊藤直也氏が「はてな流大規模データ処理」と題した発表を行った。 CodeZine で先日の KOF 2008 (あらかじめ言っておきますが King of Fighters ではないですよ、関西オープンフォーラムです) の発表を記事にしていただきました。ありがとうございます。発表資料は以下のエントリーにありますので一緒にご覧いただければと思います。 http://d.hatena.ne.jp/naoya/20081111/1226395400 さて、記事内容について少し補足をしておきたいと思います。メモリとディスクの速度比較について「メモリはディスクの 150 倍」という話ですが、その後知人と話して検索のインデックスをシークする場合などは ms 対 ns くらい違