「はてな流大規模データ処理」を見てきた - もぎゃろぐ

KOF2008：関西オープンソース2008というイベントに来ています。 はてなの伊藤さんの講演があったので、講演メモを公開。 ＃ボクがメモした内容であって、100%言ったとおりに書いてあるわけじゃないので、参考としてご覧ください。 (続き) アジェンダ 大規模なデータ OSのキャッシュ MySQLの運用 大規模データアプリケーションの開発 データの例 はてなブックマークのデータ量：五千万件くらいのデータ量 このデータに対して何百万人がアクセスしてくる状況でどういう作りにするか レコード数 1073万エントリー 3134万エントリー 4143万タグ データサイズ エントリー2.5GB 何の工夫もなく普通にアクセスすると...200秒待っても結果が帰ってこない 大規模データの難しいところ 開発サーバで開発者が作っている時は快適に動いていても、多数の人間がアク

[raimon49]

メモリで済ます。マスターの分散は割り切る。

[miya2000]

「実は、DBは「高度なソート機能付きストレージ」として使われている^^;」

[kazuki2life]

すごくタメになる。というか、このエントリー随分さがしました。

[hmabu]

　性能

[kohedonian]

アウトラインだけでこれだけ面白いとは。

[Itisango]

とにかくメモリに載せろと。

[nomuran7]

MapReduceとかHadoopとか使ってるのかな。。

[nilab]

「はてな流大規模データ処理」を見てきた - もぎゃろぐ

[bean-jam]

具体的な技術の話はないけれど、負荷分散の観点としてメモ

[youhey]

メモリ活用が要点、やっぱ大規模データのDBは分割しちゃだめ

[y_r]

なるほど.といったってこれを読んだだけで大規模データ処理ができるようになるわけではないが.

[uguiss]

[for:tesshuuu]

[freelabell]

[for:tesshuuu]

[napsucks]

尽きるところ、いかにI/Oとうまく付き合うか、なんだよね。どんなシステムだってディスクの回転数以上の読み書きクエリは発生させることができないんだから。

[ext3]

要するにメモリ増やしゃいいんですね

[hidesuke]

　やっぱりメモリですよねー

[T-miura]

元ネタよむのがいいかも、、、ってプレゼン見ても断片なので、聴いてきた人のエントリ詳細希望～～

[adsty]

はてなが実施している大規模データ処理の中身。

[bongkura]

JOINを使わない。つかわなくても、O/Rマッパーが結構吸収してくれる。/言われてみればそうだ、もう少し意識して使おう

[guldeen]

専ブラ使って負荷が下がるのは、2chのような「即時レスを必要とする分野」では？とかオモタ。／縁の下の力持ちというか、いろいろ頑張ってるね。安易なネット批判をする人たちにこそ、知ってほしい“場所”。

[ite]

参考にあげられてる文献は読みたい。

[mangakoji]

おもしろそう

[kazz7]

いいまとめ。おつかれさまです。

[mk16]

はてブの重さを解決するには右記のいずれかの方法しか残されてないのかも 1.専用ブラウザ限定アクセス 2.専用プラグイン導入ブラウザ限定アクセス 3.専用アドオン(もしくはGreasemonkeyスクリプト)導入firefox限定アクセス

[sankaseki]

「はてな流大規模データ処理」を見てきた - もぎゃろぐ

[vierger]

ISTM that it's not difficult to scale the system which has a little update.

[Aoba]

いつか悩みたい。

[akiyan]

うれしいメモ。

[rhosoi]

見事なバッドノウハウの山（もちろんええ意味で）。mysqlでパーティショニングしてJOINなしなんて、いかにもプロã