KOF 2008での「はてな流大規模データ処理」by id:naoyaさんの発表に関して質問したときのメモ - ekurodaの日記
KOF 2008 の発表資料 - naoyaのはてなダイアリー こちらの発表に関して、後日質問した時のメモ。 全文検索のインデックス生成等の為、MySQLのデータをバッチ処理でdumpしている、という点について。 データが多く、dump処理からして重い/時間が掛かるのでは? そこまで即時性を求めないので、10日とか用途毎に適当な間隔で。 パーティショニングされたテーブルなら、各パーティションそれぞれ担当分のdumpとなり軽くなる。 また、master-master構成で片方をユーザーのアクセス用、もう片方を完全にバッチ用にしたり。 はてなは殆どMyISAM。テーブルロックになるのでユーザーの利用でアクセスするマシンでdumpすると、その間のレスポンスがえらいことに。 ちなみにMyISAMって結構よく壊れて、気付いたら滅茶苦茶リソース食って暴走してたりする。 でもファイルコピペするだけで他の
東西ビックネームが勢ぞろい、「関西オープンソース2008＋関西コミュニティ大決戦」開催
大阪を中心としたオープンソース系コミュニティの総合カンファレンス「関西オープンソース2008＋関西コミュニティ大決戦」（主催：関西オープンフォーラム）が、11月7日、8日の2日間にわたり大阪南港ATC ITMを会場に、「関西Ruby会議01」を併設イベントとして開催された。 大阪を中心としたオープンソース系コミュニティの総合カンファレンス「関西オープンソース2008＋関西コミュニティ大決戦」（主催：関西オープンフォーラム）が、11月7日、8日の2日間にわたり大阪南港ATC ITMを会場に、「関西Ruby会議01」を併設イベントとして開催された。 オープンソースによる地域振興の先駆け、ボランティアベースで7年続くOSS系カンファレンス 関西オープンソースは「オープンソースならびにコミュニティが、関西で元気に交流できる場」として、2002年から毎年秋ごろ開催されている。コミュニティや学術関係者
KOF 2008 の発表資料 - naoyaのはてなダイアリー
KOF 2008 での発表資料「はてな流大規模データ処理」を以下にアップロードしました。 http://bloghackers.net/~naoya/ppt/081108huge_data.ppt 一部参考文献からの引用 (Introduction to Information Retrieval から Vector space model の図、たつをの ChangeLog から転置インデックスの図) があります。この場を借りて感謝。 環境によってはおそらくフォントの表示がいまいちだと思いますが、ご了承ください。 追記 SlideShare にアップロードしました。 081108huge_data.pptView SlideShare presentation or Upload your own. (tags: linux mysql) 追記: メモリはディスクの 150 倍について
「はてな流大規模データ処理」を見てきた - もぎゃろぐ
KOF2008：関西オープンソース2008というイベントに来ています。 はてなの伊藤さんの講演があったので、講演メモを公開。 ＃ボクがメモした内容であって、100%言ったとおりに書いてあるわけじゃないので、参考としてご覧ください。 (続き) アジェンダ 大規模なデータ OSのキャッシュ MySQLの運用 大規模データアプリケーションの開発 データの例 はてなブックマークのデータ量：五千万件くらいのデータ量 このデータに対して何百万人がアクセスしてくる状況でどういう作りにするか レコード数 1073万エントリー 3134万エントリー 4143万タグ データサイズ エントリー2.5GB 何の工夫もなく普通にアクセスすると...200秒待っても結果が帰ってこない 大規模データの難しいところ 開発サーバで開発者が作っている時は快適に動いていても、多数の人間がアク
KOF2008：関西コミュニティ大決戦やってます
PCだい「ちゅき」 気がつけば庶事手伝い 目次 ホーム 連絡をする RSS Login Blog 利用状況 投稿数 - 313 記事 - 0 コメント - 25534 トラックバック - 61 ニュース ・H24/01/02 Microsoft MVPを受賞しました ・H23/11/18 MCTの憂鬱さんと相互リンクを張っていただきました^^ ・H23/09/10 プログラミング生放送でスピーカーさせていただきました^^ ・H22/12/18 わんくま同盟でスピーカしました^^ さて、来年はどんな年になるかな。予想が当たるといいなぁ。 ・H22/07/17 わんくま同盟でスピーカしました^^ 技術系のセッションは久しぶり。VB! VB! ・H22/03/13 Tech FieldersでLTのスピーカしました^^ ・H21/12/12 わんくま同盟でスピーカしました^^ 最近はずっとLT担
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
烈しく敗北 - 頑屈王国ネオ
