KOF 2008 での発表資料「はてな流大規模データ処理」を以下にアップロードしました。 http://bloghackers.net/~naoya/ppt/081108huge_data.ppt 一部参考文献からの引用 (Introduction to Information Retrieval から Vector space model の図、たつをの ChangeLog から転置インデックスの図) があります。この場を借りて感謝。 環境によってはおそらくフォントの表示がいまいちだと思いますが、ご了承ください。 追記 SlideShare にアップロードしました。 081108huge_data.pptView SlideShare presentation or Upload your own. (tags: linux mysql) 追記: メモリはディスクの 150 倍について
jboss.org: community driven JBoss Web ProjectおよびJBoss AS Clustering Projectから興味深いプロジェクトが発表された。その名もmod_clusterだ。現在のところ1.0.0.Beta1が公開されている。名前のとおりApache HTTP Serverで動作するモジュールで、背後で動作するTomcatやJBoss Web、JBoss ASなどのアプリケーションサーバへのコネクションを担当する。ロードバランシングの機能とプロクシの機能を備え、mod_jkとmod_proxyの双方の機能をもったような仕組みになっている。 mod_jkやmod_proxyとの大きな違いは、アプリケーションサーバからHTTPサーバへのバック通信をサポートしているところにある。HTTPメソッドでアプリケーションサーバからmod_clusterモジ
「FlickrDown」は、“Flickr”からユーザー・セット・タグ単位で画像を一括ダウンロードできるソフト。Windowsに対応する寄付歓迎のフリーソフトで、編集部にてWindows Vistaで動作を確認した。作者のWebサイトからダウンロードできる。なお、動作には.NET Framework 2.0が必要。 画像共有サイト“Flickr”には、世界中から素晴らしい画像が日々投稿されている。投稿された大量の画像は眺めているだけでも楽しいが、その中には二次利用が許諾されている画像もあるので、素材としても魅力的。しかし、大量の画像を一括でダウンロードする手段は用意されていないうえ、画像1枚をダウンロードするのも手順が多くて面倒だ。 そこで本ソフトを利用すれば、お気に入りのユーザーの写真や、気になるキーワードに関連する画像を、フルサイズで手軽に一括ダウンロードできる。また、過去に自分が“F
■ 本当はもっと怖いGoogleマイマップ 適当に検索して見つけたブログで(既に消えているようだが)こんな発言があったようだ。 Googleマップで他人の個人情報を晒したことに気づいてあわてている人のニュースが、最近、盛んだ。 いったいどうしてこんなことになってしまうのか、私には不思議でならない。 私もマイマップはよく使っているので、公開・非公開の違いは注意深くチェック ... Googleマップに他人の個人情報を掲載する愚か者と、ここぞとばかりに ..., オリマー, 2008年11月8日 しかしどうだろう。Googleマイマップを「よく使っている」という人でも、自分が作成するマップがいつどの時点で公開状態となるのか(パブリッシュされるのか)、そのタイミングを理解している人はどれだけいるだろうか。 Googleマイマップの「新しい地図を作成」をクリックした直後はこうなっている。
KOF2008:関西オープンソース2008というイベントに来ています。 はてなの伊藤さんの講演があったので、講演メモを公開。 #ボクがメモした内容であって、100%言ったとおりに書いてあるわけじゃないので、参考としてご覧ください。 (続き) アジェンダ 大規模なデータ OSのキャッシュ MySQLの運用 大規模データアプリケーションの開発 データの例 はてなブックマークのデータ量:五千万件くらいのデータ量 このデータに対して何百万人がアクセスしてくる状況でどういう作りにするか レコード数 1073万エントリー 3134万エントリー 4143万タグ データサイズ エントリー2.5GB 何の工夫もなく普通にアクセスすると...200秒待っても結果が帰ってこない 大規模データの難しいところ 開発サーバで開発者が作っている時は快適に動いていても、多数の人間がアク
アメーバブログ(アメブロ)はサイバーエージェントが運営する無料のブログサービスである。同社のデータベースチームは急激に増加し続けるアクセスに対応し、パフォーマンスを維持するために、データベースの改善を続けてきたという。その経緯と現状が、MySQL ユーザコンファレンス 2008の場で紹介された。 アメブロにおけるデータベース改善の歴史 サービスを開始した2006年9月時点では、Active-Standby構成のOracle 10g 2台のみで、MySQLは使用していなかった。これで4億PV(ページビュー)を支えていたという。 その後、アクセスの増加に伴ってハードウェアを拡充し、現在はOracle 10g RAC 4台(Active3台-Standby1台)構成になり、MySQLはマスターに1台、スレイブに41台を導入しているとのこと。 このシステムは2006年10月からMySQLを導入し、
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く