「はてな流大規模データ処理」を見てきた - もぎゃろぐ
KOF2008：関西オープンソース2008というイベントに来ています。 はてなの伊藤さんの講演があったので、講演メモを公開。 ＃ボクがメモした内容であって、100%言ったとおりに書いてあるわけじゃないので、参考としてご覧ください。 (続き) アジェンダ 大規模なデータ OSのキャッシュ MySQLの運用 大規模データアプリケーションの開発 データの例 はてなブックマークのデータ量：五千万件くらいのデータ量 このデータに対して何百万人がアクセスしてくる状況でどういう作りにするか レコード数 1073万エントリー 3134万エントリー 4143万タグ データサイズ エントリー2.5GB 何の工夫もなく普通にアクセスすると...200秒待っても結果が帰ってこない 大規模データの難しいところ 開発サーバで開発者が作っている時は快適に動いていても、多数の人間がアク
KOF 2008 の発表資料 - naoyaのはてなダイアリー
KOF 2008 での発表資料「はてな流大規模データ処理」を以下にアップロードしました。 http://bloghackers.net/~naoya/ppt/081108huge_data.ppt 一部参考文献からの引用 (Introduction to Information Retrieval から Vector space model の図、たつをの ChangeLog から転置インデックスの図) があります。この場を借りて感謝。 環境によってはおそらくフォントの表示がいまいちだと思いますが、ご了承ください。 追記 SlideShare にアップロードしました。 081108huge_data.pptView SlideShare presentation or Upload your own. (tags: linux mysql) 追記: メモリはディスクの 150 倍について
はてな村の地図『HatenarMaps』を公開しました - kaisehのブログ
『はてな村』のアナロジーを本当に地図にできたら面白いだろうなと思って、週末を潰して作ってみました。TopHatenarが蓄積しているDBを一部活用したサービスになっています。 Blogopolis このサービスを簡単に説明すると、はてなダイアリーのユーザに、獲得ブクマ数に応じた領土面積を割り当て、さらに似た者同士の領土を隣接させるという試みです。 地図の全体を見渡すことで、はてダの大まかなトレンドを掴むこともできるし、スケールを拡大していけば個別記事に到達することもできます。さらに、Google Mapsで検索するような感覚ではてなidやキーワードを入力して地図を探索したり、「去年と今年で勢力図がどう変わったか」を調べることもできます。 HatenarMapsはTopHatenarと同様、Javaで開発しました。フレームワーク構成もTopHatenarと一緒で、Cubby+Mayaa+S2
【募集締め切りました】第一回マネタイズHacks開催と参加者募集のお知らせ : LINE Corporation ディレクターブログ
【追記その２】 こちらの参加応募受付は終了させていただきました。 ご応募いただいた方には個別にメールにてご連絡させていただきます。 【追記】 こちらの受付は 6月4日(水) 14:00まで となっております。 沢山のご応募お待ちしております。 ------------------------------------------------------- 第一回マネタイズHacks を2008 年 6月 に開催します。 日時: 2008/06/11 (wed) 18:30-20:30 （予定） 会場: 六本木ヒルズ アカデミーヒルズ(予定) 費用: 無料 主催: 株式会社ライブドア / 株式会社はてな こんにちは、櫛井です。 さらっとYAPC:Asia 2008の告知エントリを真似てみましたが、livedoor × はてな の主催で、マネタイズについての勉強会を開催いたします。 ■開催のきっ
[ 面白法人的ラボ KAYAC BM11 ] はてなファイルシステム
ローカルでファイル更新するとブログが更新されるはてなファイルシステムを開発しました！ これを使うとあなたのはてなアカウントの日記の記事をファイルとしてマウントできます。 マウントされたファイルを編集するとはてなの記事も編集されます。 同様にファイルを追加するとはてなに新しい記事が投稿され、ファイルを削除するとはてな上のエントリも削除されます。 FUSEを利用していますので動作環境もFUSEが動く環境となります。 こちらではDebian GNU/LinuxとMac OSX 10.5にて動作を確認しています。 現在まだ実験中のバージョンですので、安定動作は保障できません。ご利用の際は十分注意ください。 ダウンロード・使用方法はこちら http://coderepos.org/share/wiki/FuseHatena
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
