開発メモ: もし自営業の男子プログラマがKVSで「ブログサービス」を書いたら
Webサービスの典型例でありCMSの典型例であるブログサービス。それを実装するための指針が示せれば、その他のサービスを開発する際にも大いに参考になることだろう。 データ構造 単純なブログサービスのデータノードとしてKyoto Tycoonのサーバ群を用いることを想定する。ブログの個々の記事は以下の属性を持つものとする。 著者のユーザID（uint32） 投稿日時（uint32） 題名（text） 本文（text） コメントリスト（シーケンス） 各コメントは、コメントした人のユーザIDと本文からなる データノードに対する問い合わせは、「あるユーザの最新記事を降順で5件くれ」というのが典型である。「降順で」という順序に対する要求があるのでB+木を選択し、連想配列のキーは、ユーザIDと投稿日時を連結したものとする。単純化のために、各々を10桁の10進数文字列をコロンで区切って並べて、全体で21バ
TwitterとDiggがNoSQLの「Cassandra」を選ぶ理由
スケーラブルなデータベースを実現する手段として「Sharding MySQL plus memcached」がよく知られる方法だとは、1つ前の記事「MySQL+Memcachedの時代は過ぎ、これからはNoSQLなのか、についての議論」で紹介しました。 ちなみに「Sharding」（シャーディング）とは複数のデータベースにデータを分散して運用することで、ざっくりいえばShared Nothing的な分散データベース構成のことです（この記事で紹介する英文中には「Shared MySQL」（共有MySQL）との記述がありますが、これは恐らく「Sharded MySQL」（ShardされたMySQL）のミススペルではないと推測します）。 日本で（たぶん）もっともMySQLについて詳しく解説してあるブログ「漢(オトコ)のコンピュータ道」のエントリ「さらにMySQLを高速化する7つの方法」では、Sh
kumofsはなぜスケールするか - Blog by Sadayuki Furuhashi
先日、分散Key-valueストア kumofs を公開しました。 多く方から反響とフィードバックをいただいています。ありがとうございます。 今回は、kumofs はなぜスケールするのか、なぜスケールすると言えるのかーということについて紹介したいと思います。 ところでスケーラビリティとは何か？ スケーラビリティとは、利用者や仕事の増大に適応できる能力・度合い とされています（端的！）*1 。Scalability を日本語にすると、拡張性 と訳されるようです。 ただ一口でスケーラビリティと言っても、様々な側面があります。ITシステムでは主には処理性能と運用に関することを指す場合が多いと思いますが*2、その中にも様々な側面があります。 なぜスケーラビリティが必要か スケーラビリティは システムなどが持つべき望ましい特性 であって、高いに越したことはありません。しかし、高いスケーラビリティはタ
MySQL Clusterが苦手とするJOINを如何にして克服するべきか。
シェアードナッシング型の負荷分散機能を持ち、なおかつ同期レプリケーションによるHA機能まで備えたMySQL Cluster最大の弱点といえば、JOINの遅さであろう。MySQL ClusterのJOINは偽りなく遅い。JOINを多用するアプリケーションでMySQL Clusterを利用するのはある意味マゾヒスティックな行為であると言えよう。何故MySQL ClusterはJOINが遅いのか？それはMySQL Clusterが分散データベースだからである。 ご存じの通り、MySQLにおけるJOINのアルゴリズムにはNested Loopしかない。他のストレージエンジンを利用していればそれでも十分実用に耐えうるぐらい高速なのだが、MySQL Clusterの場合はそうはいかない。JOINでは自ずとストレージエンジンからデータをフェッチする回数が増えるが、MySQL Clusterの場合レコード
Hadoopの最新動向を「Hadoop World:NY 2009」の資料から（前編）
Hadoopは、グーグルが大規模分散システムのために用いているMapReduceという技術を、オープンソースとして実現するために開発されたJavaベースのソフトウェアです。開発が始まったのは2005年頃で、当時Yahoo!に所属し現在はClouderaに所属するDoug Cutting氏が中心となって進めてきました。 Hadoopが実現するMapReduce処理とは、簡単にいえば大量のデータを小さく分割して多数のノードに割り当て（Map処理）、各ノードで処理を行ったらそれを集約して結果を出す（Reduce処理）、という分散処理の方法です。数テラバイトにもおよぶ大容量のデータを高速かつ低コストに分散処理する方法として注目を集めています。 ニューヨークでHadoop Worldが開催される そのHadoopのカンファレンス「Hadoop World：NY 2009」が10月2日にニューヨークで
Designs, Lessons and Advice from Building Large Distributed Systems
Designs, Lessons and Advice from Building Large Distributed Systems Jeff Dean Google Fellow jeff@google.com Computing shifting to really small and really big devices UI-centric devices Large consolidated computing farms Google’s data center at The Dalles, OR The Machinery Servers • CPUs • DRAM • Disks Racks • 40-80 servers • Ethernet switch Clusters Architectural view of the storage hierarchy … P
Willkommen auf monoceres.uberspace.de!
Willkommen auf monoceres.uberspace.de! Welcome on monoceres.uberspace.de! Diese Domain kennen wir leider nicht. Sadly, we do not have this domain in our records. Sollte sie dir gehören, kannst du die Domain, wie im Manual beschrieben, auf deinen Uberspace aufschalten. In case it is yours, take a look at the manual to add it to your account.
PowerPoint Presentation
ドキュメント指向データベース CouchDB 株式会社リコー グループ技術開発本部 山本陽平 諸君、私は CouchDB が好きだ 3 • 諸君、私は CouchDB が好きだ • 諸君、私は CouchDB が好きだ • 諸君、私は CouchDB が大好きだ 4 アンケート • CouchDBを知っている • CouchDBをインストールした • CouchDBを使ってみた • CouchDBのソースを読んだ • CouchDBを作っている(コミッタだ) 5 • ドキュメント指向が好きだ • Erlangが好きだ • スキーマレスが好きだ • Map/Reduceが好きだ • 半構造データが好きだ 6 CouchDB のリソース • データベース – http://couchdb:5984/{db_name} – 0個以上のドキュメントを格納 – 実体は .couch ファ
Key Value Store勉強会に行ってきました by kumofsのひと - Blog by Sadayuki Furuhashi
※分散Key-Valueストア「kumofs」を公開しました！ 先日開催されたKey Value Store勉強会に行ってきました。私の発表資料は↓ここからダウンロードできます。 kvs-kumofs.pdf 合わせて読むと理解が深まるかもしれない： スマートな分散で快適キャッシュライフ - mixi Engineer's Blog：Consistent Hashについて バイナリシリアライズ形式「MessagePack」：kumofsのプロトコル。高速なストリームバッファとストリームデシリアライザの実装も含まれています。 Protocol Buffersは遅い：MessagePackのベンチマークとProtocol Buffersとの比較。タイトルは釣り。 memstored：IOアーキテクチャのプロトタイピング マルチコア時代の高並列性IOアーキテクチャ Wavy memcached
満足せる豚。眠たげなポチ。:大規模サービスの運用事例まとめ
ここ数年の大規模サービスのシステム運用について調べてみたので参照したページやファイル、本へのリンクをまとめておく。PDF へのリンクも多数含まれているのでご注意を。 時代が時代なら企業のノウハウとして隠されていたような情報がこれだけ公開してもらえているというのが非常にありがたい。公開してくれている各企業や公開してくれている人に感謝。 あとで気付いたが、Google や Facebook の事例も探しておけばよかった。Thrift とかあったのに。「こんな情報もあったよ」などあればぜひ教えてください。追記していきます。 youtube http://d.hatena.ne.jp/stanaka/20070427/1177651323 digg http://d.hatena.ne.jp/stanaka/20070427/1177651323 livedoor http://labs.cybo
たけまる / Amazon's Dynamo is awesome!
_ Amazon's Dynamo is awesome! [dynamo][distributed][amazon] Amazon の Werner Vogels が発表した Dynamo の論文を (いまさら) 読ん でみたら，いたく感動しました．日本語で全体像を解説したページはない ようなので，簡単にですが紹介します． Dynamo について詳しく知りたい方は，論文を読んだときのメモ書き dynamo-memo.txt を置いておくので，参考にし てください． # いつもと違う話題だけど，じつはこっちのが本職っぽい [2007-08-30-1] Dynamo というのは，Amazon の膨大なデータを扱う分散 DBM のことで， 毎秒 500 リクエストに対して，99.9% を 300ms 以内にレスポンスするよ うに設計されている．その化け物のようなシステムの概要を紹介する． 一般
ricollab Web Tech Blog » Blog Archive » CouchDB について Erlang 分散システム勉強会で紹介してきました
先日、Erlang分散システム勉強会で、最近私が追っている CouchDB というオープンソースのドキュメント指向分散データベースについて紹介してきました。発表資料をおいておきます。 ドキュメント指向データベース CouchDB(PDF) 分散システムでしかも Erlang というニッチっぽい勉強会でしたが、30人の参加者が一瞬で集まり、非常に熱い会でした。私も自分の好きな話を好きなように話してしまい、参加者のみなさんはドン引きだったかもしれません… これだけでは何なので、ついでに手元の Fedora7 on coLinux に CouchDB の trunk を入れたときの手順と、簡単な couchdb の使い方をご紹介しておきます。 基本的にはオフィシャルwikiにあるとおり、yum でモジュールを入れていけば問題ありません。素の coLinux からの場合、以下のモジュールが必要でし
ConsistentHashing - コンシステント・ハッシュ法
ConsistentHashing - コンシステント・ハッシュ法 目次 この文書について コンシステント・ハッシュ法 実例 実装 用途 コンシステント・ハッシュ法 この文書について "Tom White's Blog: Consistent Hashing" の日本語訳です. http://weblogs.java.net/blog/tomwhite/archive/2007/11/consistent_hash.html 推敲歓迎: 誤訳, タイポ, 訳語の不統一, そのほか... 原文のライセンス: http://creativecommons.org/licenses/by-nc-sa/2.0/ 私は今までに何度かコンシステント・ハッシュ法にとりくんだことがある。 このアイデアをあらわした論文 ( David Karger らによる Consistent Hashing and R
たけまる / Erlang 分散システム勉強会 終わりました
_ Erlang 分散システム勉強会 終わりました [erlang][kai][dynamo] たくさんのご参加ありがとうございました．お陰様で，盛況のうちに終わ ることができました． 家が遠くて早く帰らなければならなかったので，懇親会のときに全員に挨 拶できなかったのが心残りです＞＜ lyokato さんには会場の手配から入室管理までやっていただきました．ま た，hamano さんには懇親会の準備から集金までしていただきました．本当 にありがとうございました． Erlang 分散システム というキーワードに，これだけの人が興味を持って いるということがわかって驚きました．いろんな角度から Erlang や分散 システムを見ることができて，面白かったです． 個人的には，CouchDB の完成度がイマイチ (ではなく，まだ発展途上段階 との指摘を yohei さんから受けました) というのが
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Welcome To Tahoe-LAFS
VoltDB: Next Generation OLTP Database
Google Code Archive - Long-term storage for Google Code Project Hosting.
A practical scalable distributed B-tree
http://teahut.sakura.ne.jp/b/data/2008-01-31-1/dynamo-memo.txt
moved