クラウドにはRDBかKVSか、ITアーキテクトの出番が来た
クラウドコンピューティングによる混乱を乗り切ろう――。昨年のこのコラムでそう書いた。次の2点を指摘した。 （1）クラウドとひとくくりにできないほど、サービスごとの違いが大きい （2）クラウドを用いたシステム開発と従来のシステム開発は大きく異なる ところが、思ったほどの混乱にはなっていない。特に（2）によって開発現場に大混乱がもたらされると考えたが、そうはならなかった。 指摘した内容が間違っていたとは思わない。にもかかわらず予想が外れた理由を挙げるとすれば、「RDBの存在が大きかった」ということだろう。 これまでのシステム開発はRDBに大きく依存してきた なぜ大混乱になると考えたか。前提としたのは、クラウドのデータストアには、RDBではなくKVS（Key-Value Store）が使われるようになるということ。クラウドの特徴の一つはスケーラビリティーであり、その特徴を生かすにはRDBよりKV
TwitterとDiggがNoSQLの「Cassandra」を選ぶ理由
スケーラブルなデータベースを実現する手段として「Sharding MySQL plus memcached」がよく知られる方法だとは、1つ前の記事「MySQL+Memcachedの時代は過ぎ、これからはNoSQLなのか、についての議論」で紹介しました。 ちなみに「Sharding」（シャーディング）とは複数のデータベースにデータを分散して運用することで、ざっくりいえばShared Nothing的な分散データベース構成のことです（この記事で紹介する英文中には「Shared MySQL」（共有MySQL）との記述がありますが、これは恐らく「Sharded MySQL」（ShardされたMySQL）のミススペルではないと推測します）。 日本で（たぶん）もっともMySQLについて詳しく解説してあるブログ「漢(オトコ)のコンピュータ道」のエントリ「さらにMySQLを高速化する7つの方法」では、Sh
第1回 Kaiとは？ ─Kaiのコンセプトとメカニズム | gihyo.jp
今回から数回にわたり、Kaiという分散Key/Valueストアについて解説させていただきます。 まず、第1回では井上がKaiのコンセプトをご紹介します。次回以降は、Kai開発者の一人である幾田さんがKaiの利用方法について解説します。最終回では、gooホームでKaiを運用している橋本さんから、Kaiの運用方法について紹介していただく予定です。なお、本連載が対象とするKaiのバージョンは0.4です。 Kaiとは Kaiとは、分散型のKey/Valueストアです。Amazon.comが2007年に発表したDynamoというシステムに触発されて、そのオープンソース版として開発されています。Kaiをバックエンドに据えてWebサイトを構築することで、高いスケーラビリティやアベイラビリティを実現できます。2009年5月には、gooホームのバックエンドに導入され、運用実績も高まってきました。 Kaiは多
京都収納棚紅玉束縛： Rubyで簡単、DBプログラミング - mixi engineer blog
静かに暮らしたいmikioです。今回は、新進気鋭のDBMであるKyoto CabinetのRubyバインディングを駆使してお手軽にデータベースプログラミングを行う方法について述べます。 Kyoto Cabinetのおさらい Kyoto Cabinet（KC）は、Tokyo Cabinet（TC）に比べて、最適化された性能よりも保守性を重視したDBMの実装です。オブジェクト指向プログラミングの技法を用いて、少ないコード記述量で容易に機能追加できるように設計しています。また、実装としては、空間効率の向上と並列処理性能の向上を重視しています。以下のプレゼン資料も参考になると思います。 TCでもハッシュ表やB+木などのデータ構造を動的に切り替えて同じインターフェイスで操作するための「抽象データベース」という機構がありましたが、KCでは同じことを「多相データベース（polymorphic datab
kumofs関連資料まとめ - Blog by Sadayuki Furuhashi
随時更新予定。 ツールなど 2010-01-08 kumofsの死活監視はこんな感じでNagiosでやってます - (ひ)メモ 検討と検証 2010-04-01 kumofsに10MBのvalueを入れるとどうなるか実験してみた - sdyuki-devel 2010-02-24 KVS(NoSQL)のまとめと「これから」の設計手法 - どっかのBlogの前置きのような 2010-02-01 kumofs その４・速度比較してみた - とあるWEBプログラマの軌跡（仮） 設計とアーキテクチャ 2010-04-26 hbstudy#10「ずばり動く！kumofs と ずばり動かないケース」 2010-04-25 丸レク2010「分散Key-valueストアkumofsの思想と設計」 2010-02-09 kumofsはなぜ落ちないか 2010-01-26 kumofsはなぜスケールするか 2
MongoDBを今日から始めるためのドキュメント - Masatomo Nakano Blog
追記: 最新情報はこちらです。 MongoDBが流行ってきてる風なので、これだけ読んでおけばMongoDBの雰囲気がわかるだろうってところを、日本語訳が終わっているところから集めてみた。 なるべく順に読めるように並べたつもりだけど、前後してるところもあると思うので、とりあえず読み進めるのをお勧め。 まず、何はなくとも、 コレクション (Collections) 次にコレクションを触るためのシェル。MongoDBのシェルというのは、RDBMSでいうとSQLを直接叩くところで、PostgreSQLのpsqlコマンド, MySQLのmysqlコマンドみたいなもの。 実際にMongoDBを使って開発する場合、直接MongoDBを操作するよりも、各言語(PHPとかRubyとかJavaとか)のマッパー経由で使うことが多いとは思う。しかし、SQLを知らないとO/Rマッパーを使いこなすのが難しいように、シ
第33回 RubyistのためのMongoDB入門（2） | gihyo.jp
第31回に続いて、今回はMongoDBをRubyから使う方法をご紹介します。 MongoDBをRubyから使うためのライブラリ MongoDBをRubyから使うには、以下のライブラリ等を利用する必要があります。 Ruby driver for MongoDB [GitHub, チュートリアル] RubyからMongoDBを使う上で基本となるのが、公式のRubyドライバです。 MongoDBのほぼ全機能にアクセスできるため、複雑なことをしたいときには頼りになるでしょう。後述する他のライブラリも内部ではこのドライバを使っています。 ドキュメントをオブジェクトにマッピングしてActiveRecordライクに扱う、オブジェクトマッパーの機能を提供するライブラリもあります。今回は代表的なものを2つご紹介します。 MongoMapper [GitHub, 作者による紹介] 比較的ActiveRecor
分散Key-Valueストア「kumofs」を公開しました！ - Blog by Sadayuki Furuhashi
分散Key-Valueストア kumofs を、本日オープンソースソフトウェアとしてリリースしました！ kumofs@SourceForge kumofs関連資料まとめ kumofsとは？ kumofs（クモエフエス）は、実用性を重視した分散データストアです。レプリケーション機能を備え、一部のサーバーに障害が発生しても動作し続けます。単体でも高い性能を持ちながら、サーバーを追加することで読み・書き両方の性能が向上する特徴を持ち、低コストで極めて高速なストレージシステムを構築・運用できます。 kumofsの大きな特徴は、システムの構成の簡単に変更できる点です。システムを止めることなく、簡単な手順でサーバーを追加したり復旧したりできます。アプリケーションには一切影響を与えません。 またkumofsは、広く利用されている分散キャッシュシステムの「memcached」と互換性のあるプロトコルを実装
kumofsから学ぶNot only SQLの技術 - Blog by Sadayuki Furuhashi
NoSQLを知る〜kumofsから学ぶNot only SQLの技術 と題して、Developers Summit 2010で発表しました。 twitterの#devsumi2010 kumofsを見る限りでは大変ご好評をいただいたようで、ひとまずほっとしています。 プレゼンテーションの資料を公開しました。内容はどれも同じですが、クリックで進むムービー版がオススメです。 クリックで進むムービー（クリック/矢印キーで進む） PDF Keynoteファイル（Keynote '09が必要） NoSQLを知るView more presentations from frsyuki. Consistent Hashingとdouble-hash-spaceアルゴリズムの紹介は、68ページ以降にあります。 第101回 カーネル読書会 2月25日に楽天タワーで行われるカーネル読書会でも、kumofs関連
えとらぼ、分散型ストレージ「kumofs」をオープンソースで公開
えとらぼは1月18日、分散型のストレージシステム「kumofs」をApache License 2.0 のもとオープンソースとして公開した。kumofsは同社の写真ストレージサービス「Ficia」で使用されている。 kumofsはレプリケーション機能を備え、一部のサーバに障害が発生しても正常に動作し続けられるほか、自動的に複数のサーバに負荷を分散して高速に動作するという。システムを止めることなくサーバの追加や復旧ができるなど、スケーラビリティ性に優れるという特徴もある。 kumofsはInteropTokyo 2009 クラウドコンピューティングコンペティションで優勝した。えとらぼはプログラムをオープンソースとして公開することにより、多くの人にkumofsを利用してもらい、プログラムの改善に参加してほしいとしている。 えとらぼは元ミクシィCTOの衛藤バタラ氏が創業したベンチャー企業だ。
Key Value Store For Local Environment
This document presents a key-value store library called XLS_KVS that allows storing and editing key-value pairs in a Microsoft Excel workbook for local environments. The library uses Ruby and the Excel COM API to interact with Excel workbooks, allowing values to be stored, retrieved, updated, and deleted directly from Excel in an easy-to-use manner. The library is designed to integrate Ruby with a
楽天、分散キー・バリュー型データストア「ROMA」のソースコードを公開
写真1●楽天テクノロジーカンファレンスでソースコード公開を発表するROMAの開発者 西澤無我氏（左）と、Rubyの開発者で楽天技術研究所フェローのまつもとゆきひろ氏（右） 楽天は2009年10月24日、同社が独自開発した分散キー・バリュー型データストア「ROMA」をオープンソース・ソフトウエアとして公開した。ROMAはスケールアウトが容易で、耐障害性の高いデータストア。「楽天市場」と「楽天トラベル」で、ユーザーによる閲覧履歴の保存にROMAを使用している。同日に開催した「楽天テクノロジーカンファレンス」に合わせて、「github」でソースコードを公開した。 ROMAは、楽天技術研究所フェローのまつもとゆきひろ氏（プログラミング言語「Ruby」の開発者）と協力して、2007年から開発してきた分散キー・バリュー型データストアである（写真1）。Rubyを使った大規模システムを実現するための分散処
Blog by Sadayuki Furuhashi
MessagePackフォーマット仕様のPull Request #209をマージし、MessagePackにTimestamp型を追加しました。 ※この記事の英語版は XXX にあります（翻訳中） Extension型の型コード -1 として定義されているため、後方互換性が維持されています。つまり、既にExtension型に対応しているデシリアライザであれば、Timestamp型を使用して作成されたデータを、Timestamp型に対応していない古いデシリアライズで読み出すことができます。 新しいTimestamp型には timestamp 32、timestamp 64、timestamp 96 の3つのフォーマットがあり、よく使う値をより少ないバイト数で保存できるようになっています。例えば、1970年〜2106年までの時刻で、秒までの精度しか持たない時刻であれば、合計6バイトで保存でき
kumofs kumo fast storage 古橋 貞之 自己紹介 • 古橋 貞之（ふるはし さだゆき） • 筑波大学 情報学類3年 • id:viver • frsyuki@twitter 自己紹介 ディスクレスブートシステム ペアプログラミング ��
kumofs kumo fast storage 古橋 貞之 自己紹介 • 古橋 貞之（ふるはし さだゆき） • 筑波大学 情報学類3年 • id:viver • frsyuki@twitter 自己紹介 ディスクレスブートシステム ペアプログラミング 支援システム 多人数音声チャットシステム kumofs • 背景 • kumo fast storage概要 • 保証範囲 • 性能（目安） • ノード追加中の動作 • MessagePack-RPC 背景 • えとらぼ株式会社のプロジェクトで： • 小さいkey-valueを大量に保存 • 落ちないストレージ • キャッシュではなくて永続化したい • サーバーを足すと読み・書き性能が向上 • 導入・運用が楽 kumo fast storage • key-valueストレージ • Consistent Hashingで分散 • レプ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://1978th.net/kyotocabinet/