WTF is a SuperColumn? An Intro to the Cassandra Data Model — Arin Sarkissian
For the last month or two the Digg engineering team has spent quite a bit of time looking into, playing with and finally deploying Cassandra in production. It’s been a super fun project to take on – but even before the fun began we had to spend quite a bit of time figuring out Cassandra’s data model… the phrase “WTF is a ’super column’” was uttered quite a few times. If you’re coming from an RDBM
Amazon Dynamo論文 - LunaBiblos
概要 Amazonが発表したDynamoに関する論文の意訳(私訳)です。 序論 Amazonは数千万人の顧客を抱える世界規模の電子商取引基盤を、世界中のデータセンタに配置した最大時数万台規模のサーバ群で運用している。この基盤に対しては性能、信頼性、効率性の観点から厳しい要求水準と、基盤自体の永続的な成長を実現する為に高いスケーラビリティが要求されている。例えごく僅かであってもサービス利用不可能な時間が発生してしまえば、金銭的には減収という結果で表れ、顧客からの信頼を損ねてしまう為、特に信頼性確保が最優先される。 我々がこのAmazonの基盤を運営する事で学んだ教訓の一つは 「信頼性とスケーラビリティはアプリケーションの状態を如何に管理するかに依存している」 という事である。我々はサービス指向な構造を有し、高度に分散した疎結合な数百物のサービスを稼働させいる。この様な環境下ではデータ
DataModel_JP - Cassandra Wiki
イントロダクション Cassandraは4次元または5次元ハッシュなデータモデルを持っています。 基本コンセプトとしては: Cluster: 論理的なCassandraインスタンスの事。クラスタは複数のキースペースを持つことが出来る。 Keyspace: ColumnFamilies用のネームスペース。一般的には1アプリケーションに1キースペース。 ColumnFamilyは複数のカラム(カラムは名前、値、タイムスタンプを持つ)を持ち、行キーで参照可能。 SuperColumnsは サブカラムを持つカラムのこと。 まずはボトムアップで一番小さい粒度のデータ構造であるカラムから順にみていきましょう。 カラム カラムはCassandraにおける最小限のデータ構造です。その実体はタプル(triplet)で、名前、値、タイムスタンプを持ちます。 Thriftインタフェースのカラムの定義は以下のよう
第3回 Cassandraのデータモデルを理解する | gihyo.jp
前回までの説明でCassandraのインストールと動かすところまでいきました。今回はCassandraのデータモデルを理解して、実際にデータにアクセスしてみましょう。 データはすべて4次元または5次元の連想配列 Cassandraのデータは非常にシンプルなデータモデルを持っています。データはすべて4次元または5次元の連想配列のようになっています。 4次元の場合は以下の形で値にアクセスします。 ［キースペース］［カラムファミリ］［キー］［カラム］ そして5次元の場合は以下の形でデータを特定します。 ［キースペース］［カラムファミリ］［キー］［スーパーカラム］［カラム］ Cassandraのデータモデルは以下の4つの概念で成り立っています。 カラム： データの最小単位。実際のキーと値、そしてタイムスタンプを持つ。 スーパーカラム： カラムの集合を扱う単位。 カラムファミリ： カラムまたはスーパ
噂のTokyoCabinet/TokyoTyrantを使ってみた - (ﾟ∀ﾟ)o彡 sasata299's blog
2009年10月04日20:18 KVS Ruby 噂のTokyoCabinet/TokyoTyrantを使ってみた key-value ストアに興味がある ささたつ です。key-value ストアとして有名なものといえば memcached かと思いますが、他にも TokyoCabinet や TokyoTyrant というものも注目されています（不思議な名前ですね！）。key-value ストアでありながら高速、かつ、データをメモリで無くファイルに保存しているため、サーバが落ちてもデータが消えないとか。 実際に mixi の最終ログイン時間の保持などに使われているそうです。 memcached をセッションの保持などに使っている場合、memcached のサーバがダウンしてしまったら、データは全て消えてしまいます。その結果 RDBMS にアクセスが集中し、パフォーマンスが大幅に悪化し
Tokyo Cabinet - Browse Files at SourceForge.net
Ambassador Edge Stack | Kubernetes-native API Gateway For developers looking for an application development platform Ambassador Edge Stack is a Kubernetes-native API Gateway that delivers the scalability, security, and simplicity for some of the world's largest Kubernetes installations.
TwitterとDiggがNoSQLの「Cassandra」を選ぶ理由
スケーラブルなデータベースを実現する手段として「Sharding MySQL plus memcached」がよく知られる方法だとは、1つ前の記事「MySQL+Memcachedの時代は過ぎ、これからはNoSQLなのか、についての議論」で紹介しました。 ちなみに「Sharding」（シャーディング）とは複数のデータベースにデータを分散して運用することで、ざっくりいえばShared Nothing的な分散データベース構成のことです（この記事で紹介する英文中には「Shared MySQL」（共有MySQL）との記述がありますが、これは恐らく「Sharded MySQL」（ShardされたMySQL）のミススペルではないと推測します）。 日本で（たぶん）もっともMySQLについて詳しく解説してあるブログ「漢(オトコ)のコンピュータ道」のエントリ「さらにMySQLを高速化する7つの方法」では、Sh
たけまる / Amazon's Dynamo is awesome!
_ Amazon's Dynamo is awesome! [dynamo][distributed][amazon] Amazon の Werner Vogels が発表した Dynamo の論文を (いまさら) 読ん でみたら，いたく感動しました．日本語で全体像を解説したページはない ようなので，簡単にですが紹介します． Dynamo について詳しく知りたい方は，論文を読んだときのメモ書き dynamo-memo.txt を置いておくので，参考にし てください． # いつもと違う話題だけど，じつはこっちのが本職っぽい [2007-08-30-1] Dynamo というのは，Amazon の膨大なデータを扱う分散 DBM のことで， 毎秒 500 リクエストに対して，99.9% を 300ms 以内にレスポンスするよ うに設計されている．その化け物のようなシステムの概要を紹介する． 一般
id:shot6 の Cassandra の記事がわかりやすかったので，Ubuntu でやってみた! - 宇宙行きたい
http://gihyo.jp/dev/serial/01/cassandra/0002 上記記事は Windows なので Ubuntu でやってみる． インストール ダウンロードして展開するだけ…… あと，環境変数も追加 $ cd ~/opt $ wget http://ftp.kddilabs.jp/infosystems/apache/cassandra/0.6.1/apache-cassandra-0.6.1-bin.tar.gz $ tar zxvf apache-cassandra-0.6.1-bin.tar.gz バージョンアップのためにシンボリックリンクも貼っておく $ ln -s ~/opt/apache-cassandra-0.6.1 ~/opt/cassandra 環境変数はこんな感じ export JAVA_HOME=/usr/lib/jvm/java-6-sun
第2回 Cassandraのインストールから起動まで | gihyo.jp
前回はCassandraとは何かを簡単に説明しました。第2回では、Cassandraを実際にインストールして開発環境で動かしてみましょう。 Cassandraをインストールしよう 環境を確認する まずは環境の確認をしましょう。筆者の環境は以下のようになっています。 Windows 7 Professional Sun JDK 1.6.0_18 64bit Eclipse 3.5.1 この連載ではおもにWindowsでの環境を想定しています。ただ、CassandraはJavaベースなので、MacやLinuxなど別OSでも同様に動くはずです。 Cassandraをダウンロードする 本連載では現時点での最新版Cassandraha 0.6.1を使います。以下のサイトからダウンロードできます。 The Apache Cassandra Project URL：http://cassandra.ap
RDBに代わるスケーラブルなデータモデルの必要性 - sdyuki-devel
このあたりの内容を卒業研究にする予定で、中間報告書まで書いたけど、整理と裏付けが全然追いつかなくて卒論なんて書けそうにないので、とりあえずテキトーにブログに書いておくなど。 データストアには、状態を永続化して共有する機能と、データモデル（状態を操作する意味論）を規定する機能の、２つの機能がある。この２つの機能を、より使いやすく、より高速に、よりスケーラブルに提供することが求められる。そうでないとシステム全体が成り立たない。 冗長化とか負荷分散とか、ハードの質に頼らない高性能なシステムを構築したいときは、「状態を持たないようにする」のが定石になる。同じ状態を２台のホストで同期し続けたり、状態を分割しながら整合性を保ち続けるのは、非常に難しい。このため、状態は共有データストアに保存しておくのがもっとも簡単で、現実的な解になる。 MVCアーキテクチャにおけるViewとControllerはMod
もう1つの、DBのかたち、分散Key-Valueストアとは
もう1つの、DBのかたち、分散Key-Valueストアとは：分散Key-Valueストアの本命「Bigtable」（1）（1/3 ページ） RDBとは別の、クラウド時代のデータベースとして注目を浴びている「分散Key-Valueストア」。その本命ともいえる、Googleの数々のサービスの基盤技術「Bigtable」について徹底解説 クラウド時代のデータベース「分散Key-Valueストア」 グーグルがインターネットの世界をここまで席けんできた最大の理由は何でしょうか。実は、それは同社の優れた検索技術ではありません。グーグルが成し遂げた最も大きなブレークスルーの1つは、同社が生み出した巨大な分散データストア、「Bigtable」にあります。 Bigtableは、Google検索をはじめ、YouTubeやGoogle Map、Google Earth、Google Analytics、Goog
Apache Cassandra | Apache Cassandra Documentation
What is Apache Cassandra? Apache Cassandra is an open source NoSQL distributed database trusted by thousands of companies for scalability and high availability without compromising performance. Linear scalability and proven fault-tolerance on commodity hardware or cloud infrastructure make it the perfect platform for mission-critical data.
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
