WTF is a SuperColumn? An Intro to the Cassandra Data Model — Arin Sarkissian
For the last month or two the Digg engineering team has spent quite a bit of time looking into, playing with and finally deploying Cassandra in production. It’s been a super fun project to take on – but even before the fun began we had to spend quite a bit of time figuring out Cassandra’s data model… the phrase “WTF is a ’super column’” was uttered quite a few times. If you’re coming from an RDBM
Amazon Dynamo論文 - LunaBiblos
概要 Amazonが発表したDynamoに関する論文の意訳(私訳)です。 序論 Amazonは数千万人の顧客を抱える世界規模の電子商取引基盤を、世界中のデータセンタに配置した最大時数万台規模のサーバ群で運用している。この基盤に対しては性能、信頼性、効率性の観点から厳しい要求水準と、基盤自体の永続的な成長を実現する為に高いスケーラビリティが要求されている。例えごく僅かであってもサービス利用不可能な時間が発生してしまえば、金銭的には減収という結果で表れ、顧客からの信頼を損ねてしまう為、特に信頼性確保が最優先される。 我々がこのAmazonの基盤を運営する事で学んだ教訓の一つは 「信頼性とスケーラビリティはアプリケーションの状態を如何に管理するかに依存している」 という事である。我々はサービス指向な構造を有し、高度に分散した疎結合な数百物のサービスを稼働させいる。この様な環境下ではデータ
「NoSQL」は「Not Only SQL」である、と定着するか？
非リレーショナルモデルのデータベース全般を指す「NoSQL」という用語について議論が巻き起こっています。 グーグルのBigTableやアマゾンのSimpleDBなど、クラウドへの注目が高まると同時にキーバリュー型データストアにも関心が集まり、さらにHadoopなどの新しいソフトウェアも登場してきました。このPublickeyでも、一昨日、昨日と記事で紹介してきました。 データベースは目的別に使い分けるべし NoSQLデータベースを40種類以上リストアップ、キーバリュー型にもいろいろある こうした非リレーショナルなデータベースを指す一般的な名称が求められてきたときに登場したのが「NoSQL」という名前です。 なんとなく考案された「NoSQL」 「NoSQL」という用語を考案したとされるEric Evans氏は、この名称は特に何も考えずに適当に思いついた言葉だとブログに書いています。ブログ「E
データベースは目的別に使い分けるべし
元マイクロソフトのSQL Server開発チームの一員であり、その後マイクロソフトのデータセンターのアーキテクトとして活躍。昨年アマゾンに移籍して、現在はAmazon Web Servicesの上級エンジニアであるJames Hamilton氏が、自身のブログの「One Size Does Not Fit All」というエントリで、リレーショナルデータベースだけにとどまらない幅広いデータベースの種類を4つに分類して紹介しています。 4つの種類とは「機能優先」「スケーラビリティ優先」「シンプル」「目的別」です。 Hamilton氏は、アマゾンがAmazonクラウドでMySQLのサービスを開始したところ、以前から提供していたキーバリュー型データストアの「SimpleDB」は終了するのではないかと心配する声があったことを挙げ、 I can understand why some might co
第3回 Cassandraのデータモデルを理解する | gihyo.jp
前回までの説明でCassandraのインストールと動かすところまでいきました。今回はCassandraのデータモデルを理解して、実際にデータにアクセスしてみましょう。 データはすべて4次元または5次元の連想配列 Cassandraのデータは非常にシンプルなデータモデルを持っています。データはすべて4次元または5次元の連想配列のようになっています。 4次元の場合は以下の形で値にアクセスします。 ［キースペース］［カラムファミリ］［キー］［カラム］ そして5次元の場合は以下の形でデータを特定します。 ［キースペース］［カラムファミリ］［キー］［スーパーカラム］［カラム］ Cassandraのデータモデルは以下の4つの概念で成り立っています。 カラム： データの最小単位。実際のキーと値、そしてタイムスタンプを持つ。 スーパーカラム： カラムの集合を扱う単位。 カラムファミリ： カラムまたはスーパ
噂のTokyoCabinet/TokyoTyrantを使ってみた - (ﾟ∀ﾟ)o彡 sasata299's blog
2009年10月04日20:18 KVS Ruby 噂のTokyoCabinet/TokyoTyrantを使ってみた key-value ストアに興味がある ささたつ です。key-value ストアとして有名なものといえば memcached かと思いますが、他にも TokyoCabinet や TokyoTyrant というものも注目されています（不思議な名前ですね！）。key-value ストアでありながら高速、かつ、データをメモリで無くファイルに保存しているため、サーバが落ちてもデータが消えないとか。 実際に mixi の最終ログイン時間の保持などに使われているそうです。 memcached をセッションの保持などに使っている場合、memcached のサーバがダウンしてしまったら、データは全て消えてしまいます。その結果 RDBMS にアクセスが集中し、パフォーマンスが大幅に悪化し
Tokyo Cabinet - Browse Files at SourceForge.net
Document generation engine that can be used to generate PDF and Word documents from custom software applications With Docmosis you can quickly and easily add document generation and reporting to your software application. Documents are generated from templates which can be created using Microsoft Word or LibreOffice. These templates utilize simple placeholder fields to handle text, repeating and c
TwitterとDiggがNoSQLの「Cassandra」を選ぶ理由
スケーラブルなデータベースを実現する手段として「Sharding MySQL plus memcached」がよく知られる方法だとは、1つ前の記事「MySQL+Memcachedの時代は過ぎ、これからはNoSQLなのか、についての議論」で紹介しました。 ちなみに「Sharding」（シャーディング）とは複数のデータベースにデータを分散して運用することで、ざっくりいえばShared Nothing的な分散データベース構成のことです（この記事で紹介する英文中には「Shared MySQL」（共有MySQL）との記述がありますが、これは恐らく「Sharded MySQL」（ShardされたMySQL）のミススペルではないと推測します）。 日本で（たぶん）もっともMySQLについて詳しく解説してあるブログ「漢(オトコ)のコンピュータ道」のエントリ「さらにMySQLを高速化する7つの方法」では、Sh
たけまる / Amazon's Dynamo is awesome!
_ Amazon's Dynamo is awesome! [dynamo][distributed][amazon] Amazon の Werner Vogels が発表した Dynamo の論文を (いまさら) 読ん でみたら，いたく感動しました．日本語で全体像を解説したページはない ようなので，簡単にですが紹介します． Dynamo について詳しく知りたい方は，論文を読んだときのメモ書き dynamo-memo.txt を置いておくので，参考にし てください． # いつもと違う話題だけど，じつはこっちのが本職っぽい [2007-08-30-1] Dynamo というのは，Amazon の膨大なデータを扱う分散 DBM のことで， 毎秒 500 リクエストに対して，99.9% を 300ms 以内にレスポンスするよ うに設計されている．その化け物のようなシステムの概要を紹介する． 一般
id:shot6 の Cassandra の記事がわかりやすかったので，Ubuntu でやってみた! - 宇宙行きたい
http://gihyo.jp/dev/serial/01/cassandra/0002 上記記事は Windows なので Ubuntu でやってみる． インストール ダウンロードして展開するだけ…… あと，環境変数も追加 $ cd ~/opt $ wget http://ftp.kddilabs.jp/infosystems/apache/cassandra/0.6.1/apache-cassandra-0.6.1-bin.tar.gz $ tar zxvf apache-cassandra-0.6.1-bin.tar.gz バージョンアップのためにシンボリックリンクも貼っておく $ ln -s ~/opt/apache-cassandra-0.6.1 ~/opt/cassandra 環境変数はこんな感じ export JAVA_HOME=/usr/lib/jvm/java-6-sun
第2回 Cassandraのインストールから起動まで | gihyo.jp
前回はCassandraとは何かを簡単に説明しました。第2回では、Cassandraを実際にインストールして開発環境で動かしてみましょう。 Cassandraをインストールしよう 環境を確認する まずは環境の確認をしましょう。筆者の環境は以下のようになっています。 Windows 7 Professional Sun JDK 1.6.0_18 64bit Eclipse 3.5.1 この連載ではおもにWindowsでの環境を想定しています。ただ、CassandraはJavaベースなので、MacやLinuxなど別OSでも同様に動くはずです。 Cassandraをダウンロードする 本連載では現時点での最新版Cassandraha 0.6.1を使います。以下のサイトからダウンロードできます。 The Apache Cassandra Project URL：http://cassandra.ap
Apache Cassandra | Apache Cassandra Documentation
What is Apache Cassandra? Apache Cassandra is an open source NoSQL distributed database trusted by thousands of companies for scalability and high availability without compromising performance. Linear scalability and proven fault-tolerance on commodity hardware or cloud infrastructure make it the perfect platform for mission-critical data.
Twitterが、Cassandraの本採用を断念。「いまは切り替えの時期ではない」
「いまは新しい技術への大規模な移行をする時期ではないと確信している」。Twitterは、サービスの核となるツイートを保存するデータベースを、MySQLによる大規模分散データベースから、NoSQLデータベースであるCassandraへ移行しようとしていました。しかしCassandraへの移行作業を中止し、引き続きMySQLでの運用を継続すると、Twitter Engineering Blogへのエントリ「Cassandra at Twitter Today」で明らかにしました。 これは戦略の変更だ Twitterは利用者からのツイートを、Scalaによって独自開発したミドルウェア「Gizzard」とMySQL、そしてmemcachedを用いた大規模分散データベースに保存しています。 しかしこうした複雑なシステムによる運用は非常に手間がかかり、人的コストを中心としたコストの増加が非常に大きくな
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
English (US)