実用段階に入ったNoSQLをおさらい 「Cassandra」の概要と導入手順・基本設定
ビックデータとは はじめに、Cassandraが得意としているビックデータについて解説します。ビックデータという言葉が一般的に使われていますが、実際のところ何を指すのか、これまでとの違いは何かを説明します。 何に使われているのか 「ビックデータ」とは、通常の処理では処理不可能な膨大な蓄積データを指す言葉です。これまでは、処理することをあきらめていた膨大なデータを処理対象とすることで、新しい答えを見出すことを目指しています。しかも短時間で処理することで、タイムリーな活用を目指すのです。 これまでは、ばらばらに発生していたデータが、通信環境の発達でリアルタイムに収集することが可能になりました。個々のデータは小さくても、大量に集まれば膨大なデータです。せっかく集めた膨大データを活用するために時間が掛っては何もなりません。大量に集めたデータを短時間に効率よく処理して、処理結果を得られる必要がありま
Cassandra、Redis、memcachedに潜む脆弱性
Cassandra、Redis、memcachedに潜む脆弱性：NoSQLを使うなら知っておきたいセキュリティの話（3）（1/2 ページ） MongoDB以外のNoSQLに潜む脆弱性 前々回、前回の2回に分けて、NoSQLのうち「MongoDB」を用いたWebアプリケーションの脆弱性と対策について紹介してきました。 ここからは、MongoDB以外のNoSQLを使うアプリケーションのセキュリティについて簡単に説明します。取り上げるのは、Cassandra、Redis、memcachedの3つのNoSQLデータベースです。まずはCassandraについて見ていきます。 Cassandraを使うアプリケーションのセキュリティ Cassandraは列指向型に分類されるNoSQLデータベースで、大容量のデータを高速に処理することに主眼を置いた製品です。元々はFacebookで開発されたデータベースで
Zabbixのデータ格納にNoSQLを利用したら性能は？ ミラクルが検証
Zabbixのデータ格納にNoSQLを利用したら性能は？ ミラクルが検証：NoSQL用ミドルウェアを独自開発 ミラクル・リナックスは2月14日、オープンソースの統合監視ソフトウェア「Zabbix」に、NoSQLの「Cassandra」を組み合わせることで、性能を最大3.4倍高速化できたとする研究成果を発表した。 ミラクル・リナックスは2月14日、オープンソースの統合監視ソフトウェア「Zabbix」に、NoSQLの「Cassandra」を組み合わせることで、性能を最大3.4倍高速化できたとする研究成果を発表した。これを実現するために独自開発したミドルウェア「History Gluon」もWeb上で公開している。 Zabbixは、サーバやアプリケーションの統合監視を行うためのオープンソースソフトウェアだ。Webインターフェイスで容易に操作できること、監視機能が豊富なこと、また監視データをRDB
NoSQLデータベースの「Cassandra」最新動向。Cassandra Summit 2012（後編）
NoSQLデータベースの「Cassandra」最新動向。Cassandra Summit 2012（後編） 代表的なNoSQLデータベースの1つ「Apache Cassandra」をテーマにしたイベント「Cassandra Summit 2012」が、8月8日にサンタクララで開催されました。 （本記事は「NoSQLデータベースの「Cassandra」最新動向。Cassandra Summit 2012（後編）」の続きです） 最新版Cassandra 1.1で追加された機能とは Cassandraはどう進化してきたか。昨年1月の0.7が最初のモダンなバージョンだったというのが私の考えだ。0.8では分散カウンターを実装し、セルフチューニング要素を強めた。1.0は、1.0を宣言したこと、そして圧縮機能を備えるなどの前進があった。 そして現在のバージョンが4月にリリースしたCassandra 1.
NoSQLデータベースの「Cassandra」最新動向。Cassandra Summit 2012（前編）
NoSQLデータベースの「Cassandra」最新動向。Cassandra Summit 2012（前編） 代表的なNoSQLデータベースの1つ「Apache Cassandra」をテーマにしたイベント「Cassandra Summit 2012」が、8月8日にサンタクララで開催されました。 Cassandraは、キーバリュー型データストアとして高速なデータの入出力や高いスケーラビリティが特徴です。最新バージョンではマルチデータセンター、マルチテナンシーなど高度な機能も搭載しました。 そうした最新機能などが紹介された、Cassandra Summit 2012で行われたCassandraの主要な開発者Jonathan Ellis氏の基調講演「The State of Cassandra, 2012」の内容をダイジェストで紹介します。 The State of Cassandra, 2012
Cassandra vs MongoDB vs CouchDB vs Redis vs Riak vs HBase comparison :: Software architect Kristof Kovacs
Hello, I’m Kristof, a human being like you, and an easy to work with, friendly guy. I've been a programmer, a consultant, CIO in startups, head of software development in government, and built two software companies. Some days I’m coding Golang in the guts of a system and other days I'm wearing a suit to help clients with their DevOps practices. While SQL databases are insanely useful tools, their
NoSQLのCassandraが1.0に。読み込み性能は400％向上
The Apache Software Foundationは、「Apache Cassandra 1.0」のリリースを発表しました。CassandraはNoSQLデータベースの代表的なソフトウェアです。もともとはFacebookで2008年に大規模データ処理のために開発され、その後オープンソースとなって2009年からApache Software Foundationのプロジェクトとして開発されていました。 The Apache Software Foundation Announces Apache Cassandra™ v1.0 : The Apache Software Foundation Blog 分散処理に対応したスケーラブルなデータベースで、単一障害点（Single Point of Failer：SPOF）がなく、ノードを追加していくことで自動的に性能が向上していくという
Cassandraが0.8にバージョンアップ。SQLに似たCQLを搭載し、分散カウンターも実装
RackspaceのEric Evans氏がCassandraのメーリングリストに投稿した内容によると、Cassandra 0.8の最大の特徴は、SQLに似た問い合わせ言語のCQL（Cassandra Query Language）をはじめて搭載したこと。 また、これまで要望の多かった分散カウンターを実装し、ノード間の暗号化通信を実装したことでパブリッククラウドなどの環境でのセキュリティが高まったとしています。 CQL 1.0では、USE、SELECT、UPDATE、DELETE、TRUNCATE、DROP、BATCHなどのキーワードを備えており、SQL文のようにデータベースの内容を操作できるとのこと。Python、Java、Node.js用のドライバーが提供されています。 CQLについては、第16回Cassandra勉強会での@yukim氏の資料「CQL」が公開されています。分かりやすく
58blog: DevSumi「Cassandraで見るNoSQL」を聴いた際の備忘録
2011/04/30 DevSumi「Cassandraで見るNoSQL」を聴いた際の備忘録 引き続き、Developer's Summitに參加した際の備忘録です。 Developers summit cassandraで見るNoSQL View more presentations from Ryu Kobayashi NoSQLの概要からCassandraの特徴紹介です。 印象深かったのは、NoSQLなら良いというのではなく、多数あるNoSQLミドルウェアにも特徴があり、RDBも含めて適材適所で使うべきが真の技術であるというご意見。 そして、システム、サービスを使うお客様にとっては、裏側の技術は重要ではないとのご意見。 後者については、その言葉の裏側の真意を、我々技術者は常に頭に置いておかなくてはならないと思いました。 以下、当時のメモです。乱文、誤記、ご容赦願います。
Cassandra実践入門―Twitter、Facebookが採用するNoSQLシステム | gihyo.jp
はじめに 2010年のはじめ、TwitterがApache CassandraというJavaで実装された分散型のデータストアシステムを採用しつつあるというニュースが話題を呼びました。このことでCassandraは、NoSQLと呼ばれるシステムの中で最も注目を集めるものの一つになったと言えるでしょう。 2010年7月の時点で、Twitterは、位置情報のデータストレージ、トップツイート（トップページに表示される人気ツイート一覧）などのリアルタイム分析、データマイニング処理など、多くの用途でCassandraを活用しています。また、Cassandraを生み出し、のちにApache Foundationに寄贈したFacebookでは、5億人規模・150Tバイト以上のデータ量を持つユーザメッセージの検索機能（Inbox Search）を、150ノードのCassandraクラスタで処理しています。
Cassandra、MongoDB、Redisなど主要NoSQL比較 | gihyo.jp
ハンガリーの企業でCTOを務めるKristof Kovacs氏による記事です。各主要NoSQLプロダクトについて機能比較や利用ケースなどをまとめています。この記事ではCassandraやRedisなど6つのプロダクトを挙げています（表1）。 CouchDBは使い勝手に優れており、双方向レプリケーションやリアルタイム更新をサポートしています。Redisは非常に高速なことが売りで、トランザクションや変更監視の機能が備わっています。Cassandraは書き込みが読み込みよりも速いことから銀行や金融などのリアルタイムなデータ解析が必要になる分野で実力を発揮し、Cassandraと同じくJavaで作られているHBaseは億単位の行と数百万のカラムというBig Dataを扱え、月に1,000億を超えるメッセージを処理するFacebookのバックエンドに採用されています。 次々にプロダクトが生まれた
「【17-E-5】 Cassandraで見るNoSQL」を聴講してきたメモ - #garagekidztweetz
黄色いゾウ使いへの道に引き続き、devsumi 2011 にて、「Cassandraで見るNoSQL」を聞いてきた際にとったメモを共有します。 Slides. Developers summit cassandraで見るNoSQL View more presentations from Ryu Kobayashi Speaker 小林隆 氏の自己紹介 ブレインパッド データマイニング、最適化 今は主にHadoopメイン 最近はあまり Cassandra は使っていない GUI をつくってる Amazon Elastic MR記事 Cassandra を絶賛翻訳中 原書と違うところ、β版をもとにつくっているので動かない部分がある Avro の対応を削る NoSQLとは？ SQLだけというわけではない Carlo Stozzi 1998に最初 2009 Eric Evans 、rackspa
Cassandra 0.7が登場。セカンダリンデックス、メモリ効率向上、動的スキーマ変更。分散カウンタは実装されず
The Apache Software Foundation Announces Apache Cassandra 0.7 -- FOREST HILL, Md., Jan. 11, 2011 /PRNewswire/ -- Cassandraは、NoSQLデータベースの中でもキーバリュー型データストアと呼ばれる分野でもっともよく知られているソフトウェアの1つ。もともとFacebookで大量のデータを高速に処理するためのデータベースとして開発され、オープンソースとして公開されたもの。現在はThe Apache Foundationにより開発が続けられています。 追加された機能 Cassandra 0.7では、主にメモリ利用効率の向上、オンライン状態でのスキーマ変更、セカンダリインデックスなどの機能が追加されています。RackspaceのブログCloud:Blogにポストされたエントリ「Ne
「第3回クラウド勉強会」活動報告 | gihyo.jp
2010年12月16日、不定期で開催している「クラウド勉強会」の第3回を開催しました。運営を担当した筆者より、今回の勉強会の活動を報告させていただきます。 「第3回クラウド勉強会」の概要 クラウドをテーマにした勉強会をこれまで2回開催してきましたが、参加者の皆様からNoSQLの話が聞きたいという声をたくさんいただいたため、第3回ではNoSQL（KVS）をテーマにして開催しました。参加者数は、これまでで最大規模となり、約200名の方に参加いただきました。 司会進行は、2009年下期未踏ユースの大山有美氏（@yumilcy）に協力していただきました。また、今回の運営面での新しいチャレンジとして、ライトニングトーク（持ち時間5分）の発表枠を設けました。 それでは、各セッションの内容を簡単に紹介します。 「KVSのマルチテナント化」 はじめに、さくらインターネット株式会社の大久保修一氏（@jq6x
NoSQLをRDBの代わりに使うと、どういう恐ろしいことが起こるか。PARTAKEの作者が語る
データベースの世界でいま注目されているのがNoSQL。特にキーバリュー型データストアは、グーグルのBigTable、FacebookやTwitterが内部で利用しているCassandraやAmazonクラウドが提供しているSimpleDBなど、すでに実際に使われ始めています。 ではそのNoSQLをリレーショナルデータベースの代わりに使ってシステムを構築するとどうなるのか？ 身をもって体験したことを記したShinya Kawanaka氏によるプレゼンテーション「間違った方向にCassandraを使ってみた」が公開されています。 NoSQLを用いたシステム構築は、リレーショナルデータベースによる構築どう違うのか？ とても分かりやすくまとめられています。ご本人の承諾もいただいたので、その内容を紹介しましょう。 NoSQLを使ったときに起こる恐ろしい事例 プレゼンテーションのテーマは「NoSQLを
NoSQL in Afternoonに参加した - brfrn169の日記
先日、NoSQL in Afternoonに参加してきました。 NoSQLについていろいろ興味があったので参加したのですが、 全体的にプロダクトの概要レベルまででした。 時間も多くなかったので当然ですが。 ATND http://atnd.org/events/8460 USTREAM http://www.ustream.tv/recorded/10575011 発表スライド http://d.hatena.ne.jp/szk-takanori/20101102/p1 内容については、USTREAMや発表スライドを見ていただくとして 以下、私の個人的な所感を書いていきたいと思います。 Hibari/NoSQL for Bigdata 名前は聞いたことありましたが、 中身については殆ど知らなかったので、面白かったです。 Erlang実装の分散型KVSで、ラージバリュー(チャンキング)に対応
NoSQL Afternoon in Japan の発表スライド - 現場のためのソフトウェア開発プロセス - たかのり日記
昨日、NoSQL Afternoon in Japan に参加してきましたが、スピーカの皆さんが、早速、発表スライドを公開してくれているので、どこいったか分からなくなる前にまとめておきます。 Hibari（Joe Norton） http://www.slideshare.net/geminimobile/hibari-presentation-at-nosql-afternoon-in-japan-on-nov-12010 Okuyama（Takahiro Iwase） http://www.slideshare.net/okuyamaoo/20101101-okuyama Cassandra（Nate McCall） https://docs.google.com/present/view?id=dg8xwrcw_999f25bqnsf ROMA（Muga Nishizawa） 現時点
ApacheのNoSQLプロジェクト、「Cassandra 0.6.6」リリース | OSDN Magazine
Apache Software Foundation（ASF）のApache Cassandra Projectは10月14日、分散データベースシステムの最新版「Apache Cassandra 0.6.6」を公開した。プロジェクトのWebサイトよりダウンロードできる。 Cassandraは米Facebookで開発がスタートしたプロジェクト。SQLを採用しない「NoSQL」と呼ばれるデータベースの1つで、2009年にASFに移管され、その後ASFはインキュベーターからトップレベルプロジェクトに昇格している。 最新版は2010年4月にリリースされた0.6系の安定版リリースとなる。I/O効率化のために「SSTable」と呼ばれるモデルを採用し、ディスクアクセスを高速化した。また、JVMのデフォルトのオプション値として「CMSInitiatingOccupancyFraction=75」と「Us
第7回 Cassandraで検索するには［前編］ | gihyo.jp
Cassandraも0.6系がついに0.6.4まで出てきて、stableなリリースとして十分に使えるところまで来ましたね。この連載のコードもすべて0.6系では動作するはずですので、ぜひ最新のものに入れ替えて試してみてください。 前回まででデータの投入、更新、削除までをご紹介しました。今回から複数回に分けて検索を重点的に見ていきましょう。 前準備としてデータを投入しておく 検索メソッドの確認の前準備として、まずデータの投入を行います。今回はシンプルな郵便番号のデータを利用します。以下のURLから東京都のデータを取得して、解凍後、データを投入してください。 郵便番号データのダウンロード：日本郵便 URL：http://www.post.japanpost.jp/zipcode/dl/kogaki/lzh/13tokyo.lzh データは説明のため簡易的なデータ構造とします。 キーは郵便番号 デ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ミラクル・リナックス、Zabbixの性能改善に関する研究成果を公開～NoSQLの活用図る