unoh.github.com by unoh
こんにちわ、7月に入社したばかりの@emorinsです。 題名の通りですが分散データベース『Apache Cassandra』を紹介したいと思います。 少し前はHadoop(とHBase)と比較されることの多かったCassandraですが、最近はHadoopの人気に押されつつあるようにも感じます。 しかし、CassandraとHadoopは特徴が異なり、よく言われるのがCassandraはリアルタイム処理に向き、一貫性のかわりに可用性を重視し、またHadoopとは違って単一障害点もありません。 今日はそんなHadoopとは違った魅力のある分散データベース『Apache Cassandra』をはじめてみましょう。 目次 Cassandraとは アーキテクチャ Cassandraの特徴 コンシステンシレベル データモデル MemtableとSSTable セットアップ storage-conf
NoSQLを徹底比較！日本初のDMPを開発したエンジニアが選択したカウチベース | SELECK
エンジニアがリアルタイム処理を扱う場合、データベース管理システムにはRDBMSよりNoSQLが選択されることが多い。データ構造や機能をシンプルに抑えてハイパフォーマンスを実現するNoSQLデータベースだが、システムによって一長一短があり、プロジェクトに最適なものを選ぶのも一苦労だ。 日本で初めてDMP(※1)を開発し、マーケティングオートメーション「SATORI（サトリ）」の事業責任者を務めるトライアックス株式会社の太田 祐一さんは、SATORI開発に当たって、NoSQLデータ管理システム「Couchbase（カウチベース）」を選択したという。 Aerospike（エアロスパイク）やCassandra（カサンドラ）という他の選択肢がある中でなぜカウチベースを選択したのか、太田さんに話を聞いた。 (※1)WEBサイト上のユーザー行動のログデータなどを一元管理、分析し、広告配信などマーケティン
100Mにスケーリング：Key-ValueストアとしてMySQLを使い、NoSQL以上のパフォーマンスを出す | POSTD
100Mにスケーリング：Key-ValueストアとしてMySQLを使い、NoSQL以上のパフォーマンスを出す MySQLはNoSQLよりも優れています。Key-ValueストアといったNoSQLのユースケースを考えてみると、パフォーマンスや使いやすさ、安定性の点でMySQLの方が合理的です。MySQLには、オペレーションや障害に関することからレプリケーションや異なる使用パターンまでと、多くのオンラインマテリアルが用意されおり、堅実なエンジンです。こういった理由から、比較するまでもなく、MySQLは最近のNoSQLエンジンよりも優れていると言えます。 ここ最近では、NoSQLエンジンが主流になってきています。多くの開発者が、MongoDBやCassandra、Redis、HadoopといったNoSQLエンジンをアプリケーション構築の第一候補としており、それらが全て昔からのSQLエンジンを上回
MongifyでMySQLからMongoDBへの移行しちゃう - 256bitの殺人メニュー
このエントリは、MySQL Casual Advent Calendar 2015 16日目のエントリです。 ※このエントリは個人の見解であり、所属する組織の公式見解ではありません どうもどうも乙カレー様です。桑野です。 前回は、このようなブログを書いてアレだったわけですが、さて今回こそはちゃんとブログ書こうと思ってアドベントカレンダーのページ見なおしたらなんか書いてあるんですよね。 またかよ。MySQLだっつってんだろ。 ということで何書こうかなと思ってたんですが、ネタ記事としてMongifyというRubyのプロダクトでMySQLからMongoDBへの移行しちゃうのをやろうかと思います。 誰得なのかということであれば俺得です(∗ᵒ̶̶̷̀ω˂̶́∗)੭₎₎̊₊♡ｳｹﾄﾚｨ! 今度こそ怒られないかな、、、(;´Д｀)ﾊｧﾊｧ ちゅーわけでテストテーブル作ってみる。 まずは移行元のMySQL
ベンチマークツール YCSB メモ
ども、 西城秀樹の「ヤングマン」がカラオケの 18 番の cloudpack の かっぱ (@inokara) です。 はじめに ベンチマークツールを探していたら Yahoo! 謹製の YCSB(Yahoo! Cloud Serving Benchmark) というツールがあるらしいので導入してみる。ベンチマークツールは導入するだけではダメよダメダメ…だが、今回は Redis(v2.8.19) と Cassandra(v2.0.12) でベンチマークを走らせるまでのメモ。 YCSB とは Yahoo! Cloud System Benchmark (YCSB) Yahoo! Cloud System Benchmark プロジェクトの略称。 The goal of the YCSB project is to develop a framework and common set of wo
時代はポストRDBへ--NoSQL徹底研究：2015年はNoSQL元年、今なぜ必要なのか
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 企業の中で最も重要な資産の一つである“データ”の多くは1990年代以降、多くがリレーショナルデータベース（RDB）で管理されてきました。ところが最近のビッグデータの潮流の中で、インターネットやモバイル端末を利用する“モノのインターネット（Internet of Things：IoT）”のデータを取り扱う企業やウェブ系、一般企業で従来から利用しているRDBではなく、NoSQLを利用する企業が増えてきています。NoSQLが話題になるようになって数年経ちますが、今なぜNoSQLなのか、日本で利用者が増加しているオープンソースの主なNoSQL製品を研究しながら探っていきたいと思います。 今回、この企画をするにあたって、各ベンダーや各方面の専門家
RDB市場を浸食するNoSQLデータベース--数字で見る変化
企業は、あらゆるエンタープライズテクノロジの中で、自分たちが選んだデータベースに一番肩入れするものだ。そしてデータがいったん特定のデータベースに入ってしまったら、最高情報責任者（CIO）はそれを取り出すことを嫌う。そうするのは費用がかかるし、メリットよりもリスクの方が上回ることが多いからだ。 だからこそ、求人やソーシャルメディアなどのデータを詳しく調べてみると非常に面白い。そうしたデータは、NoSQLデータベースへの関心がこれまでにないほど高まっていることを示している。間違いなく、データベース市場には何か大きなことが起こっており、その相当な部分がビッグデータの採用によって後押しされている。 Oracleが近いうちにデータベース事業から撤退する見込みはないものの、NoSQLに輝かしい未来が待ち受けていることは確かだ。 NoSQLの果てしない興隆 （ソーシャルメディアやニュース記事などで）言及
すごいアプリケーションを作りたいならCassandraを使ってみよう (1/2)：EnterpriseZine（エンタープライズジン）
止めることが許されないならCassandraを Apache Cassandraでチーフ・エバンジェリストをつとめる パトリック・ムクファディンさん Q：Cassandraは、NoSQLのマーケットにおいてどのような位置づけにあるデータベースですか? ムクファディン：NoSQLの中でもCassandraはオペレーショナルなデータベースになります。ユーザーの近いところにあって、Oracleのようなデータベースをリプレイスする存在でもあります。Cassandraはインターネット時代になり、スケーラビリティがありなおかつ稼働し続けるというニーズに応えるために出てきました。何1,000万、何億といった莫大な数のユーザーが利用しても稼働し続ける。そのために、マルチデータセンターでもアクティブ、アクティブの分散構成で、ダウンタイムのないデータベースとなっています。 Q：NoSQLデータベースは他にもさ
NoETL
When using ETL we might come across points like data duplication at the time of crash and restart. In this process we might loose data/may not load records to the system. ETL has flaws when trying to process a heavy set of data using ETL’s engine and database engine (might worse) the performance of the process. Loading - one good aspect to think of ETL’s are they are multi processors which can loa
NoSQL - Wikipedia
NoSQL（一般に "Not only SQL" と解釈される）とは、関係データベース管理システム (RDBMS) 以外のデータベース管理システムを指すおおまかな分類語である。関係データベースを杓子定規に適用してきた長い歴史を打破し、それ以外の構造のデータベースの利用・発展を促進させようとする運動の標語としての意味合いを持つ。関係モデルではないデータストアの特徴として、固定されたスキーマに縛られないこと、関係モデルの結合操作を利用しないこと、水平スケーラビリティが確保しやすい事が多いこと、高度なトランザクション処理を利用できないものが多いことなどが挙げられる。学術的な世界では、この種のデータベースのことを構造型ストレージ (structured storage) と呼ぶことが多い[1][2][3][4]。 NoSQL系データベース管理システムは、データの格納および取得が高度に最適化されてい
NoSQLの「Cassandra 3.0」がリリース。リファクタリングされたストレージエンジン、マテリアライズドビューなど
NoSQLの「Cassandra 3.0」がリリース。リファクタリングされたストレージエンジン、マテリアライズドビューなど NoSQLデータベースの代表的なソフトウェアの1つ、Cassandraへの注目が高まっています。米アップルは昨年、iCloudなどに保存されている10ペタバイトものデータを7万5000ノードで構成されるCassandraで運用していることを明らかにし、Netflixでも2500ノードで420テラバイトのデータを運用していることを発表するなど、大型の事例が相次いで発表されました（これらはApache CassandraのWebサイトのトップページで紹介されています）。 さらにグローバルで金融事業を展開するINGグループもオンライン決済システムにCassandraを採用、国内ではERPベンダのワークスアプリケーションが開発したERPの「HUE」でCassandraを採用す
企業が本当に使えるNoSQLはそんなに多くない―Bashoが目指す「Data Platform」とは
Bashoジャパン 経営戦略室 室長 森英悟氏 Q：まずは、Basho TechnologiesとNoSQLデータベースであるRiakについて教えてください。 森：Bashoは2008年に設立した会社で、社名は「松尾芭蕉」から取っています。世界に120名ほどの社員がいて、そのうち100名ぐらいがエンジニアという技術志向の会社です。日本にも2012年9月に拠点を設け活動を始めました。そんなBashoは簡単に言えばデータベースの会社です。OracleやDB2などを扱う会社とビジネスモデルは近いでしょう。データベースを使ったSIを提供するのではなく、データベースにまつわるコンサルティング・サービスを提供しています。 Bashoが提供するデータベースは、NoSQLデータベースの1つです。一般的に、SQLデータベースは中央集中型の処理でデータの整合性を守るロックの仕組みが特長です。スケールアップで性
ビッグデータ時代にNoSQL躍進もRDBMSの優位は当面揺るがず？--その理由とは
「MongoDB」や「Cassandra」はリレーショナルデータベースマネジメントシステム（RDBMS）から顧客を奪い続けているが、大企業はまだRDBMSを使い続けており、今後もその状況は当面変わらない。 これまで、ビッグデータによってデータについての考え方や管理の仕方が変われば、NoSQLはデータベース市場を支配するようになると言われてきた。しかし、ビッグデータ革命が起こって数年が経過したが、その期待はまだ実現していない。 確かに、NoSQLは460億ドル規模のデータベース市場に大きな影響を与えている。今はまだ市場の3％を占めているにすぎないが、依然として5.4%のゆっくりとした拡大を続ける従来のリレーショナルデータベースよりも、さらに速いペースで拡大している。しかし同時に、ビッグデータの世界になっても、DB-Engineが公表した最新のデータ人気ベースランキングでは、依然としてリレーシ
NoSQLデータベース：調査と決定のガイダンス（その3） | POSTD
追記専用 ストレージ(ログ構造化ストレージとも呼ばれます)は、順次書き込みをすることでスループットの最大化を実現しようとします。ログ構造化ファイルシステムの研究の歴史は長いものの、追記専用入出力がデータベースに関して普及したのは、BigtableでLSM（Log-Structured Merge）ツリーが使用されたからです。このLSMツリーは、インメモリキャッシュ、ハードディスク保存ログ、不揮発性メモリおよび定期的に書き込みされるストレージファイルで構成されています。LSMツリーや変種のSAM（Sorted Array Merge）ツリー、COLA（Cache-Oblivious Look-ahead Arrays）は多くのNoSQLシステムに導入されています（Cassandra, CouchDB, LevelDB, Bitcask, RethinkDB, WiredTiger, Rock
主要NoSQLの種類と特性を整理--分散DBMS「Cassandra」も解説 - builder by ZDNet Japan
クラウドが全盛を迎えた今、従来型のリレーショナルデータベース管理システム（RDBMS）と並んで「NoSQL」の存在が重要性を増している。 今回は、NoSQLの一種として注目されているデータベースシステム「Apache Cassndra」を解説する。 そもそも「NoSQL」というのは「RDBMSではないデータベースシステム」という程度の緩い概念を表す用語なので、一言でNoSQLと言ってもその仕組みやデータ構造には様々な種類がある。 代表的なNoSQLの種類を挙げてみよう。 KVS（Key-Value Store型） キーと値をペアにして保持するシンプルなデータ構造を持つ。キーと、格納したいデータを紐付け、キーを指定することでそれに対応したデータを格納／取得することができる。複数のストレージにデータを分散させて格納するKVSを特に「分散KVS」と呼び、データのレプリケーション（複製）や一貫性、
CassandraとHBaseの比較して入門するNoSQL
第10回Cassandra勉強会にて発表したスライドに、勉強会後のフィードバックを反映させた物です。Read less
Apache Cassandra | Apache Cassandra Documentation
What is Apache Cassandra? Apache Cassandra is an open source NoSQL distributed database trusted by thousands of companies for scalability and high availability without compromising performance. Linear scalability and proven fault-tolerance on commodity hardware or cloud infrastructure make it the perfect platform for mission-critical data.
FrontPage_JP - Cassandra Wiki
Cassandra Wiki Cassandraは、非常に高いスケーラビリティーを持ち、イベンチュアルコンシステントな分散システム構造のKVS(Key Value Store)です。 Cassandraは、主にBerkeley DBとMySQLから構成されるAmazon Dynamo (PDF)の分散ハッシュテーブル（DHT）と、Google BigTable (PDF)のデータモデルという分散システムのテクノロジーを併せ持っています。 Amazon Dynamoのように、Cassandraはイベンチュアルコンシステントであり、Google BigTableのようにCassandraは典型的なKVS(Key Value Store)より豊かなカラムファミリーベースのデータモデルを提供します。 Cassandraは、2008年7月にFacebookによってオープンソースとして公開されました。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
