Cassandraのストレージエンジンを入れ替えて高速化した「Rocksandra」、Instagramがオープンソースで公開。Javaのガベージコレクションによる遅延を大幅に解消
Cassandraのストレージエンジンを入れ替えて高速化した「Rocksandra」、Instagramがオープンソースで公開。Javaのガベージコレクションによる遅延を大幅に解消 Instagramは、NoSQLデータベースのCassandraで発生していたJavaのガベージコレクションに起因する遅延を解消し、高速化した改良版Cassandraをオープンソースで公開したと発表しました。 ストレージエンジンとしてキーバリューストアの「RocksDB」を用いたことから、同社はこの改良版Cassandraを「Rocksandra」と呼んでいます。 JavaのガベージコレクションがCassandraの遅延を発生させている 同社がRocksandraの開発に至った経緯は、エンジニアブログ「Open-sourcing a 10x reduction in Apache Cassandra tail
Cassandraでサービスを運用していく中で困ったこと/苦労していること - jildin workers
こんにちは。苦労で禿げそうです。 どうも、Jildinのハゲタカです。 先日Cassandraについて記事を書きました。 jildin.hatenablog.com 今日はその先のお話。実際にCassandraを使ってサービスを運用していく中で困ったことや苦労していることについて書きたいと思います。 Transactionという概念 CassandraにはOracleのようにtransactionという概念がありません。 なのでここからここまでの処理が全部終わったらデータベースに処理を反映してね、っていうことができないのです。いままでOracleがよろしくやってくれていたことができなくなってしまいます。 それでですね。なんでこのtransaction管理がないのが致命的にまずいのかちょっと事例を紹介したいと思います。 Transactionで困った話 Jildinは主にSFAの機能を備えた
NoSQLのCassandraを使うときの注意点 - jildin workers
こんにちは。Jildinのハゲタカです。 ハゲタカといいつつ髪の毛はもさもさです。 皆さんはCassandraはご存知ですか？ 今流行りのNoSQLの一種です。慣れてしまうと使い勝手もよく、割とイケている子なのですがいかんせんロゴがキモいのが玉に瑕(たまにきず)です。 今日はそんなCassandraについて記事を書きたいと思います。 CassandraはReadかWriteしかない RDBに慣れ親しんだ開発者の多くがこの仕様に殺されるところを見て来ました。それはそれは酷い死に方でした…。 そうなんです。CassandraにはReadとWriteの概念しかないのです。つまりどういうことかというと「INSERT」「UPDATE」「DELETE」がぜ〜んぶ同じなんです。 すでに存在しているキーに対してUPDATEをかけるだけでなく、存在しないキーにUPDATEをかけることだってできちゃうんです。
はじめるCassandra
Cassandra Meetup in Tokyo, Summer 2015でお話してきた奴Read less
CassandraとHBaseの比較して入門するNoSQL
第10回Cassandra勉強会にて発表したスライドに、勉強会後のフィードバックを反映させた物です。Read less
『fluentd + Elasticsearch + kibanaでCassandraモニタリング』
はじめまして。インフラ＆コアテク本部の鳥垣と申します。普段はAmeba Smart Phone PlatformやAmebaの基幹系サービス全般のインフラを見る仕事をしております。 昨今fluentd + Elasticsearch + kibanaを使ったリアルタイムモニタリングが流行っていますが、これを使ってCassandraのステータスをモニタリングするシステムを作ってみましたので、そのお話をさせていただければと思います。 構築のきっかけこちらのサイトにてdstatのモニタリングをkibanaでやっている記事を拝見し、Cassandraのステータスも同じようにリアルタイムグラフの描画ができないかと考えました。 以前にWebSocketで監視もリアルタイムにという記事でもあるとおりリアルタイムモニタの仕組みはありましたが、kibanaの検証も兼ねてリアルタイムのグラフ描画にチャレンジし
Cassandra vs Riak vs Redis 〜 NoSQLの性能を比較してみた
CassandraとRiakとRedis、どれが一番速いのかなーってことで性能を比較してみました。 後ほど詳しく書きますが、若干Redisに有利なベンチマークの取り方しています。 各ミドルウェアの条件と特徴はこれ。 アーキテクチャ比較 version: 2.0.5 構成: cluster depend: Java, Python データモデル: カラム指向 アーキテクチャ: Gossip ノード管理: 設定ファイル/コマンド/GUI 無停止ノード管理: 無停止 CUIクライアント: cqlsh 管理ツール: 付属のweb ui Cassandraのインストール〜クラスター構築はこちらをどうぞ。 Cassandra2系のクラスターをRHEL系LInuxに構築する version: 2.0.0pre11 構成: cluster depend: Erlang データモデル: Key-Value
Cassandraの情報集める時に良く見るものメモ - oranie's blog
最近「ついに実運用段階に入った」と言われてTwitter上でも一部で騒がしいCassandraですが、日本語の情報があまり無いのでググったりしても「※この情報はVer0.8の時です」とか書かれていて、今2.1系ベータが出る時代なので全く参考にならないとかお困りの方も多いのでは無いでしょうか。 以下のリンク集はググったら5分位ですぐ見つかる様なサイトばかりですがメモです。 The Apache Cassandra Project http://cassandra.apache.org/ プロジェクト自体のオフィシャルサイト。まずはここを読みましょう。とりあえず触る人は「GettingStarted」くらいは読んでおくと良いんじゃないでしょうか。 DataStax http://www.datastax.com/ Cassandraと言えばDataStax社と言っても過言じゃないレベルなので、
Cassandra導入事例と現場視点での苦労したポイント cassandra summit2014jpn
This document discusses exactly once semantics in Apache Kafka 0.11. It provides an overview of how Kafka achieved exactly once delivery between producers and consumers. Key points include: - Kafka 0.11 introduced exactly once semantics with changes to support transactions and deduplication. - Producers can write in a transactional fashion and receive acknowledgments of committed writes from broke
Cassandra2.0のインストールと用語メモ - FAT47の底辺インフラ議事録
Cassandraとは オープンソースの分散データベース。 元々Facebook社が開発し、現在はApache Software Foundationが開発中で、2013年12月現在の最新版は2.0.3です。 ノードがP2P通信でクラスタを組む非中央管理型のシステムであり、 スケーラビリティ、高可用性、耐障害性に優れていると 言われています。 以下勉強メモ ■Cassandraのインストール ■用語集 Cassandraのインストール JDKインストール OracleJDKをダウンロードしてくる http://www.oracle.com/technetwork/java/javase/downloads/index.html rpm -ivh /tmp/jdk-7u45-linux-x64.rpmCassandraダウンロード wget http://ftp.tsukuba.wide.a
m7a.me - m7a リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
RE:cassandraを運用していて困っていること
re.md @oranie さんのブログ記事への返信です。 たいへん遅くなりました。申し訳ないです。 repairとcompactionのコストが高すぎる Cassandraにノードを追加する(Bootstrap)と、そのノードが担当するレプリカのデータを他のノードから取得します。 Repairはノードが保持するレプリカの整合性を検証して修復します。 どちらもデータを他のノードから取得しますが、ファイルを1つづつやり取りするため時間がかかるのは事実です。 この部分にまだまだ改善の余地があります。次のメジャーバージョンで抜本的に見直します。 ファイルのストリーミングはデフォルトで400Mbit/secに制限されています。帯域に余裕があれば設定(cassandra.yaml の stream_throughput_outbound_megabits_per_sec)を変更しても良いかもしれませ
cassandraを運用していて困っていること - oranie's blog
※2013/03/05に追記 Yuki Morishita(@yukim)さんより以下のエントリについてアンサーを貰いました！！！ https://gist.github.com/yukim/5086476 - なんか呟いたら「m9(^Д^)ﾌﾟｷﾞｬｰ」な意味なのかRTとかがついたので、まとめておこう。きっと「これやれば解決するのに・・・プークスクス！」って教えて貰えるに違いない。半分くらい僕の技術力の低さから来ているのが多いので、Cassandra特有の問題から外れている気がするけど気にしない。 前提条件として HW：CPU12core メモリ64GB Disk:SSDやHDD(RAID10)を使用（詳細な構成は割愛） Cassandra 1.1.5 JDK 1.6.0_33-1 Simple Strategyを使用 1ノード辺り100〜200GB程度のデータを想定 クラスタの数とかは
『cassandra運用監視小ネタ集』
はじめまして。サービスインフラというチームに所属している@oranieと申します。前回の弊社 佐野からCassandra芸人による他のネタも・・・という話があったのでこれ幸いとCassandraネタでお茶を濁そうと思っています。そもそも他にもネタを持っているエンジニアがいる中で僕に執筆依頼を出す時点で、なんて節操の無い寛容な人達だとビックリしました。多分ダーツかなんかで決めたんだと思います。 入社以来、なぜか弊社でデファクトとして使われているデータストアのMySQLにもほとんど触らず、ひたすらCassandra運用とか他には仕事チャット上で一人だけ勝手に盛り上あがって麻呂のAAを貼りつけたり等の社内ピエロ雑用をやっています。おかげさまでエキサイティングな日々を毎日送る事が出来た為、酒の量が一時期増えたのと多少は小ネタを覚えたのでまだ運用していない方に少しでも運用・監視周りのお役に立てれば幸
Cassandra、MongoDB、Redisなど主要NoSQL比較 | gihyo.jp
ハンガリーの企業でCTOを務めるKristof Kovacs氏による記事です。各主要NoSQLプロダクトについて機能比較や利用ケースなどをまとめています。この記事ではCassandraやRedisなど6つのプロダクトを挙げています（表1）。 CouchDBは使い勝手に優れており、双方向レプリケーションやリアルタイム更新をサポートしています。Redisは非常に高速なことが売りで、トランザクションや変更監視の機能が備わっています。Cassandraは書き込みが読み込みよりも速いことから銀行や金融などのリアルタイムなデータ解析が必要になる分野で実力を発揮し、Cassandraと同じくJavaで作られているHBaseは億単位の行と数百万のカラムというBig Dataを扱え、月に1,000億を超えるメッセージを処理するFacebookのバックエンドに採用されています。 次々にプロダクトが生まれた
NoSQLをRDBMSの代替として利用するミドルウエア、ミラクル・リナックスがOSSとして公開
図2●Zabbixの監視データ記録での、MySQLとNoSQLのCassandraの性能比較（ミラクル・リナックスのホワイトペーパーより引用） ミラクル・リナックスは2013年2月14日、RDBMSの代替としてNoSQLを利用するためのミドルウエア「History Gluon」をオープンソースソフトウエア（OSS）として公開した（図1）。オープンソースの統合監視ソフトウエア「Zabbix」が履歴データを保存する際、その保存先としてMySQLに代えてHistory Gluon経由でNoSQLのCassandraを使用することで最大3.4倍の性能が得られたとしている。 5秒の監視間隔で、30分間の監視データを書き込む処理での性能を比較した。MySQLでは、監視項目数が8000点程度までは正常に書き込みが行われ、30分間で最大約300万件の監視データが書き込まれたが、さらに監視項目数を増やすと、
NoSQLデータベースの「Cassandra」最新動向。Cassandra Summit 2012（前編）
NoSQLデータベースの「Cassandra」最新動向。Cassandra Summit 2012（前編） 代表的なNoSQLデータベースの1つ「Apache Cassandra」をテーマにしたイベント「Cassandra Summit 2012」が、8月8日にサンタクララで開催されました。 Cassandraは、キーバリュー型データストアとして高速なデータの入出力や高いスケーラビリティが特徴です。最新バージョンではマルチデータセンター、マルチテナンシーなど高度な機能も搭載しました。 そうした最新機能などが紹介された、Cassandra Summit 2012で行われたCassandraの主要な開発者Jonathan Ellis氏の基調講演「The State of Cassandra, 2012」の内容をダイジェストで紹介します。 The State of Cassandra, 2012
Happy Elements Labs: HEKK流ソーシャルゲームのアプリ構成
エンジニアの草苅（@kusakari）です。 Happy Elements株式会社（以下、HEKK）では、モバイル向けのソーシャルゲームに注力して開発を行っています（PCアプリは中国の Happy Elements Ltd. で開発しています）。 HEKKでは全社的にサーバーサイドのプログラミング言語を Ruby で統一しており、フレームワークは Ruby on Rails を使用しています。 データストレージには Cassandra と MySQL を併用しており、スケールする必要のあるデータ（ユーザーデータ）は Cassandra、マスターデータ（例えばアイテム情報）は MySQL に保存するという形で区別しています。 HEKKで開発しているソーシャルゲームの典型的なリクエストフローは、次の図のようなものです。 Apache Cassandra は facebook で開発された大規模
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
分散KVSのデータモデリング
MariaDB の Cassandra Storage Engine
