ここ最近のCassandra運用の色々まとめメモ - oranie's blog
まあそんな内容でも誰かの役に立つかもしれないのでメモを書いておく。体系だったまとめでも無いのでそんなレベルで。 運用とか http://ameblo.jp/principia-ca/entry-11514557323.html こんなブログを書いたので、そっちを見てみて下さい（ステマ テストスクリプトとか。 https://github.com/oranie/oranie/blob/master/cassandra/cassandra_test_data.pl こんな感じで、僕の場合perlでCassandra::Lite使うと楽だった。 Cassandra::Liteメモ # Insert it. $c->put($columnFamily, $key, {title => 'testing title', body => '...'}); And get data: # Get a c
Cassandraってなんじゃ？（EC2で起動時自動ノード追加とノードの削除）
Cassandraを使っているときに、容量が足らない、負荷が高いなどの理由でノードを増やしたい場合があります。また、負荷が長期的に落ち着き、予算を抑えるためにノードを減らすこともあります。 今回はノードの追加と削除をやってみます。 トークンの算出 ノードを追加するケースはリングの負荷状態によって、大きく分けて 保存するデータのハッシュやアクセスに偏りが大きく、特定ノードの容量または処理の負荷が高いので負荷集中を分散したい。 リング全体の容量、または処理の負荷が高いので、全体的に数を増やして均一に分散したい。 の２通りかと思います。 １の場合、負荷の高いノードの近くにノードを追加し、ノードの均一化はせずに特定のトークンの範囲にノードを集中させたほうがよさそうです。 ２の場合、ノードを追加したら、全ノードが均等にリング上に再配置したほうが全体としての負荷は抑えられそうです。 今回は１の場合を例
Benchmarking Cassandra Scalability on AWS
by Adrian Cockcroft and Denis Sheahan Netflix has been rolling out the Apache Cassandra NoSQL data store for production use over the last six months. As part of our benchmarking we recently decided to run a test designed to validate our tooling and automation scalability as well as the performance characteristics of Cassandra. Adrian presented these results at the High Performance Transaction Syst
11. Cassandra の参考情報 — Cassandra管理者ガイド 第17版 2023-10-01 intra-mart Accel Platform
| intra-mart Accel Platform Cassandra管理者ガイド 第17版 2023-10-01 クイック検索 intra-mart Accel Platform Cassandra管理者ガイド 第17版 2023-10-01 目次 ≪ 10. Cassandra のバージョンアップ 目次 1. 改訂情報 2. はじめに 3. Cassandra の概要 4. Cassandra のセットアップ 5. Cassandraの起動、停止方法 6. Cassandraのクラスタ構築 7. Cassandra への接続認証設定 8. Cassandra の操作 9. Cassandra の運用 10. Cassandra のバージョンアップ 11. Cassandra の参考情報 11.1. cassandra.yaml 主な項目一覧 11.2. 外部サイト 11. Cas
『WebSocketで監視もリアルタイムに』
こんばんは。社内ニートの佐野と申します。所属はいちおAmebaのインフラチームです。Twitterもやっていますがフォローする価値はないです。つぶやいているのはメシと酒の話と下ネタだけです。 最近、組織改編とかもろもろありましてこのたびは雑用からニートになりました:(;ﾞﾟ'ωﾟ'): あまり目立たないように生きてたんですが、何気にこのブログへの登場は3回目になります...。前回は2012年12月に「QCon San Francisco 2012の参加レポ」を書かせていただきました。その前は2012年5月に「Virident FlashMAXの検証」として名前だけ登場しました。なんか、ニートだけど会社に貢献してる気がしてきた(^ρ^) そんなわけで以前WebSocketを使った監視ツールもどきを作ったので、それについての簡単な説明と、各種技術要素(Python, Jolokia)のTips
JolokiaでMBeanにアクセスする | Ore no homepage
ちょっとJVMってかMBeanの情報をぶっこぬくツールを作る必要があって、最初jythonで作ったんだけどjythonにはいろいろ失望した。で、同僚にJolokiaってのがあると教えてもらったのですが、これがなかなかイケてる。Jolokiaというのは、簡単に言うと、MBeanにHTTP経由でアクセスできるようにjmxの口を空けてくれるJavaのエージェント。こいつをJavaプログラムやJavaなミドルウェアに仕込んでやるだけでHTTPの口が空いて、そこ経由でいろいろできる。レスポンスはJSONで帰ってくる。 Cassandraの記事はまた次回ｗｗｗ まぁ、今回もJolokiaに手を出したのもCassandra起因なんだけどね。Cassandraはレイテンシやリード/ライト数がMBeanに格納されてて、そいつを抜いてグラフ描画させたいなぁ、と。Cassandraのマネジメントツールとしては、
Cassandra Summit JPN 2014 にいってきた（午前編） - #garagekidztweetz
今年もブログを書くまでが勉強会ってことで、参加してきた勉強会のメモを公開していきます。 2014 年、最初の今回はCSJPN2014へいってきました。 わたし自身は Cassandra をほとんど触っていないんですが、チームでは使っているので、仕事を円滑にするために、現状のトレンドをキャッチアップするため、が動機でした。 ちなみに今回からわたしが参加してきた勉強会等のイベントのメモを公開するときには、一日開催されていた勉強会に関しては、午前と午後で二つにわけてメモを公開するようにしていこうと思ってます。 というわけで、このエントリは午前のメモ用のエントリで、この後続いて午後のメモ用のエントリを書くつもりです。 午後の分は Cassandra Summit JPN 2014 にいってきた（午後編）に書きました。 ちなみにこのイベント、ハッシュタグらしいものがなさそうだったのでとりあえずそれっ
Cassandra Summit JPN 2014 にいってきた（午後編） - #garagekidztweetz
では、Cassandra Summit JPN 2014 にいってきた（午前編）に引き続いて、id:oranie さん@サイバーエージェントによる 100 node 運用の話が一番聞きごたえがあった 午後編です。 ほとんどこのイベントに関するツイートがなかったので、後日、各スピーカーの方がスライドを公開してくれるといいんですが、見つけられたら、そのスライドへのリンクを追記したいと思います。 （ id:oranie さんのスライドは、ご自身のブログでCassandra summit JPN 2014でスピーカーしてきました。 - iをgに変えるとorangeになることに気づいたoranieの日記 公開されていました- 2014-01-27 16:25 追記 ） では以降からが午後の各セッションのメモです。 会場 (A): Cassandra's Tunable Consistency (Da
日本Cassandra協会 | Cassadndra Consortium Japan
お知らせ 【2014/01/24】 今年もApache Cassandraユーザーの祭典、Cassadndra Summit JPN 2014を開催いたします！ 詳細はコチラ
FAQ_JP - Cassandra Wiki
FAQ CassandraはListenAddress設定で何故0.0.0.0(全アドレス)でリッスンできないのですか? Cassandraはどのポートを使うのですか? Cassandraは何故大量のインサート後に遅くなるのでしょうか? 新たにノードを追加したときに，既存のデータはどうなってしまうのでしょうか? 動いているクラスタに新たにカラムファミリを追加したり削除したり改名したりできますか? Thriftクライアントやハイレベルクライアントがどのノードに接続しているかは問題になるでしょうか? Cassandraを動かすマシンの推奨スペックってどんなものでしょうか? SSTablesとMemtablesって何ですか? Javaで何故TimeUUIDTypeを使うのが難しいのでしょうか? Cassandraからデータを削除したのにディスク使用量は同じです.何が起こってるのでしょうか? 何故
続いて、CQLへ - CLOVER🍀
cassandra-cliを触ってみたので、今度はCQL（Cassandra Query Language）を使ってみます。 とりあえず、比較のためcassandra-cliで先にキースペースを作成しておきました。 [default@unknown] create keyspace DEMO ... with placement_strategy = 'org.apache.cassandra.locator.SimpleStrategy' ... and strategy_options = {replication_factor:1}; 9e2f3541-c5e7-31de-95a3-98047e78a696 [default@unknown] use DEMO; Authenticated to keyspace: DEMO [default@DEMO] create clumn f
CQL
Cassandra Query Language (CQL) v3.0.5Cassandra Query Language (CQL) v3.0.5CQL SyntaxPreambleConventionsIdentifiers and keywordsConstantsCommentsStatementsPrepared StatementData DefinitionCREATE KEYSPACEUSEALTER KEYSPACEDROP KEYSPACECREATE TABLEALTER TABLEDROP TABLETRUNCATECREATE INDEXDROP INDEXData ManipulationINSERTUPDATEDELETEBATCHQueriesSELECTData TypesWorking with datesCountersWorking with col
実用段階に入ったNoSQLをおさらい 「Cassandra」の概要と導入手順・基本設定
ビックデータとは はじめに、Cassandraが得意としているビックデータについて解説します。ビックデータという言葉が一般的に使われていますが、実際のところ何を指すのか、これまでとの違いは何かを説明します。 何に使われているのか 「ビックデータ」とは、通常の処理では処理不可能な膨大な蓄積データを指す言葉です。これまでは、処理することをあきらめていた膨大なデータを処理対象とすることで、新しい答えを見出すことを目指しています。しかも短時間で処理することで、タイムリーな活用を目指すのです。 これまでは、ばらばらに発生していたデータが、通信環境の発達でリアルタイムに収集することが可能になりました。個々のデータは小さくても、大量に集まれば膨大なデータです。せっかく集めた膨大データを活用するために時間が掛っては何もなりません。大量に集めたデータを短時間に効率よく処理して、処理結果を得られる必要がありま
JMXのメトリクスをfluentd経由で蓄積する | nagaseyasuhito Daily works.
みなさんJMXは使っていますか？Javaアプリケーションのメモリ使用量を始めとした統計情報を取得したりできる、運用には欠かせないモニタリング・管理の仕組みですが、統計情報を蓄積する方法に悩んでいる方も多いのではないでしょうか。 今回はアプリケーションから取得できる様々な統計情報をfluentd経由で蓄積し、分析やトラブルシュートに活用する方法を紹介します。 JMX用のfluentdプラグイン JMXの統計情報をfluentdで収集するfluent-plugin-jolokiaというプラグインを使います。 fluent-plugin-jmxではなくfluent-plugin-jolokia？と思われるかもしれません。 JolokiaはJMXをJSONベースのREST APIとして提供するためのエージェントです。fluentdのプラグインはRubyで書かれていますが、Rubyから直接JMXのプ
Cassandraってなんじゃ？（EC2でDataStaxOpsCenterを動かす）
前回の記事で、Cassandraでクラスタリングをした場合、クラスタの情報をみるためのnodetoolの紹介をしました。 ただ、nodetoolやcassandra-cliでは、ノードの構成や配置が複雑だったりデータの分布を直感的に確認することは大変です。 そんな場合、DataStax社が提供しているOpsCenterという管理画面ツールを使うと便利なようです。DataStaxはApache Cassandraのプロジェクトリーダーが起こした会社でcassandraのコミッタの多くが在籍しているそうです。 DataStax OpsCenterに関しては、以下のサイトで紹介されています。 Cassandraクラスタと、DataStax OpsCenterの構築 また、DataStaxの公式サイトに詳細なガイドがあります。 DataStax OpsCenter Documentation これ
6. Cassandraのクラスタ構築 — Cassandra管理者ガイド 第15版 2018-12-01 intra-mart Accel Platform
クラスタ構築のため、replication-factorやhostの変更を行った場合、intra-mart Accel Platform のセットアップ時に設定が必要となります。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Getting started using CQL | DataStax Cassandra 1.2 Documentation
Getting started using CQL | DataStax Cassandra 1.2 Documentation
Getting started using CQL | DataStax Cassandra 1.2 Documentation
Log In | Prezi