え、まって。その並列分散処理、Kafkaのしくみでもできるの? Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理
![Cassandra導入事例と現場視点での苦労したポイント cassandra summit2014jpn](https://cdn-ak-scissors.b.st-hatena.com/image/square/88fcaee0ebb9dac39a4836d3f48a74bf6c58a6cf/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fcassandracassandrasummit2014jpn-140127040026-phpapp02-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
ノードをクラスタから取り外す場合を考えます。 連続稼動で運用していると、クラスタ全体を止められないので、メンテナンスやハードの入れ替 えを実施したい場合は、ノード1台単位または数台単位で切り離して実施することになるで しょう。その場合、いきなり稼動中のノードのCassandraサービスを停止したりマシンの電源を 落としてしまうと、クラスタからはそのノードが障害ノードとして扱われてしまいます。 そのように、障害ではなく計画的にノードの取り外しを行いたいときには、decommission処理を 実施します。decommissionすることで、取り外す予定のノードが担当していたデータを他の ノードへ再配布し、切り離しても問題ないような状態にします。 実行には、nodetoolの動かせるどこかのノードで、 $ ./nodetool -h [取り外す予定のノードアドレス] decommission
題名そのまま。repairの挙動をdatastaxのドキュメント読んでも良く分からない、ヽ(`Д´#)ノ ムキー!!となっている所をまたも@yukimさんに教えて貰いました。 なので忘れないようにメモです。 nodetool repairとは nodetool --helpで出力されている使い方は以下の通り repair [keyspace] [cfnames] - Repair one or more column family (use -pr to repair only the first range returned by the partitioner) 直訳すると一つ以上のcolumn familyを修復します。-prオプションを付けて実行するとパーティショナーの初めのレンジだけrepairを実行しますこの直訳だけではなんのこっちゃですね。 repairを実行する目的 rep
There are a number of ways to ingest preexisting data into a Cassandra cluster. The venerable and low-level BinaryMemtable interface was used in the early days, but it was quite difficult to use, and it's not even an option anymore. The json2sstable and sstableloader tools are very efficient, but setting up the procedure involves careful configuration and network considerations. The BulkOutputForm
3. 自己紹介 桑野 章弘 id: akuwano twitter: @kuwa_tw 株式会社サイバーエージェント インフラエンジニア 最近は自分でも何やってんのかわからなくなってきた
Cassandraのクラスタ環境を構築して、DataStax OpsCenterでデータの管理ができるようにします。 Cassandraの設定方法のサンプルを載せているblogなどは沢山あるのですが、旧バージョンのCassandraを試している記事が多くて、頻繁にバージョンアップするCassandraに情報が追いついていません。 ここでは、新しくCassandraを試してみたい方に参考になればと考えて記事を書きました。 また、DataStax OpsCenterというツールを利用して、データの可視化にも挑戦しています。 Cassandraとは 公式ページ:http://cassandra.apache.org 正式名称はApache Cassandraです。 Wikiより引用 『Cassandraは、非常に高いスケーラビリティーを持ち、イベンチュアルコンシステントな分散システム構造のKVS
FlexやRuby on Railsなどで使い方とかを自分が後でわかるようにメモしておくブログ。最近はFlex系に飽きてます。 RailsでCassandra0.7系を試してみる - Cassandra-cliを利用する Windows7での環境構築編 RailsからCassandraを操作する前にCassandra-cli(Cassandraのクライアント)を利用してどんなことができそうか試してみます ヘルプ見るのだるいので簡易リファレンスになるようにメモります Cassandraサーバの起動 フロントエンドモードで起動させます cassandra -f Cassandra-cliの起動 cassandra-cli -host localhost Cassandra Keyspace KeyspaceとはRDBにおけるデータベーススキーマのことです Keyspaceの作成 create
ハードウェア CassandraHardwareを参照して下さい。 チューニング PerformanceTuningを参照して下さい。 スキーマ管理 ノードのクロックをntpなどで同期して下さい。クロックが同期していない場合、更新時刻のずれによってスキーマ変更が無効と見なされる可能性があります。 LiveSchemaUpdatesを参照して下さい。[0.7で導入された機能] リング管理 それぞれのCassandraサーバ(ノード)には、そのホストを最初のレプリカ先として使用するキーを決定するためのトークンが割り当てられます。ノードのトークンでソートした場合、あるノードが担当するキー範囲は(前のノードのトークン、自ノードのトークン]です。即ち、「前の」トークン(その値は含まない)から自分のトークン(値を含む)までの間隔です。リングの中で最も小さいトークンを持つノードはそのトークン値以下のキー
@marqsさんと@muranetさんと一緒にhbstudy#11で発表させていただきました。 これを機にとか言うとでかすぎる気がしますがCassandraが国内でも盛り上がるといいなーと思います。 懇親会でも結構使おうとしている方がいたりしてうちもうかうかしてられないですねw 資料をあげましたのでこちらよろしかったらどうぞ! インフラエンジニアのためのcassandra入門 View more presentations from Akihiro Kuwano. これだけはかかないと! 素晴らしい会を開いて下さっているハートビーツの方々や、スピーカーの方々、来ていただいた方々に感謝しております 非常に楽しかったです! ただいま二日酔いですw
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く