Cassandra 読み書き一貫性レベル（consistency Level）のまとめ - oranie's blog
ソースは1.1.5で確認。ConsistencyLevel.javaに分かりやすく書かれていた。 行数は56-75 * Write consistency levels make the following guarantees before reporting success to the client: * ANY Ensure that the write has been written once somewhere, including possibly being hinted in a non-target node. * ONE Ensure that the write has been written to at least 1 node's commit log and memory table * TWO Ensure that the write has been
Cassandraサーバのディスク容量減少アラートが飛んできた！ってときにどう対処するか - oranie's blog
乗るしか無い、このビッグウェーブに。 （このエントリとこのエントリの三番煎じです。） - 追記 Cassandraはデータ領域のDisk使用量が50%でクリティカルと記載しましたが、いきなりズドンと落ちるとかでは無く、compactionを実行した時にテンポラリーファイル作成します。これは対象のSSTableのサイズに依存します。で、このテンポラリーファイルが作成できなくなる可能性がある閾値が50%です。 http://wiki.apache.org/cassandra/CassandraHardware_JP から引用 MemtableSSTableで述べているように、コンパクションは最悪の場合、一時的にひとつのボリューム(つまりデータディレクトリ)に対して最大そのデータと同じだけの空き領域を要求します。 - まずCassandraでDisk空き領域が減少する可能性があるのはほぼ2つ。ア
ここ最近のCassandra運用の色々まとめメモ - oranie's blog
まあそんな内容でも誰かの役に立つかもしれないのでメモを書いておく。体系だったまとめでも無いのでそんなレベルで。 運用とか http://ameblo.jp/principia-ca/entry-11514557323.html こんなブログを書いたので、そっちを見てみて下さい（ステマ テストスクリプトとか。 https://github.com/oranie/oranie/blob/master/cassandra/cassandra_test_data.pl こんな感じで、僕の場合perlでCassandra::Lite使うと楽だった。 Cassandra::Liteメモ # Insert it. $c->put($columnFamily, $key, {title => 'testing title', body => '...'}); And get data: # Get a c
HBase, Cassandra関連でスライドがいくつか上がっていたのでメモっとく - wyukawa's diary
InstagramがCassandraを使っているらしい - wyukawa’s blogで取り上げたInstagramがCassandraを使っている話の資料がslideshareに上がってました。Cassandra Summit 2013でのプレゼンですね。 C* Summit 2013: Cassandra at Instagram by Rick Branson from Planet Cassandra ― A DataStax Community Service 動画もありました。 技術力、英語力不足で詳細はわからず。。。 QCon New York 2013ではFacebookのエンジニアがHBaseのBackupとReplicationについて話している資料と動画が下記に上がっています。面白そうなんですけどこちらも技術力、英語力不足で詳細はわからず。。。 Facebook
InstagramがCassandraを使っているらしい - wyukawa's diary
Instagramといえば1年前の以下の資料によればAWS上にDjangoを使ってサービスを展開させておりデータのストレージとしてはPostgreSQLとRedisを使っていました。 「バックエンドの経験はなかった」Instagram創業者は、どうやってシステムをスケールさせてきたか － Publickey Kosei Kitahara's Blog: Instagram のスケール正攻法 Mike Krieger, Instagram at the Airbnb tech talk, on Scaling Instagram | Cache (Computing) | Scalability 今回はさらにCassandraを使うようになったみたいです。 元ネタはこちら Planet Cassandra | DataStax Academy: Free Cassandra Tutorial
JUDCon 2013＆CamelOne 2013 in Bostonに参加してきました - Taste of Tech Topics
阪本です。 おなじみRedHat社が主催する、JBossとApache Camelのカンファレンス「JUDCon 2013 ＆ CamelOne 2013」がアメリカ・ボストンで開催されたので、参加してきました！ JUDConは2010年から、CamelOneは2011年から開催されている、参加者が1000人に及ぶカンファレンスで、JBoss関連プロダクトやCamelの最新情報・事例をいち早く手に入れることができます。 今年のボストン開催では、6/10と6/11にセッションが行われました（JUDConはブラジル等でも開催されています）。 その中で発表があった、いくつかのセッションを簡単に紹介します。 Common JDG Architectures JDG＝JBoss Data Grid の略。 Webアプリケーションに対して、キャッシュ（JDG）を組み込むときのアーキテクチャパターンにつ
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
インフラエンジニアのためのCassandra情報 監視その２：So-net Developer Blog：So-netブログ
Nagiosを使ってCassandraのノードを監視してみましょう。 CactiのようにノードのJMXの値を詳細に監視することは出来ませんが、各ノードが 動いているかどうかを確認するだけであれば、ここで紹介する方法が簡単です。 NagiosでCassandraノードの状態を確認するには、やはりJMXを使用します。 Nagiosサーバ側から、Cassandra各ノードのJMXに接続、JMXメトリックスから 「LiveNodes」アトリビュートを取得してノードのアドレスが含まれていれば、ノードは 活性状態であると判断できます。 Cassandraノードである「hogehost」から「LiveNodes」アトリビュートを取得する例: String user = "cassandra"; // ノードOSに登録されているユーザ String pass = ""; String hostname =
cassandra1.2系defaultのcassandra.yamlを1.1系とちょっと比較した - oranie's blog
タイトルそのまま。今1.1系使っていて1.2.5へのアップデートを検討していて、configが結構変わっているらしいので、それらを調べてみた。 基本は今使っているとdiff取って名前変わっている奴や追加されている奴だけ記載。「>」ってついている奴は1.1系の時の奴。 http://www.datastax.com/docs/1.2/configuration/node_configuration 上記内容をGoogle翻訳して適当に見ただけなので、あんまり信用しない方が良いかも。あと、yamlに明示的に書いていないけど追加されている項目で1.2系からdefault 有効になっている奴もあるような気がするけど、そこはカバーしていないので調べて下さい＞＜ hinted_handoff_throttle_in_kb: 1024 hinted handoffの転送速度 max_hints_deli
Cassandra 2.0 に CAS が入るとか入らないとか - kuenishi's blog
CASSANDRA-5062でCAS (Compare and Swap) を入れようという話になっているらしく、一体どんなすごいアトミックブロードキャストを使うのか気になっていた。どういうことなのだろうとスレッドをナナメ読みしてみたのだが…議論の流れとしては カウンターだけじゃなくてCASほしいよねAPIとして ZooKeeperのロック使うのがシンプルでいんじゃね？ いやいやサーバーの種類増やすとかあり得ないし 基本方針は、コーディネーターみたいなのをレプリカセット毎に決めてそこから Chain Replication ぽく コーディネーターどうやって決める やっぱPaxosじゃね？ 再実装ヤダよZAB使おうよZKの実装あるよ （なんかプロトコル上の理由があって）やっぱPaxos実装するしかないか… となって、結局 Jonathan Ellis が Paxos を素で実装してしまった模
m7a.me - m7a リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
Cassandra nodetool repairの挙動について教えて貰ったのでまとめ - oranie's blog
題名そのまま。repairの挙動をdatastaxのドキュメント読んでも良く分からない、ヽ(｀Д´#)ﾉ ﾑｷｰ!!となっている所をまたも@yukimさんに教えて貰いました。 なので忘れないようにメモです。 nodetool repairとは nodetool --helpで出力されている使い方は以下の通り repair [keyspace] [cfnames] - Repair one or more column family (use -pr to repair only the first range returned by the partitioner) 直訳すると一つ以上のcolumn familyを修復します。-prオプションを付けて実行するとパーティショナーの初めのレンジだけrepairを実行しますこの直訳だけではなんのこっちゃですね。 repairを実行する目的 rep
第17回Cassandra勉強会: MyCassandra
The document discusses different NoSQL databases and how Cassandra compares to them. It notes that Cassandra uses a Dynamo-inspired architecture with Bigtable-style columns. Cassandra provides better write performance than MySQL through its use of consistent hashing and replication across multiple data centers for high availability. It also offers better read performance than MySQL for large datas
これがCassandra
3. システム構成 • Node数：97台 • サーバスペック 機器：Dell R410、R420 メモリ：64GB CPU:16コア、24コア HDD：600GBx4 (RAID-10) 600GBx2(RAID-1)+SSD 512GB(RAID-0) • クラスタ数：1 • Cassandraのバージョン：1.1.5-2(独自バージョン) • KeySpace数：8 • ColumnFamily数：156 4. 運用状況とか Cluseter Writes Request: 32000/sec Cluseter Reads Request : 58000/sec 1 nodeあたりのデータロードサイズ 約200～230GB
主要NoSQLの種類と特性を整理--分散DBMS「Cassandra」も解説 - builder by ZDNet Japan
クラウドが全盛を迎えた今、従来型のリレーショナルデータベース管理システム（RDBMS）と並んで「NoSQL」の存在が重要性を増している。 今回は、NoSQLの一種として注目されているデータベースシステム「Apache Cassndra」を解説する。 そもそも「NoSQL」というのは「RDBMSではないデータベースシステム」という程度の緩い概念を表す用語なので、一言でNoSQLと言ってもその仕組みやデータ構造には様々な種類がある。 代表的なNoSQLの種類を挙げてみよう。 KVS（Key-Value Store型） キーと値をペアにして保持するシンプルなデータ構造を持つ。キーと、格納したいデータを紐付け、キーを指定することでそれに対応したデータを格納／取得することができる。複数のストレージにデータを分散させて格納するKVSを特に「分散KVS」と呼び、データのレプリケーション（複製）や一貫性、
Apache CassandraとAmazon DynamoDBの比較 | DevelopersIO
2012/1/23 updated Apache Cassandraとは？ Apache Cassandraは、2007年にAmazonによって発表されたDynamoに関する論文からインスパイアされて開発されたNoSQL分散データベースです。2008年にFacebook社によりオープンソースとして公開されました。スケーラビリティと高可用性を求めている方には適しています。線形の拡張性とフォールトトレラントを備えていて、クラウドやオンプレミス上で構築することができ、ミッションクリティカルなデータを保管することができます。Cassandraは、複数のデータセンターでの稼働をサポートしていて、低いレイテンシーでやり取りを行う事が出来ます。万が一の災害時にも安心です。 Amazon DynamoDBとは？ Amazon DynamoDBは、シームレスに拡張ができ、高速で予測可能なパフォーマンスを提供
Cassandra勉強会
1. Cassandra is a decentralized structured storage system designed for scalability and high availability without single points of failure. 2. It uses consistent hashing to partition data across nodes and provide high availability, and an anti-entropy process to detect and repair inconsistencies between nodes. 3. Clients can specify consistency levels for reads and writes, with different levels bal
CassandraにPelopsでアクセスしてみた | さぶみっと！JAPAN
サンプルコード import java.util.List; import org.apache.cassandra.thrift.Column; import org.apache.cassandra.thrift.ConsistencyLevel; import org.apache.commons.logging.Log; import org.apache.commons.logging.LogFactory; import org.scale7.cassandra.pelops.Bytes; import org.scale7.cassandra.pelops.Cluster; import org.scale7.cassandra.pelops.Mutator; import org.scale7.cassandra.pelops.Pelops; import org.scal
Cassandra運用に活躍したスクリプトたち : toda_k
弊社検証環境で半年ほど10数台規模のCassandraクラスタを運用してきたのですが、運用に使っているスクリプトがある程度固まってきたのでまとめてみます。更なる簡素化・便利化を進めるための棚卸しという感じです。古いものも混ざっていて若干申し訳なくはあるのですが……どなたかの役に立てば幸いです。では見て行きましょう。 スクリプトの運用体制について すべてのスクリプトはSubversionで管理され、主にJenkinsによって自動的に実行されます。多数のノードに対する同時処理を行なうためにGNU Parallelを使うことがあります。 またCassandraサーバはAWS EC2上で運用されているため、AWS SDK for RubyによってIPアドレスの取得などを行なっています。 各ノードでのnodetool ring実行結果を集約 クラスタが不安定なとき、実際は動いているのに一部のノードか
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
HBaseとCassandraのスライド、プラス@ – OpenGroove