How Discord Stores Trillions of Messages
In 2017, we wrote a blog post on how we store billions of messages. We shared our journey of how we started out using MongoDB but migrated our data to Cassandra because we were looking for a database that was scalable, fault-tolerant, and relatively low maintenance. We knew we’d be growing, and we did! We wanted a database that grew alongside us, but hopefully, its maintenance needs wouldn’t grow
Cassandraのカレンダー | Advent Calendar 2015 - Qiita
URLYou can post either your article on Qiita or your blog post. About reserved postingIf you register a secret article by the day before the same day, it will be automatically published around 7:00 on the same day. About posting periodOnly articles submitted after November 1 of the year can be registered. (Secret articles can be registered anytime articles are posted.)
NoSQLの「Cassandra 3.0」がリリース。リファクタリングされたストレージエンジン、マテリアライズドビューなど
NoSQLの「Cassandra 3.0」がリリース。リファクタリングされたストレージエンジン、マテリアライズドビューなど NoSQLデータベースの代表的なソフトウェアの1つ、Cassandraへの注目が高まっています。米アップルは昨年、iCloudなどに保存されている10ペタバイトものデータを7万5000ノードで構成されるCassandraで運用していることを明らかにし、Netflixでも2500ノードで420テラバイトのデータを運用していることを発表するなど、大型の事例が相次いで発表されました（これらはApache CassandraのWebサイトのトップページで紹介されています）。 さらにグローバルで金融事業を展開するINGグループもオンライン決済システムにCassandraを採用、国内ではERPベンダのワークスアプリケーションが開発したERPの「HUE」でCassandraを採用す
『fluentd + Elasticsearch + kibanaでCassandraモニタリング』
はじめまして。インフラ＆コアテク本部の鳥垣と申します。普段はAmeba Smart Phone PlatformやAmebaの基幹系サービス全般のインフラを見る仕事をしております。 昨今fluentd + Elasticsearch + kibanaを使ったリアルタイムモニタリングが流行っていますが、これを使ってCassandraのステータスをモニタリングするシステムを作ってみましたので、そのお話をさせていただければと思います。 構築のきっかけこちらのサイトにてdstatのモニタリングをkibanaでやっている記事を拝見し、Cassandraのステータスも同じようにリアルタイムグラフの描画ができないかと考えました。 以前にWebSocketで監視もリアルタイムにという記事でもあるとおりリアルタイムモニタの仕組みはありましたが、kibanaの検証も兼ねてリアルタイムのグラフ描画にチャレンジし
CassandraのVer upを検討する際に手順確認で見るもの - oranie's blog
今1.2.13を検証していたが、このタイミングでDataStax Enterprise 4.0がリリースされました。 http://www.datastax.com/2014/02/welcome-to-datastax-enterprise-4-0-and-opscenter-4-1 で、このVerからCassandraが1.2系から2.0系に変わるという結構ダイナミックな変更が入っていたので、今検証している1.2.13が2.0系へupgradeするのに1.1系から1.2系にupgradeするようにupgradesstable等の手順が必要か確認していた時に、またも@yukimさんに教えて貰いました。本当にいつもありがとうございます・・・。 結論としては通常のローリングアップデートを繰り返せばOK。 今後upgradeする際の手順を確認するのに頂いた内容をそのまま引用させて戴くと 「Up
Cassandra導入事例と現場視点での苦労したポイント cassandra summit2014jpn
40. データ内容を確認してみました(Version 1.2.6) xx-Data.dbに対してsstable2json実⾏してデータを確認 1. まずはデータ登録 set student_table['id100']['name']='Yamada'; {ky:“i10,clms:[“nm"“Ymd"17513290]} "e" d0""oun" [ ae, aaa,33158300] 2. データ論理削除 del student_table['id100']; {ky:"d0""eaaa: "e" i10,mtdt" {dltoIf" {mreFreeet:33162600 "eeinno: "akdoDltA"17516970, "oaDltoTm"17516},clms:[} lcleeinie:33162}"oun" ] ⇒Deleteしたよという情報がinsertされるイメージ
Zabbix 2.0 向けのCassandra 1.0 監視テンプレートを作ってみた。 - 双六工場日誌
タイトルの通り。Zabbix 2.0 の Zabbix Java gateway の機能に慣れるための習作ですが、せっかくつくったのでこっそり晒しておきます。 制作環境 CentOS 6.3 Zabbix 2.0.2 Cassandra 1.0.11 制作手順 JMXクライアントを使って、すべてのJMX Attributeを出力 スクリプトでZabbixのテンプレートに整形して、Zabbixサーバにインポート Zabbix上でいろいろいじったあとに、XMLにExport ダウンロードURL https://dl.dropbox.com/u/43815148/export/zbx_templates_cassandra10.xml 制限事項・免責 特に注文をつけるつもりはありませんが、ライセンスは Apache Licence 2.0 とします。 http://www.apache.org/
unoh.github.com by unoh
こんにちわ、7月に入社したばかりの@emorinsです。 題名の通りですが分散データベース『Apache Cassandra』を紹介したいと思います。 少し前はHadoop(とHBase)と比較されることの多かったCassandraですが、最近はHadoopの人気に押されつつあるようにも感じます。 しかし、CassandraとHadoopは特徴が異なり、よく言われるのがCassandraはリアルタイム処理に向き、一貫性のかわりに可用性を重視し、またHadoopとは違って単一障害点もありません。 今日はそんなHadoopとは違った魅力のある分散データベース『Apache Cassandra』をはじめてみましょう。 目次 Cassandraとは アーキテクチャ Cassandraの特徴 コンシステンシレベル データモデル MemtableとSSTable セットアップ storage-conf
Cassandraサーバのディスク容量減少アラートが飛んできた！ってときにどう対処するか - oranie's blog
乗るしか無い、このビッグウェーブに。 （このエントリとこのエントリの三番煎じです。） - 追記 Cassandraはデータ領域のDisk使用量が50%でクリティカルと記載しましたが、いきなりズドンと落ちるとかでは無く、compactionを実行した時にテンポラリーファイル作成します。これは対象のSSTableのサイズに依存します。で、このテンポラリーファイルが作成できなくなる可能性がある閾値が50%です。 http://wiki.apache.org/cassandra/CassandraHardware_JP から引用 MemtableSSTableで述べているように、コンパクションは最悪の場合、一時的にひとつのボリューム(つまりデータディレクトリ)に対して最大そのデータと同じだけの空き領域を要求します。 - まずCassandraでDisk空き領域が減少する可能性があるのはほぼ2つ。ア
Cassandra 読み書き一貫性レベル（consistency Level）のまとめ - oranie's blog
ソースは1.1.5で確認。ConsistencyLevel.javaに分かりやすく書かれていた。 行数は56-75 * Write consistency levels make the following guarantees before reporting success to the client: * ANY Ensure that the write has been written once somewhere, including possibly being hinted in a non-target node. * ONE Ensure that the write has been written to at least 1 node's commit log and memory table * TWO Ensure that the write has been
cassandra1.2系defaultのcassandra.yamlを1.1系とちょっと比較した - oranie's blog
タイトルそのまま。今1.1系使っていて1.2.5へのアップデートを検討していて、configが結構変わっているらしいので、それらを調べてみた。 基本は今使っているとdiff取って名前変わっている奴や追加されている奴だけ記載。「>」ってついている奴は1.1系の時の奴。 http://www.datastax.com/docs/1.2/configuration/node_configuration 上記内容をGoogle翻訳して適当に見ただけなので、あんまり信用しない方が良いかも。あと、yamlに明示的に書いていないけど追加されている項目で1.2系からdefault 有効になっている奴もあるような気がするけど、そこはカバーしていないので調べて下さい＞＜ hinted_handoff_throttle_in_kb: 1024 hinted handoffの転送速度 max_hints_deli
m7a.me - m7a リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
Cassandra nodetool repairの挙動について教えて貰ったのでまとめ - oranie's blog
題名そのまま。repairの挙動をdatastaxのドキュメント読んでも良く分からない、ヽ(｀Д´#)ﾉ ﾑｷｰ!!となっている所をまたも@yukimさんに教えて貰いました。 なので忘れないようにメモです。 nodetool repairとは nodetool --helpで出力されている使い方は以下の通り repair [keyspace] [cfnames] - Repair one or more column family (use -pr to repair only the first range returned by the partitioner) 直訳すると一つ以上のcolumn familyを修復します。-prオプションを付けて実行するとパーティショナーの初めのレンジだけrepairを実行しますこの直訳だけではなんのこっちゃですね。 repairを実行する目的 rep
Cassandraってなんじゃ？（CQL）
CassandraにはCQLというSQLライクに問い合わせるインターフェースが用意されています。 いままでのスクリプト風の問い合わせよりも多くの人に馴染みやすいと思うので、ちょっと触ってみます。 CQLコンソール CQLのインターフェースはいままでのcassandra-cliとは別に、binディレクトリにあるcqlshコマンドを使用します。 まずhelpを見てみます。 # /usr/local/cassandra/bin/cqlsh --help Usage: cqlsh [options] [host [port]] CQL Shell for Apache Cassandra Options: --version show program's version number and exit -h, --help show this help
cassandraを運用していて困っていること - oranie's blog
※2013/03/05に追記 Yuki Morishita(@yukim)さんより以下のエントリについてアンサーを貰いました！！！ https://gist.github.com/yukim/5086476 - なんか呟いたら「m9(^Д^)ﾌﾟｷﾞｬｰ」な意味なのかRTとかがついたので、まとめておこう。きっと「これやれば解決するのに・・・プークスクス！」って教えて貰えるに違いない。半分くらい僕の技術力の低さから来ているのが多いので、Cassandra特有の問題から外れている気がするけど気にしない。 前提条件として HW：CPU12core メモリ64GB Disk:SSDやHDD(RAID10)を使用（詳細な構成は割愛） Cassandra 1.1.5 JDK 1.6.0_33-1 Simple Strategyを使用 1ノード辺り100〜200GB程度のデータを想定 クラスタの数とかは
ウノウラボ Unoh Labs: PHPで暗号化・復号化あれこれ
GT Nitro: Car Game Drag Raceは、典型的なカーゲームではありません。これはスピード、パワー、スキル全開のカーレースゲームです。ブレーキは忘れて、これはドラッグレース、ベイビー！古典的なクラシックから未来的なビーストまで、最もクールで速い車とカーレースできます。スティックシフトをマスターし、ニトロを賢く使って競争を打ち破る必要があります。このカーレースゲームはそのリアルな物理学と素晴らしいグラフィックスであなたの心を爆発させます。これまでプレイしたことのないようなものです。 GT Nitroは、リフレックスとタイミングを試すカーレースゲームです。正しい瞬間にギアをシフトし、ガスを思い切り踏む必要があります。また、大物たちと競いつつ、車のチューニングとアップグレードも行わなければなりません。世界中で最高のドライバーと車とカーレースに挑むことになり、ドラッグレースの王冠
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SSSSLIDE
これがCassandra