本番環境でcassandraの運用を開始してみた - joker1007’s diary
職場でcassandraの運用を開始したので、選定理由とか運用してみて得た知見や所感等を書いてみようと思う。 (まだ十分に知見を得たとは良い難いので、間違った印象を得ていたり、より良いオペレーションに気付いていない可能性があります。) cassandraの採用理由 そもそもの目的はホットデータの書き込み先としての利用です。要件としては以下の様なものがあります。 エンドユーザー端末の数に比例するので、書き込みのスケーラビリティが必要 書き込みデータは更新される 一件単位、もしくは数秒単位の短かいサイクルでバッファチャンクを書き込む必要がある prestoで読み込める (最悪connectorは書いてもいいが、できれば避けたい) 一度に数百万件ぐらいまで読み込む可能性があるので、それなりに読み込みもスケールして欲しいし、レンジスキャンにもある程度効率が求められる。 元々、データ加工で潰しが効く
The Total Newbie’s Guide to Cassandra
In this guide, I’ll walk through what Cassandra generally is — and is not — its specific capabilities, and some recent examples of Cassandra’s use in projects at Insight Data Engineering (where I was a Fellow during the summer of 2017) and in industry. I hope this guide is helpful for future Insight Data Engineering Fellows as they refine their projects and build their pipelines (especially Fellow
ファイルシステムは、KVSなのか？（HBase VS CassandraからわかるKVSの仕組み） - Qiita
この記事はリクルートライフスタイル Advent Calendar 2016の25日目の記事です。 データエンジニアリンググループ・ゆるふわAwesome機械学習エンジニアのtomomotoです。主にデータ分析や機械学習を中心に、データ活用を推進したり、システム開発したり、フリー素材になったりしています。 本記事では、今更ではありますが、KVSの仕組み概要について、HBaseとCassandraを例にして紹介したいと思います。（仕事、クリスマス、結婚記念日、何も関係ないです！） KVSとは そもそもKVSとは、なんでしょうか？名前の通りKeyValueStoreであることが条件だとすると、KeyからValueをとってくるDataBaseということになりますが、それで十分なのでしょうか？そうするとファイル名(Key)でファイル情報(Value)をとってくるファイルシステムもKVSということに
目次 — Cassandra管理者ガイド 第17版 2023-10-01 intra-mart Accel Platform
| intra-mart Accel Platform Cassandra管理者ガイド 第17版 2023-10-01 クイック検索 intra-mart Accel Platform Cassandra管理者ガイド 第17版 2023-10-01 目次 1. 改訂情報 ≫ 目次 1. 改訂情報 2. はじめに 3. Cassandra の概要 4. Cassandra のセットアップ 5. Cassandraの起動、停止方法 6. Cassandraのクラスタ構築 7. Cassandra への接続認証設定 8. Cassandra の操作 9. Cassandra の運用 10. Cassandra のバージョンアップ 11. Cassandra の参考情報 目次¶ 1. 改訂情報 2. はじめに 2.1. 本書の内容 2.2. 対象読者 2.3. 本書に記載されている外部サイトのU
CQL
Cassandra Query Language (CQL) v3.1.5Cassandra Query Language (CQL) v3CQL SyntaxPreambleConventionsIdentifiers and keywordsConstantsCommentsStatementsPrepared StatementData DefinitionCREATE KEYSPACEUSEALTER KEYSPACEDROP KEYSPACECREATE TABLEALTER TABLEDROP TABLETRUNCATECREATE INDEXDROP INDEXData ManipulationINSERTUPDATEDELETEBATCHQueriesSELECTData TypesWorking with datesCountersWorking with collect
分散系による分散系のための分散談義／パッケージはつらいよ
P2Pの黒歴史 編集部 前回の終わりに次のお題の候補として出てきたのが、分散or集中、クラウド、SI、人材育成、トランザクション、Fintech、ブロックチェーン…といったあたりになっております。今回はどうしましょうか。 神林 個人的にはブロックチェーンについて、井上さんに聞きたいですね。というのも井上さんはずっとP2Pでしょ。だから言いたいことが山ほどあると思うんですよね。それをいろいろ聞いてみたい。 井上 ブロックチェーンだけではそんなに時間がもたないかもしれないので、分散集中の絡みで話せばいいかと。 神林 分散処理の話から入るのだったら、井上さんが今までどんな風に分散処理の流れを見てきて、この先どうなると思っているっていうところから、やっぱりおたずねしたい気がします。ずっと、井上さんは分散じゃないですか、キャリア的に。 井上 まあ、そうですね。 神林 P2Pから来て、今、ワークスのプ
Cassandraにslow query logがマージされた様なので、どれだけ待望されていたのか勝手に簡単な解説をする。 - oranie's blog
題名のままです。 ついにCassandraにslow query logがVer 3.10でマージされた様です。 [CASSANDRA-12403] Slow query detecting - ASF JIRA で、今までなぜこれが無かったのかというのと、どれだけ素晴らしいかというのを簡単に解説したいと思います。英語の部分はすごいニュアンスだけで書いていたり正確に仕様や歴史や経緯を把握している訳では無いのであくまでも傍から見ていてCassandraを運用した思い出を持っているだけの人が書いているという認識でお願いします。間違っていたらコメントで指摘下さい。もしくはもっとちゃんとした解説ブログ書いて頂ければ幸いです。 まずslow query log自体の要望は普通にありました。まあデータストア運用する人間からしても、実際にクエリを発行するアプリを書く人からしても当然ですよね。 [CASS
NoSQLデータベース：調査と決定のガイダンス（その3） | POSTD
追記専用 ストレージ(ログ構造化ストレージとも呼ばれます)は、順次書き込みをすることでスループットの最大化を実現しようとします。ログ構造化ファイルシステムの研究の歴史は長いものの、追記専用入出力がデータベースに関して普及したのは、BigtableでLSM（Log-Structured Merge）ツリーが使用されたからです。このLSMツリーは、インメモリキャッシュ、ハードディスク保存ログ、不揮発性メモリおよび定期的に書き込みされるストレージファイルで構成されています。LSMツリーや変種のSAM（Sorted Array Merge）ツリー、COLA（Cache-Oblivious Look-ahead Arrays）は多くのNoSQLシステムに導入されています（Cassandra, CouchDB, LevelDB, Bitcask, RethinkDB, WiredTiger, Rock
Cassandra 3.7をDebian 8.5(jessie)にaptでインストールする
久しぶりにCassandraを触ってみようと思います。 http://cassandra.apache.org/ 以前触った時は、バージョン0.4.2でしたが今は3.7までバージョンが上がっていました。 Debin 8(jessie)にaptでインストールしてみます。 OpenJDK 8のインストール cassandraのインストールにはOpenJDK 8が必要です。 インストール時にこんなエラーが発生しました。 # apt-get install cassandra パッケージリストを読み込んでいます... 完了 依存関係ツリーを作成しています 状態情報を読み取っています... 完了 インストールすることができないパッケージがありました。おそらく、あり得 ない状況を要求したか、(不安定版ディストリビューションを使用しているの であれば) 必要なパッケージがまだ作成されていなかったり In
Zipkinを導入してみた（サーバー編） - LIFULL Creators Blog
こんにちは。技術基盤部の磯野です。 弊社ではここ数年、HOME'Sのクラウド化やマイクロサービス化を推進しています。 アプリケーションのクラウドサービスへの移行に関してはそろそろ終わりが見えてきているのですが、 マイクロサービスに関してはまだまだ道半ばということもあり、推進していくにあたって、 各サービス間の依存関係やトレース情報を可視化する手段としてzipkinをAWS上に試験的に導入してみました。 今回はZipkinサーバーの導入までの手順についてまとめたいと思います。 Zipkin とは データストレージの選択 InMemory MySQL いいところ 残念なところ Cassandra いいところ 残念なところ Elasticsearch いいところ 残念なところ 基本構成 サービスのインストール MySQLの設定 zipkinのインストールと確認用の起動 supervisordのイ
GoCQL
Under Development: The GoCQL package is currently actively developed and the API may change in the future. Cluster Management GoCQL automatically discovers all data centers, racks and hosts in your cluster, manages a pool of connections to them and distributes queries in a reasonable and efficient way. Type Conversion Automatic and safe type conversion between Cassandra and Go without any loss of
日本 Cassandra コミュニティー
CassandraDay-Tokyo開催日本Cassandraコミュニティが協力するDatastax社主催の「CassandraDay-Tokyo」が6月1日にウェスティンホテル東京にて開催されます。詳細及び申込は以下のURLをご参照くださ...
Introduction To The Apache Cassandra 3.x Storage Engine
Introduction To The Apache Cassandra 3.x Storage Engine 04 Mar 2016 Tweet Have you ever relived a past experience and found it better the second time round? For example I used to love Monkey Magic when I was a child, but am not such a big fan now. When oh when will Pigsy change his piggish ways? The first time I got to see how a Database actually worked was in 2010 when I started playing with Apac
gocql使って関係ないとこでハマった · hatajoe
Goでgojiみたいな薄いフレームワーク使ってWebサーバー書いてるとORMをどうするかって話があると思う。 この記事ではCassandraを例に出すんだけど、CassandraにはBatchといって複数の操作をまとめて行える命令がある。 GoでCassandraと言えばgocql/gocqlがすぐに見つかると思う。gocqlでBatchを実行するには以下のAPIを使う。 https://godoc.org/github.com/gocql/gocql#Session.ExecuteBatch func (s *Session) ExecuteBatch(batch *Batch) error 引数で渡すBatchには以下のAPIを使ってステートメントとパラメータをバインドする。 https://godoc.org/github.com/gocql/gocql#Batch.Bind fun
SparkとCassandraの美味しい関係
This document discusses messaging queues and platforms. It begins with an introduction to messaging queues and their core components. It then provides a table comparing 8 popular open source messaging platforms: Apache Kafka, ActiveMQ, RabbitMQ, NATS, NSQ, Redis, ZeroMQ, and Nanomsg. The document discusses using Apache Kafka for streaming and integration with Google Pub/Sub, Dataflow, and BigQuery
すごいアプリケーションを作りたいならCassandraを使ってみよう (1/2)：EnterpriseZine（エンタープライズジン）
止めることが許されないならCassandraを Apache Cassandraでチーフ・エバンジェリストをつとめる パトリック・ムクファディンさん Q：Cassandraは、NoSQLのマーケットにおいてどのような位置づけにあるデータベースですか? ムクファディン：NoSQLの中でもCassandraはオペレーショナルなデータベースになります。ユーザーの近いところにあって、Oracleのようなデータベースをリプレイスする存在でもあります。Cassandraはインターネット時代になり、スケーラビリティがありなおかつ稼働し続けるというニーズに応えるために出てきました。何1,000万、何億といった莫大な数のユーザーが利用しても稼働し続ける。そのために、マルチデータセンターでもアクティブ、アクティブの分散構成で、ダウンタイムのないデータベースとなっています。 Q：NoSQLデータベースは他にもさ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apache cassandraと apache sparkで作るデータ解析プラットフォーム
YCSBの概要とCassandraへのベンチマーク - Qiita
Cassandraのバックアップと運用を考える
Cassandra: Daughter of Dynamo and BigTable - Insight Fellows Program