CassandraSF2011で発表されたCassandraのインデクシングガイドラインSpring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
Cassandraクラスタと、DataStax OpsCenterの構築 | さぶみっと！JAPAN
Cassandraのクラスタ環境を構築して、DataStax OpsCenterでデータの管理ができるようにします。 Cassandraの設定方法のサンプルを載せているblogなどは沢山あるのですが、旧バージョンのCassandraを試している記事が多くて、頻繁にバージョンアップするCassandraに情報が追いついていません。 ここでは、新しくCassandraを試してみたい方に参考になればと考えて記事を書きました。 また、DataStax OpsCenterというツールを利用して、データの可視化にも挑戦しています。 Cassandraとは 公式ページ：http://cassandra.apache.org 正式名称はApache Cassandraです。 Wikiより引用 『Cassandraは、非常に高いスケーラビリティーを持ち、イベンチュアルコンシステントな分散システム構造のKVS
NoSQLデータベースの「Cassandra」最新動向。Cassandra Summit 2012（後編）
NoSQLデータベースの「Cassandra」最新動向。Cassandra Summit 2012（後編） 代表的なNoSQLデータベースの1つ「Apache Cassandra」をテーマにしたイベント「Cassandra Summit 2012」が、8月8日にサンタクララで開催されました。 （本記事は「NoSQLデータベースの「Cassandra」最新動向。Cassandra Summit 2012（後編）」の続きです） 最新版Cassandra 1.1で追加された機能とは Cassandraはどう進化してきたか。昨年1月の0.7が最初のモダンなバージョンだったというのが私の考えだ。0.8では分散カウンターを実装し、セルフチューニング要素を強めた。1.0は、1.0を宣言したこと、そして圧縮機能を備えるなどの前進があった。 そして現在のバージョンが4月にリリースしたCassandra 1.
Netflix のスケール
現在日本でサービスを提供していないため目にすることは少ないですが、AWS のベストプラクティスと呼び名が高い Netflix のスケールをメモ。ベストプラクティスと言われるだけあって、記事も解説も豊富です。まー規模が桁違い過ぎるので読み飛ばしていたってのが正直なところですが、V 先生ドリブンで資料を読み直しました。AWS の How-to 記事は日本語でも山ほどあったので、自社データセンターから AWS へ移行した過程を中心に書きたいと思います。Netflix のテクノロジーについては以下を参考にしました。 The Netflix Tech Blog @slideshare @github >>> サービスの規模 Netflix は主に北米で VOD と DVD 郵送レンタルサービスを提供している会社です。ほとんど VOD で、今後 DVD 郵送レンタルは縮小するらしい。AWS の資料も
Announcing Priam
by Praveen Sadhu, Vijay Parthasarathy & Aditya Jami We talked in the past about our move to NoSQL and Cassandra has been a big part of that strategy. Cassandra hit a big milestone recently with the announcement of the v1 release. We recently announced Astyanax, Netflix’s Java Cassandra client with an improved API and connections management which we open sourced last month. Today, we’re excited to
Twitter、新たなオープンソースプロジェクト「Zipkin」を提供
Twitterは7日(米国時間)、「Zipkin」システムをオープンソースプロジェクトとして公開した。Zipkinは、分散システム上の異なるサービスから迅速に情報を収集することを目的に開発されたシステム。TwitterによるとZipkinシステムは「Google Dapper」を参考に開発したものだとしている。 Twitterでは現在、すべてのサービスからタイミングデータを収集するためにこのZipkinを使用しているという。トレース情報を収集するためにインストルメンテッドライブラリを各ホストに用意し、ZooKeeperやScribeを利用してZipkinに情報を送っている。Zipkin側ではCollectorが情報をApache Cassandraに渡し、Zipkinが提供しているWeb UIを介してデータベースにアクセスして分析できるようにしている。
Cassandra 1.1が登場。問い合わせ言語CQL、Hadoop統合、スケーラビリティなど改善
NoSQLの代表的なデータベースであるCassandraの新バージョン「Cassandra 1.1」がリリースされたと、The Apache Software Foundationが発表しました。2011年10月に最初の正式バージョンであるCassandra 1.0がリリースされてから半年で、Cassandra 1.1の登場となります。 The Apache Software Foundation Announces Apache Cassandra™ v1.1 : The Apache Software Foundation Blog CassandraはオープンソースによるNoSQLデータベースで、分散処理に対応したスケーラブルな構造を備え、単一障害点（Single Point of Failer：SPOF）がなく、ノードを追加していくことで自動的に性能が向上していくという特徴を備えて
Cassandra vs. Redis
Technical overview of three of the most representative KeyValue Stores: Cassandra, Redis and CouchDB. Focused on Ruby and Ruby on Rails developement, this talk shows how to solve common problems, the most popular libraries, benchmarking and the best use case for each one of them. This talk was part of the Conferencia Rails 2009, Madrid, Spain. http://app.conferenciarails.org/talks/43-key-value-sto
Cassandra運用に活躍したスクリプトたち : toda_k
弊社検証環境で半年ほど10数台規模のCassandraクラスタを運用してきたのですが、運用に使っているスクリプトがある程度固まってきたのでまとめてみます。更なる簡素化・便利化を進めるための棚卸しという感じです。古いものも混ざっていて若干申し訳なくはあるのですが……どなたかの役に立てば幸いです。では見て行きましょう。 スクリプトの運用体制について すべてのスクリプトはSubversionで管理され、主にJenkinsによって自動的に実行されます。多数のノードに対する同時処理を行なうためにGNU Parallelを使うことがあります。 またCassandraサーバはAWS EC2上で運用されているため、AWS SDK for RubyによってIPアドレスの取得などを行なっています。 各ノードでのnodetool ring実行結果を集約 クラスタが不安定なとき、実際は動いているのに一部のノードか
Apache CassandraとAmazon DynamoDBの比較 | DevelopersIO
2012/1/23 updated Apache Cassandraとは？ Apache Cassandraは、2007年にAmazonによって発表されたDynamoに関する論文からインスパイアされて開発されたNoSQL分散データベースです。2008年にFacebook社によりオープンソースとして公開されました。スケーラビリティと高可用性を求めている方には適しています。線形の拡張性とフォールトトレラントを備えていて、クラウドやオンプレミス上で構築することができ、ミッションクリティカルなデータを保管することができます。Cassandraは、複数のデータセンターでの稼働をサポートしていて、低いレイテンシーでやり取りを行う事が出来ます。万が一の災害時にも安心です。 Amazon DynamoDBとは？ Amazon DynamoDBは、シームレスに拡張ができ、高速で予測可能なパフォーマンスを提供
Cassandra運用TIPS（決戦前夜編） - 夜の Discovery
Cassandraの運用前に設定しておきたいTIPSです。 cassandra.in.shのXms, Xmxを設定する データ量にもよりますが、基本的には多ければ多いほど良いと思います。 また、（Cassandra専用サーバーであれば）XmsはXmxと同じ値にしておくのが良いと思います。 bin/cassandra.in.sh JVM_OPTS=" \ -ea \ -Xms16G \ -Xmx16G \ （省略） cassandra.in.shにulimitを設定する 負荷が高くなった際に too many open files エラーが出る場合があるため、JVM_OPTS の前あたりに、ulimit を追加します。（ulimitはデフォルト1024） bin/cassandra.in.sh ulimit -n 32768 JVM_OPTS=" \ -ea \ -Xms16G \ -Xmx
x86サーバがクラウドの万能細胞になる。サーバもストレージもルータ／スイッチも、x86サーバだけで実現。クリエーションライン、ジェミナイモバイル、ミドクラの3社が提携
x86サーバがクラウドの万能細胞になる。サーバもストレージもルータ／スイッチも、x86サーバだけで実現。クリエーションライン、ジェミナイモバイル、ミドクラの3社が提携 一般にクラウドを構築するためには、データセンター内にサーバとストレージ、そしてそれらをつなぐスイッチやルータ、ファイアウォールやロードバランサーといったネットワーク機器などが必要となります。通常はストレージにはストレージ製品を、ネットワーク機器にはそれぞれ専用の機器を用いますが、これらのすべてをx86サーバとソフトウェアだけで実現すべく、国内3社が事業提携を発表しました。 ジェミナイ・モバイル・テクノロジーズが提供する「Cloudian」は、x86サーバのクラスタを用いてクラウドストレージ機能を実現するソフトウェア。内部でNoSQLのCassandraを用い、分散ストレージによる高信頼を実現しつつ、AmazonクラウドのS3
Rainbird: The Way Twitter Counts Tweets In Realtime (Which Will Be Open Sourced) | TechCrunch
Rainbird: The Way Twitter Counts Tweets In Realtime (Which Will Be Open Sourced) Yesterday, Twitter analytics lead, Kevin Weil, gave a talk at O’Reilly’s Strata 2011, a conference dedicated to big data. The main topic of the talk was Rainbird, Twitter’s realtime counting system that’s built on top of Cassandra. Notably, it powers a number of things Twitter uses internally, such as Promoted Product
Cassandra Conference Tokyoの資料を公開しました - terurouメモ
GeQuuのアーキテクチャについての話です。Android版クライアントがまだほとんど機能を実装していない状態なので、こんなものに開発時間かけすぎだろ思われがちなGeQuuですが（自意識過剰？）、見えない所で異常に頑張ってるんですよというお話です。 スマートフォン×Cassandraによるハイパフォーマンス基盤の構築事例View more presentations from terurou. テキスト装飾というか色付けをまどマギな感じにしたんですが、まさか発表中に気がついた人はいないですよね。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Netflix TechBlog
Charming Python: Functional programming in Python, Part 3
Indexing in Cassandra
Cassandra | Jonathan Hui
http://www.gemini-bigdata.com/2011/10/cassandra-talk-session-with-jonathan.html
DataStax for Developers | DataStax
