Cassandra summit JPN 2014でスピーカーしてきました。 - oranie's blog
僕のセッションを聞いて頂いた皆様、主催の@railuteさん、その他にも会場で色々とお世話をして頂いた皆様本当にありがとうございました。正直前半は人数の多さと喋っている目の前でコミッターの@aaronmortonさんや@spycedさん、@AlTobeyさん、@yukimさんなどDatastaxの人達がいてアガりまくっていました。なので、かなりお聞き苦しい所が多々あったかと思いますがご容赦下さい・・・。 発表したスライドはこちら cassandra 100 node cluster �admin operation from oranie 一部直した所があるかも。 今回参加させて頂いて凄い助かったのは同時通訳のシステムがあって、英語の発表も完全じゃなくてもニュアンスまでは理解できたのが凄い助かりました。 ただ、発表終わって話掛けて貰ったのに英語だったので ('A`)「さ、さんきゅー」
概要 URL http://heartbeats.jp/hbstudy/2010/04/hbstudy11.html 日時 2010/05/14 19:00 - 21:00 場所 ハロー貸会議室 新宿A(新宿三葉ビル6F) twitterハッシュタグ #hbstudy Ust録画 http://www.ustream.tv/recorded/6903324 MaatKitの紹介 講演者 吉田晃典(株式会社はてな) id:marqs @marqs 資料 http://www.slideshare.net/marqs/maatkit-4098945 MaatkitというMySQL用のツール群の紹介。 ツールの数が多いので、この講演ではよく使うツール数個について説明されていた。 特徴 ドキュメントもあるし、オプション例もある Facebookを始め多数の企業に導入されている 商用サポートもあるら
HBaseの概要とアーキテクチャ
はじめに ネットワークに接続されたセンサ機器の普及により、IoT（Internet of Things）が注目を集めています。IoTでは様々なセンサ機器が膨大なデータを生成するため、システムが管理するデータ量は急激に増加しています。このような膨大なデータを管理するためのデータストアとして、RDBと比較して高い性能とスケーラビリティを持つNoSQLが注目を集めています。 「Apache HBase」（以降、HBase）はNoSQLの1つで、センサ機器が生成する時系列データを管理するための有力なデータストアとして注目されています。本連載では、HBaseを用いたシステム設計のノウハウと、1,000万個のスマートメータから収集したデータによる性能検証の結果を紹介します。 今回は、まずNoSQLにおけるHBaseの位置付けを説明し、その後でHBaseの概要とアーキテクチャについて説明します。 NoS
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
Skip to the content. List of resources on testing distributed systems curated by Andrey Satarin (@asatarin). If you are interested in my other stuff, check out talks page. For any questions or suggestions you can reach out to me on Twitter (@asatarin), Mastodon (https://discuss.systems/@asatarin) or LinkedIn. Table of Contents Overview of Testing Approaches Research Papers Bugs Testing Fault Toler
北米版 魔法少女まどか★マギカ 声優インタビュー
ようつべのアニプレ公式より転載。被ってる下コメは消しました。ごめん。◆Christine Marie Cabanos (鹿目まどか) ●代表作… 中野梓 / イカ娘 / 遥(ホッタラケの島)◆Sarah Williams (美樹さやか) ●常田鮎美、ピーコック(スカルガールズ)◆Carrie Keranen (巴マミ) ●リン・シャオユウ / キャスカ(ベルセルク) / 海馬モクバ◆Lauren Landa (佐倉杏子) ●キュルケ(ゼロ魔) / ボイボイ(REDLINE) / ヴィオラート◆Cristina Vee (暁美ほむら) ●秋山澪 / 高町なのは / ノエル・ヴァーミリオン(BLAZBLUE)◆Cassandra Lee Morris (QB) ●田井中律 / トトリ / ソフィー(グレイセスF)◆Alex Von David (脚本・監督) ●らき☆すた / 涼宮ハルヒの憂鬱
Cassandraサーバのディスク容量減少アラートが飛んできた！ってときにどう対処するか - oranie's blog
乗るしか無い、このビッグウェーブに。 （このエントリとこのエントリの三番煎じです。） - 追記 Cassandraはデータ領域のDisk使用量が50%でクリティカルと記載しましたが、いきなりズドンと落ちるとかでは無く、compactionを実行した時にテンポラリーファイル作成します。これは対象のSSTableのサイズに依存します。で、このテンポラリーファイルが作成できなくなる可能性がある閾値が50%です。 http://wiki.apache.org/cassandra/CassandraHardware_JP から引用 MemtableSSTableで述べているように、コンパクションは最悪の場合、一時的にひとつのボリューム(つまりデータディレクトリ)に対して最大そのデータと同じだけの空き領域を要求します。 - まずCassandraでDisk空き領域が減少する可能性があるのはほぼ2つ。ア
DiggとRedditがNoSQL陣営に入る
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
Cassandra nodetool repairの挙動について教えて貰ったのでまとめ - oranie's blog
題名そのまま。repairの挙動をdatastaxのドキュメント読んでも良く分からない、ヽ(｀Д´#)ﾉ ﾑｷｰ!!となっている所をまたも@yukimさんに教えて貰いました。 なので忘れないようにメモです。 nodetool repairとは nodetool --helpで出力されている使い方は以下の通り repair [keyspace] [cfnames] - Repair one or more column family (use -pr to repair only the first range returned by the partitioner) 直訳すると一つ以上のcolumn familyを修復します。-prオプションを付けて実行するとパーティショナーの初めのレンジだけrepairを実行しますこの直訳だけではなんのこっちゃですね。 repairを実行する目的 rep
準備 % sudo apt-get install build-essential automake libtool flex bison libboost\* % sudo apt-get install libbit-vector-perl libclass-accessor-perl インストール % cd program/thrift % wget -O thrift.tgz "http://gitweb.thrift-rpc.org/?p=thrift.git;a=snapshot;h=HEAD;sf=tgz" % tar zxvf thrift.tgz % cd thrift % ./bootstrap.sh % ./configure --disable-gen-java --without-java --disable-gen-csharp --disable-gen-st
去る12月16日、クックパッドさんのオフィスで行われたオーマｘクックパッド勉強会にて「SPYSEEの新検索機能の裏側」というタイトルで発表してきました。クックパッドの皆様＆見に来ていただいた皆様、どうもありがとうございました。発表スライドはこちらになります：Ohmapadslideshareを見られない方は下記のPDFをご参照くださいhttp://dl.dropbox.com/u/9436074/ohmapad.pdfSPYSEEの検索ログを見ると、「さかなクン」や「ウィルスミス」など、検索全体のほぼ99%を人名が占めています。今回の発表では「人名に限らず、『Ruby』や『料理家』などの『キーワード』でも検索できますよ」ということを伝えようとしました。肝心の検索の計算に関しては厳密性にこだわらず、分かりやすさを優先させたつもりですが、「難しかった」との声もあったようですね、すみません。。。
English (US)
Did someone say … cookies? X and its partners use cookies to provide you with a better, safer and faster service and to support our business. Some cookies are necessary to use our services, improve our services, and make sure they work properly. Show more about your choices.
2013年7月30日開催、JDMC分科会講義資料。 2012年4月発売「NOSQLの基礎知識 ビッグデータを活かすデーターベース技術：リックテレコム刊」からの更新情報も追加しています。Read less
DataModel_JP - Cassandra Wiki
イントロダクション Cassandraは4次元または5次元ハッシュなデータモデルを持っています。 基本コンセプトとしては: Cluster: 論理的なCassandraインスタンスの事。クラスタは複数のキースペースを持つことが出来る。 Keyspace: ColumnFamilies用のネームスペース。一般的には1アプリケーションに1キースペース。 ColumnFamilyは複数のカラム(カラムは名前、値、タイムスタンプを持つ)を持ち、行キーで参照可能。 SuperColumnsは サブカラムを持つカラムのこと。 まずはボトムアップで一番小さい粒度のデータ構造であるカラムから順にみていきましょう。 カラム カラムはCassandraにおける最小限のデータ構造です。その実体はタプル(triplet)で、名前、値、タイムスタンプを持ちます。 Thriftインタフェースのカラムの定義は以下のよう
【緊急速報】 何も考えずに EC2 でいろいろ実験してたら、 5 日で 20 万円とちょっとどこかへと消えました
2024/3/5にオライリー・ジャパン様より出版された拙訳『組織を変える5つの対話 ―対話を通じてアジャイルな組織文化を創る』からすぐに使える具体的なテクニックの紹介 組織を変える5つの対話 ―対話を通じてアジャイルな組織文化を創る 作者:Douglas Squirrel,Jeffrey Fredrickオーム社Amazon 導入 解説Iと解説IIでは本書の背景にある思想について扱ってきました。今回は予告通り具体的なテクニックについて解説していきたいと思います。 本書において組織変革のゴールとして目指しているのは、いわば「適切な権限委譲と現場での柔軟な意思決定による機動的な組織運営」と言えるでしょう。これは、次に挙げる5つの対話を通じて組織文化を整えていくことで実現できるとされています。 信頼を築く対話 不安を乗り越える対話 WHYを作り上げる対話 コミットメントを行う対話 説明責任を果た
DBMSを正面から取り上げた特集を約10年ぶりに日経SYSTEMS（2015年5月号の特集1）で組んだ。クラウド、ビッグデータというキーワードがITのあり方を大きく変える中、「業務系でデータベースといえばRDBMS」という固定観念にヒビが入っているはずとのヨミでスタートさせた企画だ。脱RDBMSやHadoop活用といった取り組みから、いろいろな“新常識”が生まれているだろうと考えたのである。 記事の冒頭に、ITエンジニアが今、これはちょっと気になるぞと思うDBMS関連のトピックスを置きたい。何がいいだろうか。頭をひねって、あれやこれやと、選択肢を挙げてみた。その中から選んだのは、1000社以上に採用されて盤石ともいえる地盤を築いているのに、自己否定してゼロからERPパッケージを作り直した、ワークスアプリケーションズの取り組み。このネタを選んだのは、自分が今、最も知りたいことだったからだ。い
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
Occasionally useful posts about RIAs, Web scale computing & miscellanea My team is currently working on a brand new product – the forthcoming MMO www.FightMyMonster.com. This has given us the luxury of building against a NOSQL database, which means we can put the horrors of MySQL sharding and expensive scalability behind us. Recently a few people have been asking why we seem to have changed our pr
前回でCassandraへのアクセスするコードの基本をおさえました。今回解説するのは以下の2点です。 CassandraのAPIの全体像 Cassandraにデータを投入するコードの詳細 3つの分類からAPIの全体像をおさえる 第1回でもご紹介しましたが、CassandraのクライアントAPIはThriftによって自動生成されます。APIは非常にシンプルなものが幾つかあるだけで、覚えるのもさほど難しくはありません。本連載ではその中からよく使うものに特化してご紹介していきます。 以下にCassandraのAPIを、データ挿入系・データ検索系・認証／管理系の3つに分類してまとめてみました。まずはこれらにひと通り目を通してみてください。 データ挿入／更新／削除のAPI データ挿入、更新、削除のAPIは以下の表のとおりです。現実的によく使う中心的なAPIはbatch_mutate、removeの2
A discussion of the different NoSQL-style datastores in use at Twitter, including Hadoop (with Pig for analysis), HBase, Cassandra, and FlockDB.Read less
Cassandra+Hadoop
This document discusses using MapReduce with Cassandra. It describes how writing to Cassandra from MapReduce has always been possible, while reading was enabled starting with Cassandra 0.6.x. Using MapReduce with Cassandra provides analytics capabilities and avoids single points of failure compared to MapReduce with HBase. The document covers setup and configuration considerations like locality, a
NoSQL Afternoon in Japan の発表スライド - 現場のためのソフトウェア開発プロセス - たかのり日記
昨日、NoSQL Afternoon in Japan に参加してきましたが、スピーカの皆さんが、早速、発表スライドを公開してくれているので、どこいったか分からなくなる前にまとめておきます。 Hibari（Joe Norton） http://www.slideshare.net/geminimobile/hibari-presentation-at-nosql-afternoon-in-japan-on-nov-12010 Okuyama（Takahiro Iwase） http://www.slideshare.net/okuyamaoo/20101101-okuyama Cassandra（Nate McCall） https://docs.google.com/present/view?id=dg8xwrcw_999f25bqnsf ROMA（Muga Nishizawa） 現時点
IBM Developer is your one-stop location for getting hands-on training and learning in-demand skills on relevant technologies such as generative AI, data science, AI, and open source.
The shortcomings and drawbacks of batch-oriented data processing were widely recognized by the Big Data community quite a long time ago. It became clear that real-time query processing and in-stream processing is the immediate need in many practical applications. In recent years, this idea got a lot of traction and a whole bunch of solutions like Twitter’s Storm, Yahoo’s S4, Cloudera’s Impala, Apa
書籍紹介 本連載は下記書籍から第5章を基に、＠IT向けに再構成して掲載しています。 目次 序 章 ビッグデータの時代 第1章 NOSQLとは何か? 第2章 NOSQLのデータモデル 第3章 アーキテクチャの基本概念と技術 第4章 HadoopはNOSQL? 第5章 主なNOSQLデータベース製品 第6章 NOSQLデータベースの選択基準 第7章 NOSQLを使うビジネス 本連載は書籍『NOSQLの基礎知識』（リックテレコム刊、ISBN：978-4897978871）で解説されている内容から一部を抜粋し、本連載向けに一部再編集して掲載したものです。 書籍では、一般にNoSQLと呼ばれている各種データベース技術について、基本概念から主要なプロダクトの特性、ベンチマーク結果までを紹介しています。データモデルやアーキテクチャの違いといった基本概念から、各プロダクトの特徴を理解できる内容になっていま
What you get Detect Cassandra Performance Issues FasterSematext Monitoring makes life simpler by putting all Apache Cassandra metrics, logs, dashboards, and alerts at your fingertips. It’s an all-in-one solution with all the tools that you need to troubleshoot Cassandra node performance and health. Spot slow nodes that can degrade the responsiveness of the whole Cassandra clusterGet alerted on exc
追記専用 ストレージ(ログ構造化ストレージとも呼ばれます)は、順次書き込みをすることでスループットの最大化を実現しようとします。ログ構造化ファイルシステムの研究の歴史は長いものの、追記専用入出力がデータベースに関して普及したのは、BigtableでLSM（Log-Structured Merge）ツリーが使用されたからです。このLSMツリーは、インメモリキャッシュ、ハードディスク保存ログ、不揮発性メモリおよび定期的に書き込みされるストレージファイルで構成されています。LSMツリーや変種のSAM（Sorted Array Merge）ツリー、COLA（Cache-Oblivious Look-ahead Arrays）は多くのNoSQLシステムに導入されています（Cassandra, CouchDB, LevelDB, Bitcask, RethinkDB, WiredTiger, Rock
JJUG CCC 2015 Springの講演資料「社長が脱RDBと言い出して困りましたが、開き直って楽しんでいる話」を公開します
1週間経っていますが、JJUG CCC 2015 Springの講演資料を公開します。 「社長が脱RDBと言い出して困りましたが、開き直って楽しんでいる話」 追記(2015/5/25): PDF版も置きます。 JJUG_CCC_2015_inoue.pdf # 「ありえるえりあ」の環境がひどすぎて、ファイルひとつアップロードするのもひと苦労です。なんでそんなひどいことになっているのか、外部の人には想像もできないでしょうが。
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
Parleys - Parleys
Unlock Your Digital Potential with Parleys Grow your business with confidence, as our experienced team and advanced technology drive results. Let’s work together to achieve your digital goals. Sales We Help You Get New Leads Profitably Online that Convert to Sales Have you tried SEO, Google or Facebook advertising and social media marketing and are you frustrated and disappointed that you did not
This document appears to be test results from running the Yahoo! Cloud Serving Benchmark on a system. It includes performance metrics like request latency distributions and throughput for different request sizes and concurrency levels. Various graphs and tables are presented showing results from multiple benchmark runs. The benchmark was run to test the performance of the system for serving reques
やることは似ています。が、Muninはメトリクス収集システム、Nagiosはアラート機能の付いた監視ツールで別物です。この二つは合わせて使うといいです。サウナ室にたとえて言うと、muninは温度計、Nagiosは非常ベルの働きをします。要は両方必要です。 ※MuninとNagiosの連携もできるようですが、こちらは機会があれば紹介したいと思います。 innodb MySQL コマンド、InnoDB Buffer Pool、InnoDB IO、InnoDB Log、InnoDB Transactions、Select types、Table locksなどが記録できます。 ライブラリをインストールする # yum install mysql-devel ※これが入っていないと以下のperl-DBD-MySQLがインストール失敗します。 # yum install --enablerepo=e
特別講演 三木谷浩史 （楽天株式会社 代表取締役会長兼社長） 基調講演「グローバル・エンジニア」 まつもとゆきひろ Rooの世界 丸山不二夫 （早稲田大学／はこだて未来大学） What does Globalization mean for Rakuten? ～ 楽天のグローバル戦略について ～ よしおかひろたか 他 「クラウドコンピュータ」の経済学 中田敦 （日経BP社日経コンピュータ記者） - 講演資料へのリンク ITエンジニアのから騒ぎ ～グローバルエンジニアへの道～ 安藤祐介 （Linkshare Corporation / 楽天株式会社） 水野貴明 （バイドゥ株式会社） Akky AKIMOTO （Asiajin / サイボウズ・ラボ株式会社） Sebastien Bruel （楽天株式会社） モデレータ:河村圭介 （楽天株式会社） CassandraとHadoopによるNoSQ
Netflixが採用するCassandra／マルチテナントのコンテナ型DBとしてのSAP HANA：Database Watch（2014年12月版）（1/2 ページ） ハードコアな負荷テストツールを公開したことでも知られる「Netflix」が採用するデータベースとは？ インメモリDB「SAP HANA」のマルチテナント対応についても紹介。 連載バックナンバー 最近分散データベース管理システム「Cassandra」が東京でミートアップイベントを行うなど活気づいてきています。どのような仕組みでしょうか。SAP HANAは最新版SP9が出ました。キーワードは「シンプル化」です。 全てのノードが等価、Cassandraは「爆速で拡大中」 NoSQLの一つであるCassandra。「前に聞いた気がするけど……」という方もいるかと思います。数年前に話題になり、近年は少し注目が下火になっていましたが、
このページを見るには、ログインまたは登録してください
Facebookで投稿や写真などをチェックできます。
HBaseとCassandra討論会のつっこみー。 (豊月) 2010-11-08 10:51:55 >HBaseはキーが偏ると一部のノードだけに負荷がかかる これは「Cassandraは、キーが偏ると一部のノードだけに負荷が掛かる」です。 HBaseの場合は、リージョンファイル毎に分散させているので、リージョンファイルの指定サイズを越えてまで大きくなったら自動で分割されて、別のノードへ移ります。 Cassandraの場合、キーのハッシュを元に担当を決めるので巧くキーの生成ルールを考えないと特定ノードに負荷が集中する事になります。 >「このトークンはこのリング」 「Ring上で、このTokenはこのノード」という情報を管理している、が正しいです。 >Cassandraは構築は楽だが、故障時が面倒（リバランスに時間がかかる） Cassandraに於いて面倒なのは、故障時じゃないです。 故障後
Once activated, we'll place the following badge in your repository's detail box: Twissandra is an example project, created to learn and demonstrate how to use Cassandra. Running the project will present a website that has similar functionality to Twitter.
id:shot6 の Cassandra の記事がわかりやすかったので，Ubuntu でやってみた! - 宇宙行きたい
http://gihyo.jp/dev/serial/01/cassandra/0002 上記記事は Windows なので Ubuntu でやってみる． インストール ダウンロードして展開するだけ…… あと，環境変数も追加 $ cd ~/opt $ wget http://ftp.kddilabs.jp/infosystems/apache/cassandra/0.6.1/apache-cassandra-0.6.1-bin.tar.gz $ tar zxvf apache-cassandra-0.6.1-bin.tar.gz バージョンアップのためにシンボリックリンクも貼っておく $ ln -s ~/opt/apache-cassandra-0.6.1 ~/opt/cassandra 環境変数はこんな感じ export JAVA_HOME=/usr/lib/jvm/java-6-sun
弊社検証環境で半年ほど10数台規模のCassandraクラスタを運用してきたのですが、運用に使っているスクリプトがある程度固まってきたのでまとめてみます。更なる簡素化・便利化を進めるための棚卸しという感じです。古いものも混ざっていて若干申し訳なくはあるのですが……どなたかの役に立てば幸いです。では見て行きましょう。 スクリプトの運用体制について すべてのスクリプトはSubversionで管理され、主にJenkinsによって自動的に実行されます。多数のノードに対する同時処理を行なうためにGNU Parallelを使うことがあります。 またCassandraサーバはAWS EC2上で運用されているため、AWS SDK for RubyによってIPアドレスの取得などを行なっています。 各ノードでのnodetool ring実行結果を集約 クラスタが不安定なとき、実際は動いているのに一部のノードか
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
hbstudy#11 - 科学と非科学の迷宮
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
Testing Distributed Systems
Ubuntu 8.04 で Thrift を試してみた - なんとなく日記
「オーマｘクックパッド勉強会」で発表してきました - mroriiの日記
Nosqlの基礎知識（2013年7月講義資料）
クラウド時代のパケ死にご注意 - さまざまなめりっと
Digital Romanticism
RDBMSを捨てたワークス「HUE」でホントに知りたかったこと
m7a.me - m7a リソースおよび情報
HBase vs Cassandra: why we moved
第5回 APIの全体像とデータの投入 | gihyo.jp
NoSQL at Twitter (NoSQL EU 2010)
Charming Python: Functional programming in Python, Part 3
In-Stream Big Data Processing
カラム指向型データベース（HBase、Hypertable、Cassandra）編
Sematext Cassandra Monitoring | Performance Monitoring Tool
NoSQLデータベース：調査と決定のガイダンス（その3） | POSTD
Netflixは218台のCassandraノード再起動にどう対処したのか
Apache HBase 入門 (第２回)
サーバ監視ツール「munin」の使い方 ～ その3 ～ | さぶみっと！JAPAN
イベントレポート - 講演資料｜楽天テクノロジーカンファレンス2010
Netflixが採用するCassandra／マルチテナントのコンテナ型DBとしてのSAP HANA
第1回HBaseとCassandraの討論会のメモ - ひしだまの変更履歴
ericflo's twissandra at master - GitHub
Cassandra運用に活躍したスクリプトたち : toda_k