タグ

nosqlに関するkimutanskのブックマーク (49)

  • NoSQLデータベース:調査と決定のガイダンス(その1) | POSTD

    (訳注:2016/10/1、頂きましたフィードバックを元に記事を修正いたしました。) 先月、ハンブルク大学の同僚たちと一緒に SummerSOC 2016 でNoSQLの状況についての講演をしました。メンバーは、 Felix Gessert 、 Wolfram Wingerath 、 Steffen Friedrich 、 Norbert Ritter でした。今回はその講演の要点を記事にまとめました。 Baqend を設立して集めた、私たちのNoSQLの濃厚な知識が皆さんに伝われば幸いです。 要約 現在、データはかつてない規模で生み出され、消費されています。増え続けるデータ量とリクエスト負荷に対応するために、「NoSQL」データベースシステムという用語で包括されるスケーラブルなデータマネジメントの新しい方法が産み出されてきました。しかし、数多く存在するシステムは、不均一で多様性があるので

    NoSQLデータベース:調査と決定のガイダンス(その1) | POSTD
    kimutansk
    kimutansk 2016/09/06
    PACELCは性質としては知っていたもののきちんとした記事は読んだことなかった。今度読んでおきましょう。
  • 同時実行性制御をアプリケーションで解決しようとすると深刻な問題が発生する~業務システムをRDBなしで作れるのか?(後編) エンジニアサポートCROSS 2016

    同時実行性制御をアプリケーションで解決しようとすると深刻な問題が発生する~業務システムをRDBなしで作れるのか?(後編) エンジニアサポートCROSS 2016 数年前にNoSQLが登場した当時、NoSQLにはデータの一貫性を保証してくれるトランザクション機能などが十分に備わっていないため、業務システムのバックエンドとして使うのは容易ではないと考えられていました。 しかしその後、NoSQLをバックエンドにした業務アプリケーションは現実にはいくつか登場してきています。ワークスアプリケーションズが2014年に発表したERPの「HUE」もCassandraをバックエンドに採用した、格的な業務アプリケーションです。 そのHUEの開発に関わるスタッフが、どういう実装ならばNoSQLが業務アプリケーションのバックエンドに使えるのか、それにはどういう意味があるのか、などについて議論したセッション「業務

    同時実行性制御をアプリケーションで解決しようとすると深刻な問題が発生する~業務システムをRDBなしで作れるのか?(後編) エンジニアサポートCROSS 2016
    kimutansk
    kimutansk 2016/02/17
    「依存性のあるリードとライトの操作だけ順番を保証」と。ある意味Kuduはそれに近い性質を持っているのかも。時間のずれの幅だけ待ってCommitで競合発生時も除去できるようではありますが・・・
  • アプリケーションのレベルでこそ要求に合ったトランザクションが実装できる~業務システムをRDBなしで作れるのか?(中編) エンジニアサポートCROSS 2016

    アプリケーションのレベルでこそ要求に合ったトランザクションが実装できる~業務システムをRDBなしで作れるのか?(中編) エンジニアサポートCROSS 2016 数年前にNoSQLが登場した当時、NoSQLにはデータの一貫性を保証してくれるトランザクション機能などが十分に備わっていないため、業務システムのバックエンドとして使うのは容易ではないと考えられていました。 しかしその後、NoSQLをバックエンドにした業務アプリケーションは現実にはいくつか登場してきています。ワークスアプリケーションズが2014年に発表したERPの「HUE」もCassandraをバックエンドに採用した、格的な業務アプリケーションです。 そのHUEの開発に関わるスタッフが、どういう実装ならばNoSQLが業務アプリケーションのバックエンドに使えるのか、それにはどういう意味があるのか、などについて議論したセッション「業務シ

    アプリケーションのレベルでこそ要求に合ったトランザクションが実装できる~業務システムをRDBなしで作れるのか?(中編) エンジニアサポートCROSS 2016
    kimutansk
    kimutansk 2016/02/17
    ドメイン固有トランザクション管理(表現微妙)をドメイン層で用意して発生するエラーパターンを除去する方式と。アプリケーション開発としてはよさそう。
  • “キャッシュ”が新しいRAMとなる | POSTD

    これは Defrag 2014 の講演内容です。 テクノロジに長く従事することの(数少ない)利点の1つは、いくつもの技術サイクルの始めから終わりまでを見ることができるということです。いかにしてブレークスルーが実際に広まるかを見られるのです。サイクルの曲線の一部分しか見なければ、全体を正確に測り知るのは難しいでしょう。短期間で起きた進歩を見過ごしてしまうか、長期間で起こる進歩を見届けられないかのどちらかです。驚くべきことは世の中の事象がいかに速く変化するかではなく、その変化に呼応するエンジニアリングの変革がいかに遅いかということです。画像は、1891年に発明された、電話回線を自動で接続するストロージャー式自動交換機です。 1951年、デジタル交換機の最先端において、典型的な中央電話交換局はビクトリア期の特大サイズでした。ストロージャー式自動交換機は、通信中の全ての電話の信号を扱っていました。

    “キャッシュ”が新しいRAMとなる | POSTD
    kimutansk
    kimutansk 2015/01/16
    データストアの技術の変遷はやはり面白い。今いい構成は数年後には既にパラダイム遅れのものになっている。CPU中のキャッシュの面積割合増大は初めて知りましたが、これも面白いですね
  • 『NewSQLのCockroachDBについて調べてみた』

    CyberAgent エンジニア Advent Calendar 2014の23日目の記事です。 秋葉原ラボの、鈴木(@brfrn169 )、Shtykh Roman、柿島大貴です。 普段は、分散DB(主にHBase)やストリーミング処理基盤の開発・運用などをやっています。 今回は、NewSQLの1つであるCockroachDBについて紹介します。 NewSQLとは CockroachDBについて紹介する前に、NewSQLについて簡単に説明します。 NewSQLとは、一言で言うとNoSQL+SQL機能(トランザクション)です。 RDBMSとNoSQLの良いとこどりをしているともいえるでしょう。 従来、RDBはスケールアウトのしづらいモノリシックな作りになっていました。 しかし、RDBでは、昨今のビックデータの潮流に対応できず、NoSQL技術が登場します。 NoSQLは、スケールアウトが容

    『NewSQLのCockroachDBについて調べてみた』
    kimutansk
    kimutansk 2015/01/06
    Google Spannerベースではあるものの、原子時計やGPS受信機までは想定しない簡易版、という位置づけですかね。ただ、期待できる前情報に反して名前が・・・
  • https://jp.techcrunch.com/2014/12/15/20141213foundationdb-and-the-new-nosql/

    https://jp.techcrunch.com/2014/12/15/20141213foundationdb-and-the-new-nosql/
    kimutansk
    kimutansk 2014/12/16
    機能性能だけ見ると抜けてますがどんな制約がありますかね。
  • Part 2: The Cloud Does Equal High performance - High Scalability -

    « Stuff The Internet Says On Scalability For August 22nd, 2014 | Main | Sponsored Post: Apple, Tumblr, Gawker, FoundationDB, Monitis, BattleCry, Surge, Cloudant, CopperEgg, Logentries, Couchbase, MongoDB, BlueStripe, AiScaler, Aerospike, AppDynamics, ManageEngine, Site24x7 » This a guest post by Anshu Prateek, Tech Lead, DevOps at Aerospike and Rajkumar Iyer, Member of the Technical Staff at Aeros

    Part 2: The Cloud Does Equal High performance - High Scalability -
    kimutansk
    kimutansk 2014/10/08
    HBaseやCassandraだとWrite性能の方が高いですが、AerospikeはRead性能の方が高いわけですか。ただ、そのWriteでマシン性能がほぼ倍の状態のCassandraと同等のWrite性能はさすが
  • Scaling NoSQL databases: 5 tips for increasing performance - O'Reilly Radar

    Scaling NoSQL databases: 5 tips for increasing performance How NoSQL databases scale vertically and horizontally, and what you should consider when building a DB cluster. Editor’s note: this post is a follow-up to a recent webcast, “Getting the Most Out of Your NoSQL DB,” by the post author, Alex Bordei. As product manager for Bigstep’s Full Metal Cloud, I work with a lot of amazing technologies.

    Scaling NoSQL databases: 5 tips for increasing performance - O'Reilly Radar
    kimutansk
    kimutansk 2014/09/24
    線形スケールを前提としない/スペックより検証/CPUメモリのクロックは詳細まで確認/ネットワーク遅延チューニングを怠らない/仮想化しない、と。どれもわかりやすいですね。
  • 『Cassandraのデータ設計で注意していること』

    Ameba Smart Phone PlatformAPI開発を担当している狭間と申します。今回はAmeba Smart Phone Platformで使用しているCassandraのデータ設計時に気をつけていることを実際に起きた事例を交えてお話したいと思います。 Cassandraのverstionは1.1.5を使用していて、100台構成のクラスタを組んでいます。ピーク帯ではおよそ50000write/sec、40000read/secのリクエストを処理していて、およそ45TBのデータを保持しています。そのような条件下で発生した事例と対処方法を紹介させていただきます。

    『Cassandraのデータ設計で注意していること』
    kimutansk
    kimutansk 2014/08/22
    このあたりはCassandraに限らずカラム型のNoSQLだと似たような問題が発生する事案ですかね。
  • 既存のNoSQL型データベースより10倍高速をうたう「Aerospike」、オープンソースで公開 | OSDN Magazine

    NoSQL型データベースを開発するベンチャー企業の米Aerospikeは6月24日、同社が開発するデータベースシステム「Aerospike」をオープンソースソフトウェアとして公開したことを発表した。一般的なNoSQL型データベースの10倍、SQL型データベースの100倍の性能を実現可能とアピールしている。 Aerospikeはインメモリ型のリアルタイムNoSQLデータベース。RAM上にインデックスを、SSD上にデータを配置するといった柔軟性の高いインメモリ技術を持ち、大規模データをリアルタイムで高速に処理できるという。拡張性も高く、またACIDサポートやダウンタイムゼロという特徴もあるとしている。 サーバー側はハイブリッド型メモリシステムとリアルタイムエンジンをベースに、その上でスマートクラスタやデータセンターレプリケーション機能が動く。ノードを追加すると自動でデータの再配置と負荷分散が行

    既存のNoSQL型データベースより10倍高速をうたう「Aerospike」、オープンソースで公開 | OSDN Magazine
    kimutansk
    kimutansk 2014/06/27
    10倍高速とありますが、どういう条件をそろえた場合の話なんでしょうねぇ。
  • Facebookが新しいNoSQLであるApolloを発表

    Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。このでは、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...

    Facebookが新しいNoSQLであるApolloを発表
    kimutansk
    kimutansk 2014/06/25
    読込や書込に条件付けて設定し、条件満たしたら実行できるというのは面白いですね。新規データへのクエリのようにも使えるんでしょうか。
  • Cassandra vs Riak vs Redis 〜 NoSQLの性能を比較してみた

    CassandraとRiakとRedis、どれが一番速いのかなーってことで性能を比較してみました。 後ほど詳しく書きますが、若干Redisに有利なベンチマークの取り方しています。 各ミドルウェアの条件と特徴はこれ。 アーキテクチャ比較 version: 2.0.5 構成: cluster depend: Java, Python データモデル: カラム指向 アーキテクチャ: Gossip ノード管理: 設定ファイル/コマンド/GUI 無停止ノード管理: 無停止 CUIクライアント: cqlsh 管理ツール: 付属のweb ui Cassandraのインストール〜クラスター構築はこちらをどうぞ。 Cassandra2系のクラスターをRHEL系LInuxに構築する version: 2.0.0pre11 構成: cluster depend: Erlang データモデル: Key-Value

    kimutansk
    kimutansk 2014/06/03
    RiakとCassandraの比較結果はなるほど。Riakの方が基本性能高いものの、極端に遅くなるケースがある、と。。。
  • その選択、ちょっと待った!NoSQLデータベースへ乗り換える前に検討すべき3つのポイント

    最近、どうも安易に「NoSQLにすれば厄介なDB設計から開放される」と考えている人が多いように思えて仕方がない。だが待って欲しい。当にNoSQLと呼ばれるデータベースを使えばアプリケーションの開発・運用の苦しみから逃れられるのだろうか。もちろん「そんなことは無い!!絶対にだ!!」と私は考える。今日はその理由について語ろうと思う。 トランザクション先日、リレーショナルデータベースにおけるDB設計についてセミナーで解説したばかりだが、リレーショナルデータベースにおけるデータの整合性は何もDB設計だけが担保しているわけではない。リレーショナルモデルと同じかそれ以上に欠かせないのがトランザクションだ。 トランザクションがあるおかげで、トランザクション終了後のステータスは「成功」か「失敗」の2つしかないということが保証される。すなわちオール・オア・ナッシングだ。もしトランザクションの途中で何らかの

    その選択、ちょっと待った!NoSQLデータベースへ乗り換える前に検討すべき3つのポイント
    kimutansk
    kimutansk 2013/12/02
    非常に当たり前の話ですが、重要な話。RDBが圧倒的な時代が長かったからこそ、今度はNoSQLこそが解だと誤解してしまうんですかねぇ・・・
  • Nosqlの基礎知識(2013年7月講義資料)

    2013年7月30日開催、JDMC分科会講義資料。 2012年4月発売「NOSQLの基礎知識 ビッグデータを活かすデーターベース技術:リックテレコム刊」からの更新情報も追加しています。Read less

    Nosqlの基礎知識(2013年7月講義資料)
    kimutansk
    kimutansk 2013/11/21
    OSS NoSQLの一覧がいいですねぇ
  • Peter Bell氏に聞くNoSQLのトレンド

    Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。このでは、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...

    Peter Bell氏に聞くNoSQLのトレンド
    kimutansk
    kimutansk 2013/11/18
    「NoSQL後の次の大きなトレンドは不変データストア」と。とはいえ、NoSQL等との組み合わせにはなるんでしょうねぇ
  • なぜApache HBaseを選ぶのか? #cwt2013

    1. DO NOT USE PUBLICLY PRIOR TO 10/23/12 なぜApache HBaseを選ぶのか? Headline Goes Here Jonathan Hsieh | @jmhsieh Speaker Name or Subhead Goes Here SoHware Engineer at Cloudera | HBase PMC Member November 7th, 2013, Cloudera World Japan 2013 2. 自己紹介 •  Cloudera: •  ソフトウェアエンジニア •  Tech Lead HBase Team •  Apache HBase commiRer / PMC •  Apache Flume founder / PMC •  ワシントン大学: •  分散システムの研究 2 11/7/13 Cloudera

    なぜApache HBaseを選ぶのか? #cwt2013
    kimutansk
    kimutansk 2013/11/13
    使い方下手でCassandra使い切れなかったのはあるものの、KVS以上のことやりたければHBaseですかねぇ…個人的には。
  • この1年の優れたIT系書籍はどれか?「Jolt Awards 2013」が5冊を発表

    デベロッパー向けに情報発信をしている「Dr. Dobb's Journal」が、この1年に出版されたIT系書籍の中から優れたを選ぶ「Jolt Awards」が今年も発表されました。 選ばれた書籍を見てみると、まずNoSQLの書籍が入っていることにやや驚きます。しかも著者の1人はあのMartin Fowler氏です。米国では引き続きNoSQLに熱い視線が注がれているのですね。 2冊目のTeam Geekは日語版が出版されていたので、そちらを紹介しています。これは多くのエンジニアが読みたいテーマではないでしょうか。また、5冊目のリーンUXもチームによる開発について触れられているようです。そのほか、テキスト処理、.NETにおける依存性注入と、どれを見ても濃いテーマが並んでいます。 (以下の各書籍の紹介は、Amazonでの紹介をざっくり訳したものです)。 Jolt Awardsを受賞した5冊の

    この1年の優れたIT系書籍はどれか?「Jolt Awards 2013」が5冊を発表
    kimutansk
    kimutansk 2013/10/03
    3冊くらいは知ってはいますが、読んではないですねぇ・・ 今度見てみますか。
  • Devsumi2013【15-e-5】NoSQLの野心的な使い方 ~Apache Cassandra編~

    Developers Summit 2013 の 【15-e-5】NoSQLの野心的な使い方 ~Apache Cassandra編~ のスライドです。 NoSQLについてのよくある誤解や正解から始めて、 RDBMSとの当の関係、 フロントシステムがNoSQL 動的分析などがRDBMS という構成が自然な解であることなどを 簡単ながら記載しています。 最近はマイクロサービス/サービスメッシュ基盤へ応用しています。 https://b-rabbit.jp/Read less

    Devsumi2013【15-e-5】NoSQLの野心的な使い方 ~Apache Cassandra編~
    kimutansk
    kimutansk 2013/07/08
    システムにもよりますが、バックヤードで解析するのにRDBが向くというのは言われてみるとその通りなんですよね
  • Redisを使ったランキング機能の実装

    2013/05/29 DevLOVEさんイベント

    Redisを使ったランキング機能の実装
    kimutansk
    kimutansk 2013/05/30
    ソート済みセットって、こうまで使いやすいAPIがあったんですねぇ。
  • MongoDBが適さないケース - 中年engineerの独り言 - crumbjp

    > 原文(Why MongoDB is a bad choice for storing our scraped data) 私自身はMongoDBを推進する立場なのだが、確かにMongoDBに適さないケースはある。 闇雲に推進しても結局は全員がアンハッピーになるので、この様なネタもどんどん紹介していこうと思う。 この記事はMongoDBを徹底的に使い尽くしたエンジニアが書いている様で状況が良く解った。 ちょっと難しい所もあるので要点を意訳して、軽く解説を書いてみる。 (もちろん是非原文で読むのをお勧めする) 状況 最初はMongoDBでうまく動いていたが、だんだん苦労が増えてきて 元々のアーキテクチャを刷新するタイミングでMongoDBから別のプロダクトに乗り換える事にした。 システムの規模 詳しく書かれていないが、1ノード辺り数TBとあるのでSharding環境ではないかと思われる。

    MongoDBが適さないケース - 中年engineerの独り言 - crumbjp
    kimutansk
    kimutansk 2013/05/20
    時系列データは根本的にシャーディングには向かないと。その通りですねぇ・・・