パフォーマンス比較 Cassandra、Mongodb、SQLite、H2、MySQL、Postgres - cypher256's blog
下記のようなシステムでパフォーマンスが良さげな SQLite を使用予定ですが、もっと速いものが無いか確認のため他のデータベースのパフォーマンスを計測してみました。SQL 利用前提ですが、NoSQL が圧倒的な性能を出す場合は検討する必要があるので KVS も確認しました。 データ件数は 1 億件程度、JDBC SQL 利用可能 INSERT、UPDATE はバッチ SELECT は主キーアクセス性能を重視 将来スケールアウトのための分散はありえるが、スタンドアロンで遅いのはだめ データベースのパフォーマンス比較 計測したデータベース データベース名 タイプ 形態 評判 計測についての備考 SQLite RDB 組み込み ※2 おもちゃ、Android標準 JDBC操作 ※1 H2 RDB 組み込み ※2 組み込み最速 JDBC操作 ※1 Derby RDB 組み込み ※2 Java標準で
松尾芭蕉が名前の由来。分散型NoSQLデータベース「Riak」のBashoが日本法人設立
NoSQLデータベースを主力製品とする米国のソフトウェアベンダー「Basho Technologies」が日本法人「バショー・ジャパン」を設立、日本における展開を開始しました。日本語版のWebサイトも公開されています。 同社のNoSQLデータベース「Riak」は分散型キーバリューストア。クラウドに対応した高いスケーラビリティや、単一障害点がなく高い可用性が特徴。 Riakはオープンソースとして開発されており、マルチデータセンター機能などが追加されたEnterprise版と、RiakのテクノロジーをコアにしたAmazon S3互換の分散オブジェクトストレージの「Riak CS」などがあります。 Riakはすでに米大手キャリアのAT＆T、金融のシティコープ、小売りのベストバイなどの実績があると米Basho Technologies CEOのDon Rippert（ドン・リパート）氏。「ユーザー
Redisの可能性を拡大する。Redis用Apacheモジュール·mod_redis MOONGIFT
mod_redisはRedisにHTTPでアクセスできるようにするApacheモジュールです。 Redisはセッション管理をはじめKVSとして便利に使われていますが、プロトコルが独特であるためにサーバとの通信くらいにしか使われていません。そこでJavaScriptからでもRedisを使いやすくするmod_redisを使ってみましょう。 インストールしました。mod_redisは名前の通りApacheモジュールとしてインストールします。 Redisを起動します。 HTTPからアクセスします。/redisがRedisへのアクセスになっています（設定で指定）。 別途Redisへデータを追加します（mod_redis経由でもできます）。 するとデータがきちんと読み取れました。 設定例です。 mod_redisではRedisAliasという指定によってURLやメソッドごとにRedisへのデータ追加、
Memcached互換永続KVS TokyoTyrant, KyotoTycoonのベンチマーク（Ruby） | Cloud Berry
投稿ナビゲーション ← 前へ 次へ → Memcached互換永続KVS TokyoTyrant, KyotoTycoonのベンチマーク（Ruby） さくらVPSを使って、Memcached互換の永続KVSであるTokyoTyrantとKyotoTycoonのベンチマークを取得しました。もちろん、memcachedのベンチマークも取得しました。 ※ TokyoTyrantとKyotoTycoonは、Memcached互換インタフェースを使用しているため、かなり不利な結果となっています。 今回は、書きやすさを考慮してRubyを使用しました。memcachedのライブラリには、memcache-clientやDalliが人気のようですが、あえて、memcachedを使ってみました。 本記事に関連する記事は、以下のとおりです。 CentOSで、RVMをインストール KyotoTycoon
redisドキュメント日本語訳 — redis 2.0.3 documentation
翻訳について¶ このドキュメントは、RedisのWiki(http://code.google.com/p/redis/wiki/)の内容を参考にしながら、構成などはSphinxに合わせつつ翻訳しています。また、必要に応じて、配布物の中のファイルなども引用しながら訳しています。
blog.katsuma.tv
当然のごとくmemcachedが最速だろう。。。と思いきや、そうでもない結果に。むしろ一番遅い結果に。なんだこれーーーと思って調べ続けていたのですが、バインディングのgemのコードを追いかけるかぎり、どうもこれはmemcache-clientの実装が原因のよう。 これは、memcache-clientの実装はpure-rubyで実装されているのに対して、TokyoCabinet/TokyoTyrantのバインディングの実装はnativeコードで実装されてあるのが原因のようです。事実、TokyoTyrantはmemcacheプロトコルを実装しているので、memcache-clientを利用してTokyoTyrantにアクセスすると両者はこんな結果になりました。 user system total real
ずばり動く！kumofs と ずばり動かないケース
hbstudy#10 kumofsのシステムを実際に構築し、運用する方法について紹介します。また、現状kumofsに存在する問題点を踏まえて、それらを改善する方法について議論したいと思います。Read less
分散Key-Valueストア「kumofs」を公開しました！ - Blog by Sadayuki Furuhashi
分散Key-Valueストア kumofs を、本日オープンソースソフトウェアとしてリリースしました！ kumofs@SourceForge kumofs関連資料まとめ kumofsとは？ kumofs（クモエフエス）は、実用性を重視した分散データストアです。レプリケーション機能を備え、一部のサーバーに障害が発生しても動作し続けます。単体でも高い性能を持ちながら、サーバーを追加することで読み・書き両方の性能が向上する特徴を持ち、低コストで極めて高速なストレージシステムを構築・運用できます。 kumofsの大きな特徴は、システムの構成の簡単に変更できる点です。システムを止めることなく、簡単な手順でサーバーを追加したり復旧したりできます。アプリケーションには一切影響を与えません。 またkumofsは、広く利用されている分散キャッシュシステムの「memcached」と互換性のあるプロトコルを実装
Tokyo TyrantによるHAなセッションストレージ 1 検討篇 - Webと何かとその近所
2年前にPHPのセッション管理に使う箱選び 4で、セッションストレージとしてはMySQLのInnoDBを使用するのが良いと結論付けた。 当時は主にセッション数が増えていった場合のパフォーマンスについて調べて結論を出したものの、実際にMySQLをセッションストレージとして使用すると、さらに負荷が高くなった場合のパフォーマンスや可用性の部分にちらほら課題が見えてくる。 つまり、大規模なセッションストレージとして使うにはMySQLは高機能過ぎて重く、さらに冗長構成になっていても障害発生時の対応は手動が基本になってしまう。(自動化できないわけではないと思う) MySQL :: MySQL 5.6 リファレンスマニュアル :: 17.3.6 フェイルオーバー中にマスターを切り替える セッションデータの集中管理をやめる*1というのも手だけれど、それはそれで大変なので別のセッションストレージにする方向で
memcachedと“正反対”、Redisが仮想メモリをサポート － ＠IT
2010/09/07 KVS（キー・バリュー・ストア）に分類されるオープンソースのRedisの新バージョン、「Redis 2.0.0」が2010年9月5日にリリースされた。Redisはmemcachedと同様にキーと値のペアをメモリ上に保持するKVSの一種だが、3つの際立った特徴がある。1つはハッシュ以外のデータ構造もサポートしていることで、リスト型、集合型、順序付き集合型などのデータ構造が扱え、サーバ側でコレクションに対するpush/pop、コレクション同士のunion/intersection、数値のincr、decrなどの操作がアトミックに行える。バージョン2.0では複数の操作を1つにまとめてアトミックに操作するコマンドも増えている。 もう1つのRedisの特徴は、マスター・スレーブによるレプリケーション設定ができ、リード側のスケールアウトが容易にできること。 そして3つ目の特徴は、
最速KVS研究第3弾（memcached V.S. redis 第2弾） - なぜか数学者にはワイン好きが多い
memcachedとredisのKVS 速度対決をやってみて，やっぱり低遅延性というかレイテンシではmemcachedの勝ちという結果が出たのですが， KVS最速テスト第二弾（memcached V.S. Redis） - なぜか数学者にはワイン好きが多い 逆に圧倒的にredisの方が速いという結果を提示しているブログがありました． Redis vs Memcached | /sys/toilet As you can see here, Redis came up short by a range of 20-26% the speed of memcache. memcacheよりredisの方が2割ほど早いようだ． ただし環境設定が結構違うので，単純にこちらのベンチと上記のベンチのどちらが正しいというのは言えないので，少し考えてみました． 違いは沢山あります． こちらはPocoライブ
最速KVS研究第Redis V.S. LevelDB - なぜか数学者にはワイン好きが多い
最速KVS研究第4弾 - なぜか数学者にはワイン好きが多い どこまでも続きます． 目的が全く違う2者ですが，敢えて比較してみました． もちろん，Google LevelDBと似たコンセプトのものとの比較も今後進めますが．．． とりあえず，キー長はmd5ハッシュの長さ固定，バリュー長を変化させ，かつ同時アクセス数をスレッドアクセスで変化させて読み書き時間を測ってみました． まず，バリューの長さが100バイトと短い場合のベンチ． 同時アクセス数を表すスレッド数が少ないときはLevelDBの書き込みが爆速，読み込みはなぜか遅い．．．redisはスレッド数に関わらず安定して読み書きとも中間な感じです． 次，バリューの長さが1000バイトの中間的ベンチ． やはりLevelDBはスレッドが1だと書き込みが最も速く，同時アクセス数が増えると遅くなる． 読み込みの方は，redisよりは遅いものの同時アクセ
key-valueストアの基礎知識
首藤 一幸 Last-updated: January 5, 2010 注: このページの文章は Software Design 誌 2010年 2月号に掲載された以下の記事の元原稿です。 Software Design 誌編集部の了承の元に、本ウェブページに掲載しております。 首藤一幸: "key-valueストアの基礎知識", Software Design 2010年 2月号, p.14-21, (株)技術評論社, 2010年 1月 18日 クラウド、特にPaaS向けのソフトウェア開発が現実のものとなり、 そこではリレーショナルデータベースとは違ったデータベースが 勢いを増しています。 その代表であるkey-valueストアを解説します。 もくじ key-valueストアとは なぜkey-valueストアか key-valueストアの使いどころ key-valueストアとNoSQLの
楽天が独自開発したRuby版分散KVS「ROMA」を実サービスに投入
楽天は2009年8月27日，同社が独自に開発した分散処理基盤ソフトウエア「ROMA（Rakuten On-Memory Architecture）」を実サービスに導入した。ROMAは，同社の研究開発部門である楽天技術研究所が開発した，分散キー・バリュー型データストア（KVS)と呼ばれるソフトウエア。Rubyで記述されている。 ROMAを導入したのは楽天トラベルの閲覧履歴機能「最近見た宿」。楽天では今回，同機能をモバイル機器に拡張。パソコンとモバイル機器両方のアクセス履歴を統合して表示させるために高速にデータを処理する必要があり，ROMAを利用したという。 分散KVSとは，複数のサーバーに分散してデータを保持するための基盤ソフトウエア。分散KVSにはmemcachedやAmazonのDynamoなどがあるが，ROMAはそのRuby版である。ひとつのデータを複数のマシンに複製して持つことで障害
手の届かないところをかいてあげるようなサービスに--元ミクシィCTOバタラ氏の新会社が本格始動 - VENTURE VIEW
人気の記事 11ビットコインが1000万円を突破--史上初 2024年03月05日 2計算アプリ「Photomath」、グーグルのアプリとして公式に公開 2024年03月04日 3マイナカードのiPhone搭載「もうちょっとお待ちを」--河野大臣が笑顔で言及 2024年03月05日 4楽天の株価に連動して「楽天ポイント」が増減する新サービス 2024年03月05日 5「ストリートビュー」が捉えたクレイジーすぎる光景38連発 2018年08月05日 6アップル、M3チップ搭載MacBook Airを発表--2台の外部ディスプレイに対応 2024年03月05日 7LINEヤフー、総務省から行政指導--度重なる情報漏えい受け、経営体制見直しも 2024年03月05日 8「Pixel Watch 2」の一部機能、初代モデルでも利用可能に 2024年03月05日 9ビットコインが一時2万ドル割れ--
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
KVS
Google Code Archive - Long-term storage for Google Code Project Hosting.
GREE Engineering
ROMAについて
デブサミ2011レポート 利用者数600万人、人気ネットサービス「アメーバピグ」を支えるインフラ構築で学んだこと