NoSQLデータベースを40種類以上リストアップ、キーバリュー型にもいろいろある
Webスケールのデータを扱うためにさまざまなデータベースが登場してきている、ということを昨日のエントリ「データベースは目的別に使い分けるべし」で紹介しました。 特にリレーショナルモデルをベースとしない、非SQL系（NoSQL）と呼ばれるさまざまな種類のデータベースが登場してきています。非SQL系のデータベースは以前からオブジェクトデータベースやドキュメントデータベース、階層型データベースなどが存在していましたが、最近注目されているのがキーバリュー型データストアと呼ばれるデータベース。 ブログ「High Scalability」にポストされたエントリ「A Yes for a NoSQL Taxonomy」では、これら非SQL系のデータベースを詳細に9分類し、それぞれの分類に属するデータベースをリストアップしています（基になったのは「NoSQL is a Horseless Carriage」
memcached-1.4 RCをつかってみよう - mixi engineer blog
数日前にmemcached-1.4のリリース候補が出ましたので、今日はその最新版と、それを使ったメモリ節約の運用法を紹介します。厳密にいうと、ご紹介させていただくmemcachedのメモリ節約機能は1.3のbetaから存在し、過去にこちらで取り上げました。 memcached-1.4.0-rc1 1.4 RCは基本的に1.3.* betaで発見・報告されたバグの修正やコードベースの改修が主な内容です。詳しいリリースノートはこちらになります。 http://code.google.com/p/memcached/wiki/ReleaseNotes140rc1 ダウンロードはこちらです。 http://code.google.com/p/memcached/downloads/list 新しいバージョンのmemcachedはバイナリプロトコルの導入以外に地味に生まれ変わっています。例えばコード
CGMサイト構築で悩む負荷対策と拡張性の確保 （1/3）－ ＠IT
第1回 CGMサイト構築で悩む負荷対策と拡張性の確保 林田 幸一 株式会社Cuon 2008/8/4 Rubyを使った大規模エンタープライズ開発が始まっている。Ruby on Railsでの開発において、インフラやアプリケーションアーキテクチャをどのように構成すべきかを考える（編集部） 最近、Ruby on Rails（RoR）で構築されているCGM（Consumer Generated Media）サイトやコミュニティサイトが確実に増えてきている。例を挙げるまでもないが、Twitter、食べログ、iknowなどだ。 RoRの採用の理由として、 実験的なプロジェクトとして。最近評判のRoRを次期言語・フレームワークとして評価するため 人材採用のためのコマーシャル 開発リーダーやマネージャが純粋にRuby好き など、会社レベルから個人レベルまでさまざまな採用理由が存在する。 われわれの会社（
groongaデータベースAPIについて概説 - グニャラくんのグニャグニャ備忘録@はてな
groongaにおいて、データベースを扱うためのAPI群について概説します。 groongaは、RDBMSでいうところのテーブル・カラムを扱うAPIを提供します。 テーブルは、内部的にハッシュテーブルもしくはパトリシアトライが基となっています。 それぞれの要素について、どのような操作が行えるかを説明します。 grn_hash grn_hashとは、以下の操作を行えるAPI群です。 任意のkeyを指定したデータ保存 任意のkeyを指定したデータ取得 任意のkeyを指定したデータ削除 カーソルを用いた、全てのkey/valueの取得・設定・削除 内部の実装は、ハッシュテーブルです。 メモリ上に作成することも、ファイルとして作成することもできます。 いわゆる*DBMと同等のことができます。 Tokyo CabinetでいうところのTCHDBですね。 grn_pat grn_patとは、以下の操作
あのデータのステータスは？Mac OSX向けmemcachedクライアント·mcinsight MOONGIFT
最近のWebシステム開発ではキャッシュサーバを用いることが多くなってきている。通常、ボトルネックになりやすいファイルへの読み書きやデータベース接続のコストが、メモリを使うことで大幅に軽減される。ハードウェアを過分に増強せずとも、メモリを増設してmemcachedを使うだけでずいぶんパフォーマンスが向上する。 memcachedのデータが一覧できる しかし開発の時点でmemcachedを使っていると、きちんとデータが入っているか、またはどちらを参照しているのか分からなくなることがある。そのような時に使えるのがmcinsightだ。 今回紹介するフリーウェアはmcinsight、memcachedサーバ＆フロントエンドだ。Githubにてソースコードは公開されているが、ライセンスは明記されていないのでご注意いただきたい。 mcinsightはローカルのmemcachedサーバとして利用する。立
第4回 memcachedの分散アルゴリズム | gihyo.jp
株式会社ミクシィの長野です。第2回、第3回と前坂がmemcachedの内部について紹介しました。今回は内部構造から離れて、memcachedの分散についての紹介をいたします。 memcachedの分散 連載の1回目に紹介しましたが、memcachedは「分散」キャッシュサーバと言われていますが、サーバ側には「分散」の機能は備わっていません。サーバ側には当連載の第2回、第3回で前坂が紹介したメモリストレージの機能のみが組み込まれており、非常にシンプルな実装となっています。では、memcachedの分散はどのように実現しているのかと言うと、すべてクライアントライブラリによって実現されます。この分散方法はmemcachedの大きな特徴です。 memcachedの分散とは ここまで数度「分散」という言葉を用いてきましたが、あまり詳しく触れてきませんでした。ここでは各クライアントの実装に共通する大ま
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
MOONGIFT: » レプリケーションするmemcached「repcached」:オープンソースを毎日紹介
memcachedは便利なキャッシュ機能を持っているが、サービスが落ちるとデータが全て消失する点で使い勝手が悪い場合があった（良い場合もある）。基本的には消失しても良いデータだけしか入れられないという認識の元で利用するのだが、実際にサービスがダウンすると、負荷が急上昇しサービスのレベルが大幅に落ちてしまう。 起動した画面。レプリケーションの接続を待っている さらにmemcachedを多用すると、パフォーマンスが鈍ってくることもあるだろう。そこで、memcachedをさらに活用していくためにこれを使おう。 今回紹介するオープンソース・ソフトウェアはrepcached、レプリケーションに対応したmemcachedだ。 repcachedはKLab株式会社で開発されたソフトウェアで、memcachedをベースにレプリケーション機能を追加したものだ。これにより負荷を分散させる効果、冗長性を持たせる
最近のmemcached界隈の賑わいについてのメモ : DSAS開発者の部屋
repcachedの開発をしている関係で、昨年あたりからmemcached界隈のウォッチを強化しています。 昨日のエントリでもちょっと書いたんですが、なぜかここ最近、にわかにmemcached界隈が賑やかになってきている感があります。具体的には、memcached互換の実装がいろいろと現れたり、新しいクライアントライブラリが登場したりなど。 そんなわけで、最近わたしが気になっている、memcached関連のあのプロダクトやこのプロダクトをささっとまとめてみたいと思います。 クライアントライブラリ (C) libmemcached Brian Akerさんによる、C言語用のライブラリ。 既存のC言語用のライブラリである、libmemcacheとapr_memcacheに続く、第3のC言語用ライブラリです。 Consistent Hashingも実装しているようです。 いままでベンチマークプロ
Cache::Memcached::XS - client library for memcached (memory cache daemon) using libmemcache - metacpan.org
NAME Cache::Memcached::XS - client library for memcached (memory cache daemon) using libmemcache SYNOPSIS use Cache::Memcached::XS; $memd = new Cache::Memcached { 'servers' => [ "10.0.0.15:11211", "10.0.0.15:11212", "10.0.0.17:11211", [ "10.0.0.17:11211", 3 ] ], 'compress_threshold' => 10_000, }; $memd->set_servers($array_ref); $memd->set_compress_threshold(10_000); $memd->enable_compress(0); $mem
第3のmemcachedクライアントライブラリ (C言語) - （ひ）メモ
C言語のmemcachedクライアントライブラリは、 apr_memcache libmemcache の2種類が存在していたのですが、第3のライブラリがリリースされたようです。 libmemcached So why implement another C client library? (since that is the first question I expect some one to ask) 1) The libmemache library I was using for a while for the MySQL memcached storage engine leaks memory and after toying with it I decided I didn't want to fix it. 2) The APR one has the drawback
DSAS開発者の部屋:repcached 1.0をリリースしました！
repcached初の公開バージョンとなる1.0を公開しました。 http://lab.klab.org/modules/mediawiki/index.php/Repcached (日本語) http://repcached.lab.klab.org/ (英語) repcachedとは、memcachedに以下の機能を追加するプロダクトです。 アクティブ/バックアップ構成での自動的なフェイルオーバ 無停止のフェイルバック 「キャッシュサーバなのに冗長構成って必要なの？」と思うかもしれませんが、そのあたりの開発動機も含め、インストール方法などのドキュメントは上記のプロジェクトページにありますのでご覧くださいませ！ 追々、このブログでも活用事例を紹介していきたいと思っています。
ConsistentHashing - コンシステント・ハッシュ法
ConsistentHashing - コンシステント・ハッシュ法 目次 この文書について コンシステント・ハッシュ法 実例 実装 用途 コンシステント・ハッシュ法 この文書について "Tom White's Blog: Consistent Hashing" の日本語訳です. http://weblogs.java.net/blog/tomwhite/archive/2007/11/consistent_hash.html 推敲歓迎: 誤訳, タイポ, 訳語の不統一, そのほか... 原文のライセンス: http://creativecommons.org/licenses/by-nc-sa/2.0/ 私は今までに何度かコンシステント・ハッシュ法にとりくんだことがある。 このアイデアをあらわした論文 ( David Karger らによる Consistent Hashing and R
Cache::Memcached::LibMemcached - D-6 [相変わらず根無し]
Cache::Memcached::LibMemcached これを今朝読んだのでCache::Memcached::LibMemcachedを作ったよ！ なんか用途が広そうなのでcodereposに入れました。 使い方はSYNOPSISの通り。Cache::Memcachedとほぼ一緒。まだまだ足りないメソッドがあるのでその辺はコミットしちゃってくださいw use Cache::Memcached::LibMemcached; my $memd = Cache::Memcached::LibMemcached->new({ serves => [ "10.0.0.15:11211", "10.0.0.15:11212", "/var/sock/memcached" ], compress_threshold => 10_000 }); $memd->set("my_key", "Som
LibMemcached.pmがCache::MemcachedのAPIをほぼ全て網羅 - D-6 [相変わらず根無し]
LibMemcached.pmがCache::MemcachedのAPIをほぼ全て網羅 先ほどLibMemcached.pmの0.00003をアップロードした。このバージョンでCache::MemcachedのAPIを全て網羅したと思う。これでサクッと入れ替えができるはず！問題があったら連絡してください。 ちなみに最新ベンチマークの結果は以下の通り daisuke@beefcake Cache-Memcached-LibMemcached$ perl -Mblib tools/benchmark.pl Rate perl_memcahed libmemcached perl_memcahed 3808/s -- -88% libmemcached 32680/s 758% -- カテゴリ 開発 2008年1月13日 22:06 D | ブログ記事のURL | コメント(0) | トラッ
CGI::Session::Driver::memcached_mysql - CGI::Session driver for memcached and mysql - metacpan.org
NAME CGI::Session::Driver::memcached_mysql - CGI::Session driver for memcached and mysql SYNOPSIS use CGI::Session; use DBI; use Cache::Memcached; $dbh = DBI->connect( 'DBI:mysql:cgi_session;host=localhost', 'root', '' ) or die $DBI::errstr; $memcached = Cache::Memcached->new({ servers => [ 'localhost:11211' ], debug => 0, compress_threshold => 10_000, }); $s = CGI::Session->new('driver:memcached_
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
502 Bad Gateway