クラウドにおけるKVSの機能概要と３つの実現方式をおさらい
そのため、クラウドシステムではKVS（キー・バリュー・ストア）と呼ばれるデータストアを用いることになります。今日は、KVSの機能要件と、３つの実現方法について、おさらいしたいと思います。 1.クラウドシステムにおけるKVSの機能概要 クラウドの大規模分散システムで使用されるKVSには、3つの機能要件が求められます。 多くのサーバーに分散配置されても、登録・参照・更新などで整合性のあるアクセスができること KVSが分散して格納されるサーバーが、登録データボリュームが増加した際にサーバーの割り当てを増やして分割できること、またそのようなデータ構造になっていること 可用性を維持するために、同一データストアの複製を配置できること、またそのようなデータ構造になっていること これに対応するため、KVSは①主キーとデータ項目だけの単純なファイル／レコード構造、②スキーマのないファイルシステム、という2つ
『redis、それは危険なほどのスピード』
どうも、プラットフォームDivでエンジニアをやっている Wataru です。 最近３人目の子供が産まれて、産後自宅勤務をさせてくれた弊社はとてもいい会社だと思います。出産予定のあるエンジニアのかたは是非弊社に転職を。 さて、今回はRedisの紹介をさせて頂きたいと思います。 Redisってすごくマイナーなわけではないのですが、めちゃくちゃ便利なのにあまり注目されていないなーという印象があるので、これを機会に是非使ってみてもらえると嬉しいです。 Redisって何？Redisとは「remote dictionary server」から名前が付けられたオープンソースのkey-valueデータストアです。 MemcacheDB等のKVSとの最大の違いは、格納するバリューがデータ構造というところです。 つまり、リスト・セット・ハッシュなどのデータ構造で格納できるのでバリューに対してアトミックな操作が
techsemi_questionary-Profile
Web ( ) • – SaaS – PaaS – IaaS – – • • • : Amazon S3, CloudFiles … • = • • • • SaaS • • (I|P)aaS • • Web • • / • STF Step over Toe hold with Face Lock STF ? Pros • key-value • • • • Apache Cons • • • • / Design • Bucket • Key-value • REST API • Apache REST API • • GET/PUT/DELETE • / • / / / • Example http://stf.example.com/<bucket>/<key> • <key> / • URI OS URI • /a/b/abc….fe.jpg PUT /ikebe/picture
GreenBuckets という Object Storage を作りました - blog.nomadscafe.jp
GreenBuckets という Object Storage を作りました Object Storage とは何かというと、OSSではOpenStack Object StorageとかMogileFS 、Webサービスで使われているところでは mixi の ImageCluster とか livedoor の STF とか、比較にならないけどAmazon S3とかそういったたぐいのものです。しばしば画像のストレージなんかに使われていると思います。今回作ったのは GreenBuckets というもので、mixiのImageClusterの構成をまねしつつ、stfと同じようにバケット単位での操作を可能としています。なんですでにあるのに作ったのかというと、主に「つくってみかったから」ですね。一応目標として シンプルだけど使える cpanm でインストールが完了する できるだけ少ない依存関係
Cassandra 0.7が登場。セカンダリンデックス、メモリ効率向上、動的スキーマ変更。分散カウンタは実装されず
The Apache Software Foundation Announces Apache Cassandra 0.7 -- FOREST HILL, Md., Jan. 11, 2011 /PRNewswire/ -- Cassandraは、NoSQLデータベースの中でもキーバリュー型データストアと呼ばれる分野でもっともよく知られているソフトウェアの1つ。もともとFacebookで大量のデータを高速に処理するためのデータベースとして開発され、オープンソースとして公開されたもの。現在はThe Apache Foundationにより開発が続けられています。 追加された機能 Cassandra 0.7では、主にメモリ利用効率の向上、オンライン状態でのスキーマ変更、セカンダリインデックスなどの機能が追加されています。RackspaceのブログCloud:Blogにポストされたエントリ「Ne
ウノウラボ by Zynga Japan: レディの嗜みについて ～ PHP と Membase と MessagePack と私
こんにちは mayutan です。 ラボブログを書かないとクビだと脅されたのでクリスマスに泣きながら書いておりますが 皆様いかがお過ごしでしょう。 今回のレディの嗜みですが、 レディたるもの、キーバリューストアくらい扱えないとなりません！！！！！！１１１ という事で membase についてご紹介しようと思います。 最近猫も杓子もソーシャルソーシャルわっしょいわっしょい！といった感じで、 これまでのシステムとはまた違った独特の工夫を皆様されていると思うのですが、 memcached を使っている方はかなり多いのではないでしょうか。 ここにプラットフォームから取得した情報や、あまり更新されない情報などを保存して、 DB やプラットフォームへのアクセスを極力減らす、という使い方がメジャーだと思います。 そして、同時に「これ永続化できたらもっと便利なんじゃないの？」って皆思ってるで
NoSQLの成功は1:10問題にかかっている:Kenn's Clairvoyance
ここ2-3年ほど、いわゆる非SQL系データベースがホットな話題になってきています。このムーブメントを総称して「NoSQL (Not-only SQL)」と呼ばれることが多いようです。まるでSQLを否定しているかのような誤解を招きやすい用語ですが、かといってキー・バリュー型データストアや列指向DBを総称できる他の呼び方もないので、このエントリではNoSQLという用語を使うことにします。 OracleやMySQLなどのSQLデータベースが成熟していく一方で、SQLデータベースを特徴づける弱点である柔軟性のなさ、堅牢さと引き換えに犠牲になった更新性能の低さ、スケールアウトの難しさなどから、「何でもかんでもRDB」から「目的に応じた永続化」が模索される流れになってきました。 時を同じくして、キャッシュサーバの世界でも、MemcachedのもつシンプルなAPIの使いやすさが評価される一方、LRUによ
第23回 InfoTalk 分散ストレージの資料を公開いたしました | GREE Engineers' Blog
はじめまして。グリーの田尻です。 先日、10月15日に産業技術大学院大学で行われた第23回 InfoTalk 分散ストレージにて、弊社kgwsが登壇させていただきました。 第23回 InfoTalk 分散ストレージ 講演資料を公開して欲しいとのご意見をいただきましたのでグリーエンジニアブログにて公開させていただきますね。 Gree大規模分散ストレージ戦略 ご意見・ご感想は公式ハッシュタグまでお願いいたします。#nanofs グリーの大規模分散ストレージ戦略(nanofs) グリーの大規模分散ストレージ戦略(nanofs) Vol.1 グリーの大規模分散ストレージ戦略(nanofs) Vol.2
［次世代DB編］分散KVSに重要なデータを置いてはいけない
分散KVS（キーバリューストア）は、RDBMSの代わりになると思ってはいけない。RDBMSでは当たり前だった機能の一部は、あきらめる必要がある。このため、重要なデータをむやみやたらと分散KVS上に置くのはやめた方がよい。 分散KVSであきらめなければならない機能には、次の四つがある、 ・トランザクション機能 ・排他制御機能 ・読み取り一貫性を保証する機能 ・スプリットブレイン対策機能 逆にいえば、これらを取り込まないことで、分散KVSはRDBMSではかなわなかった、無尽蔵なスケーラビリティーや、極端に短いレイテンシー（要求が返ってくるまでの遅延時間）による高パフォーマンスを実現できたわけだ。 ところが、使い方を間違えれば、たちまち問題が生じてしまう。とりわけ、業務システムにおける重要なデータを分散KVS上に置く場合は注意が必要だ。 トランザクション処理に支障 重要なデータとは、不整合や損失
富士通ジャーナル 内部統制強化ソリューション
マスク着用時も99％の精度を誇るマルチ生体認証 マスク着用時も99％の精度を誇るマルチ生体認証 新型コロナウイルスは私たちの社会に大きな変化をもたらし、ニューノーマルに適応するために、数多くのテクノロジーが新たな分野へと適用されるようになりました。富士通は、これらの取り組みを支援するDX企業として、マスク着用が当たり前の状況下でも信頼できるマルチ生体認証技術の確立を通じて尽力しています。 新型コロナウイルスは私たちの社会に大きな変化をもたらし、ニューノーマルに適応するために、数多くのテクノロジーが新たな分野へと適用されるようになりました。富士通は、これらの取り組みを支援するDX企業として、マスク着用が当たり前の状況下でも信頼できるマルチ生体認証技術の確立を通じて尽力しています。 デジタルトランスフォーメーション（DX） AI（人工知能） FUJITSU JOURNAL 2021年5月31日
第2回 キーバリュー型データベースの概要とその例 | Think IT
まず、日々の天気を記録するようなプログラムを作ることを考えてみてください。この場合、表1のような2列の表を作って、片方の列に日付、もう片方の列に天気を保存する、といったことを行うことが考えられます。 この例のように、プログラムを作る中で、以下のような処理を行うことは、よくあることです。 2つの情報からなる組を扱う 2つの情報のうちの1つが、個々の組を識別するための情報になっている（表1の例だと日付） もう片方の情報が、主に必要な情報になっている（表1の例だと天気） このような「2つの情報の組」のうち、個々の組を識別する情報を「キー」（Key）と呼び、もう片方の情報を「バリュー」（Value、値）と呼びます。キーバリュー型データベースは、このような「キー」と「バリュー」の組を保存するためのデータベースです。 多くのプログラム言語では、キーとバリューからなるデータ構造を扱う機能を持っています（
key-valueストア用DataSource（CakePHP1.2） | へびにっき
key-valueストア用の DataSource サンプルをgithubで公開しておきます。 cakephp-key-value-source 以下のクラスが含まれています： KeyValueSource 抽象ベースクラス。サブクラスでは最低限 get/set/del/count 4つのメソッドを実装する JsonFileSource jsonエンコードしてローカルファイルに保存する実装例 MemcacheSource pecl-memcache を用いる実装例 CakePHPバージョン1.2の DataSource の仕組みはまだまだ未成熟で、あまり突っ込んだ説明は書きにくいので、詳しく知りたい方はコードを読んでください。スキーマ・レスな（スキーマの設定を DataSource側ではなく Model 側で行う）Sourceの例としては最小限の構成になっているはずです。 使用例 data
分散Key-Valueストア「kumofs」を公開しました！ - Blog by Sadayuki Furuhashi
分散Key-Valueストア kumofs を、本日オープンソースソフトウェアとしてリリースしました！ kumofs@SourceForge kumofs関連資料まとめ kumofsとは？ kumofs（クモエフエス）は、実用性を重視した分散データストアです。レプリケーション機能を備え、一部のサーバーに障害が発生しても動作し続けます。単体でも高い性能を持ちながら、サーバーを追加することで読み・書き両方の性能が向上する特徴を持ち、低コストで極めて高速なストレージシステムを構築・運用できます。 kumofsの大きな特徴は、システムの構成の簡単に変更できる点です。システムを止めることなく、簡単な手順でサーバーを追加したり復旧したりできます。アプリケーションには一切影響を与えません。 またkumofsは、広く利用されている分散キャッシュシステムの「memcached」と互換性のあるプロトコルを実装
54行で分散KVSを実装する（レプリケーション機能付き） - Blog by Sadayuki Furuhashi
Ruby と MessagePack-RPC があれば、簡単なkey-valueストレージは簡単に作れます。54行で書けます（レプリケーションと負荷分散機能付き。サーバー38行、クライアント16行）。 簡単なKVSをベースにして、ログ集計や遠隔デプロイ、遠隔管理機能などの機能を追加していけば、ちょっと便利なサーバープログラムをサクサク自作できるハズ。 この分散KVSは、（keyのハッシュ値 % サーバーの台数）番目のサーバーにkeyを保存します。また、サーバーの名前順でソートしたときの「次のサーバー」と「次の次のサーバー」にデータをレプリケーションします。 すべてのサーバーで同じ設定ファイルを使います。サーバーごとの設定は引数を自分のホスト名に書き換えるだけなので、デプロイが容易です。 MessagePack-RPC for Ruby を使うと、分散しないkey-valueストレージ*1は
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
