node/webosocketによるオンラインゲームの実装を考える / オンメモリ、KVS、RDBMS、圧縮プロトコル、そのゲームデザイン + 就活の話 - mizchi log
派手で見栄えがする大規模なプロダクトを作ろう！っていうことで、一人でフルスタックなネトゲを作っている。大きなプログラムを書いても破綻しないようにテスト書きまくってテストファーストを心がけたり、Travis-CIによる継続的インテグレーションで頑張ったり。 というわけで作っているのはMMORPGなんだけど、ここで実装するのはまあ平均的なMMORPGを想像してもらいたい。自分がやろうとしているのは、モダンなOSSとさくらの安いVPSで、独学の学生一人でもフルスタックなネトゲみたいなのが組める、ということの実証。 なんでそんなことをしているかって言うと、一応就活中で、見栄えがするアプリ提出できるとおいしいなーっていう下心。 *追記* ここでは https://github.com/mizchi/wanderer のことを言ってるんだけど大規模リファクタリング中なのでここで言ってることは半分ぐらい
Hadoop導入事例 in クックパッド
1. Hadoop is a framework for distributed processing of large datasets across clusters of computers. 2. Hadoop can be used to perform tasks like large-scale sorting and data analysis faster than with traditional databases like MySQL. 3. Example applications of Hadoop include processing web server logs, managing user profiles for a large website, and performing machine learning on massive datasets.R
Hadoopの導入事例
hadoop on Flickr - Photo Sharing! 突然のHadoopの話題:-) 分散コンピューティング環境のHadoopが実際にどんな企業で使われているのかメモです。 実際に大きな所はPoweredBy - Hadoop Wikiに書かれているので詳しくはそちらを。 あと、ここに書かれている以外にも気になるものが… Facebook ログ解析と機械学習に利用 4,800コアの600ノード規模 Google & IBM 学生の分散コンピューティング教育のためにGoogleとIBMのハードウェア資産を遠隔操作できるそうです。その上で動いているのはHadoop 元々Googleの技術のオープンソース実装を、Googleが使っているのが面白い:p Google Press Center: Press Release IBM 自社のBlue Cloud製品の基盤にHadoopを採
第31回 RubyistのためのMongoDB入門（1） | gihyo.jp
はじめに ここ最近、NoSQLというキーワードが注目を集めています。 リレーショナルデータベースは、一般的にスケールアウト（サーバの台数を増やして性能向上を図る手法）が難しく、特に大規模サービスにおいてパフォーマンス上のボトルネックとなりえます。また、タグやグラフ構造のようなデータは関係モデルに馴染みにくいため、それらを扱う際にはアプリケーションコードもぎこちないものになりがちです。 これらの問題を背景に、何にでもリレーショナルデータベースを使うのではなく、用途に応じてKVSなど他のデータストアを選択する流れが広まりつつあります。このムーブメントがNoSQL（Not Only SQL）と呼ばれているものです。 今回は、NoSQLなデータベースの1つであるMongoDBをご紹介します。 MongoDBとは MongoDBは高いパフォーマンスとスケーラビリティを特徴とするドキュメント指向型デー
開発メモ: もし自営業の男子プログラマがKVSで「ブログサービス」を書いたら
Webサービスの典型例でありCMSの典型例であるブログサービス。それを実装するための指針が示せれば、その他のサービスを開発する際にも大いに参考になることだろう。 データ構造 単純なブログサービスのデータノードとしてKyoto Tycoonのサーバ群を用いることを想定する。ブログの個々の記事は以下の属性を持つものとする。 著者のユーザID（uint32） 投稿日時（uint32） 題名（text） 本文（text） コメントリスト（シーケンス） 各コメントは、コメントした人のユーザIDと本文からなる データノードに対する問い合わせは、「あるユーザの最新記事を降順で5件くれ」というのが典型である。「降順で」という順序に対する要求があるのでB+木を選択し、連想配列のキーは、ユーザIDと投稿日時を連結したものとする。単純化のために、各々を10桁の10進数文字列をコロンで区切って並べて、全体で21バ
NoSQLデータベースを40種類以上リストアップ、キーバリュー型にもいろいろある
Webスケールのデータを扱うためにさまざまなデータベースが登場してきている、ということを昨日のエントリ「データベースは目的別に使い分けるべし」で紹介しました。 特にリレーショナルモデルをベースとしない、非SQL系（NoSQL）と呼ばれるさまざまな種類のデータベースが登場してきています。非SQL系のデータベースは以前からオブジェクトデータベースやドキュメントデータベース、階層型データベースなどが存在していましたが、最近注目されているのがキーバリュー型データストアと呼ばれるデータベース。 ブログ「High Scalability」にポストされたエントリ「A Yes for a NoSQL Taxonomy」では、これら非SQL系のデータベースを詳細に9分類し、それぞれの分類に属するデータベースをリストアップしています（基になったのは「NoSQL is a Horseless Carriage」
ウノウラボ Unoh Labs: PHPで暗号化・復号化あれこれ
GT Nitro: Car Game Drag Raceは、典型的なカーゲームではありません。これはスピード、パワー、スキル全開のカーレースゲームです。ブレーキは忘れて、これはドラッグレース、ベイビー！古典的なクラシックから未来的なビーストまで、最もクールで速い車とカーレースできます。スティックシフトをマスターし、ニトロを賢く使って競争を打ち破る必要があります。このカーレースゲームはそのリアルな物理学と素晴らしいグラフィックスであなたの心を爆発させます。これまでプレイしたことのないようなものです。 GT Nitroは、リフレックスとタイミングを試すカーレースゲームです。正しい瞬間にギアをシフトし、ガスを思い切り踏む必要があります。また、大物たちと競いつつ、車のチューニングとアップグレードも行わなければなりません。世界中で最高のドライバーと車とカーレースに挑むことになり、ドラッグレースの王冠
Amazon Dynamo論文 - LunaBiblos
概要 Amazonが発表したDynamoに関する論文の意訳(私訳)です。 序論 Amazonは数千万人の顧客を抱える世界規模の電子商取引基盤を、世界中のデータセンタに配置した最大時数万台規模のサーバ群で運用している。この基盤に対しては性能、信頼性、効率性の観点から厳しい要求水準と、基盤自体の永続的な成長を実現する為に高いスケーラビリティが要求されている。例えごく僅かであってもサービス利用不可能な時間が発生してしまえば、金銭的には減収という結果で表れ、顧客からの信頼を損ねてしまう為、特に信頼性確保が最優先される。 我々がこのAmazonの基盤を運営する事で学んだ教訓の一つは 「信頼性とスケーラビリティはアプリケーションの状態を如何に管理するかに依存している」 という事である。我々はサービス指向な構造を有し、高度に分散した疎結合な数百物のサービスを稼働させいる。この様な環境下ではデータ
FrontPage_JP - Cassandra Wiki
Cassandra Wiki Cassandraは、非常に高いスケーラビリティーを持ち、イベンチュアルコンシステントな分散システム構造のKVS(Key Value Store)です。 Cassandraは、主にBerkeley DBとMySQLから構成されるAmazon Dynamo (PDF)の分散ハッシュテーブル（DHT）と、Google BigTable (PDF)のデータモデルという分散システムのテクノロジーを併せ持っています。 Amazon Dynamoのように、Cassandraはイベンチュアルコンシステントであり、Google BigTableのようにCassandraは典型的なKVS(Key Value Store)より豊かなカラムファミリーベースのデータモデルを提供します。 Cassandraは、2008年7月にFacebookによってオープンソースとして公開されました。
Webアプリをとりまく最近のKVS事情、雑感 - Tous Les Jours 攻防記
RDBの復権はしばらくないと思う 最近目にしたのは、「これからRDBが十分速くなっていくので、memcachedに代わってRDBがまた使われるようになる」という意見。これはしばらくの間は無いんじゃないかと思う。全データがオンメモリだったとしても、KVSはRDBより一桁以上速い（Memcachedで100,000req/sec出せるマシンで、MySQLのpkeyによる単純なSELECTをした場合、10,000req/sec出るかどうか）。SQLパーサやらなんやらを捨てない限りこの速さには対抗できない。RDBには、１コネクション１スレッドというモデルが持つ、接続数がスケールしないという制約もある。 また、memcacheプロトコルは、get_multiが使える。get_multiを効果的に活用した場合、RDBとの差はさらに広がると思う。 RDBで大丈夫なアプリも Viewキャッシュが効果的なア
Tokyo TyrantをDBと比較してみる - ぱろっと・すたじお
あらかじめ書いておくと、最終的にごく当たり前の結論しか出てきませんΣ(・ω・ノ)ノ ただ、その「当たり前の結論」を、自分で身をもって体感しておくのは、 意味があるとは思います 例によって前置きから入るわけですが、 昨年末あたりから新しいシステム開発の話が立ち上がりまして、 先月あたりからアーキテクチャの設計をしておりました ちょいと特殊なWebシステムなのもあり、 分散システム的な凝ったのを考えていたのですが、 いくつかピースが欠けていたのです そんなとき、本屋で見たのがこれです Software Design (ソフトウェア デザイン) 2010年 02月号 [雑誌] 出版社/メーカー: 技術評論社発売日: 2010/01/18メディア: 雑誌購入: 4人 クリック: 75回この商品を含むブログ (9件) を見る この本で「Key-Value Store (KVS)」の特集をやっておりま
分散KVSの使い方 - sdyuki-devel
今流行のkey-value storageの利点と欠点など。小さいデータをたくさん扱うタイプで、単純なkey-value型のデータモデルを持つ分散KVSについて。 Webアプリをとりまく最近のKVS事情、雑感を読んで、ちゃんと整理して把握しておかないといけないな、と思ったので少し整理。 それは違うぞーという事があったらコメントくださいm(_ _)m ※2009-11-17 追記：現在、KVSという用語の意味は定義されておらず、使う人によって揺れています。ここで言うところの分散KVSは、Dynamo や kumofs や ROMA など を想定しています。 分散KVSの利点 スケールアウトできる 簡単にサーバーを追加して性能を上げられる 単体の性能が高い スキーマレス 最初は少ない台数で安く、後からサーバーを足してスケールアウト！という運用ができる。アプリケーションに影響せずに、ストレージ側
クラウドを支えるデータベース「分散Key-Valueストア」：これからはコレ! | 会社情報 l コベルコシステム株式会社
| クラウドに適した技術の登場 | 分散Key-Valueストアの特徴 | 分散Key-Valueストアの今後 | クラウドに適した技術の登場 クラウドとは、インターネットを介したコンピューターの利用形態のことを指し、この1～2年の間に、多くのベンダーからクラウド関連の製品やサービスが発表、提供されたことで、ビジネスとしても利用可能なものが増えてきました。 クラウドには、数台のコンピューターでサービスが提供されるものから、世界中に配置された数万・数十万のコンピューターによって提供されるような規模のものがあります。後者のような大規模なクラウド上で、効果的にシステムを構築するために、新しい技術が登場しています。今回紹介します分散Key-Valueストア（以下、分散KVS）は、クラウド上で用いられるデータベース技術の一つとして登場したものです。 クラウド上で発展する様々なサービス「SaaS・Pa
クラウド向け分散データベースの事例
はじめに 本連載ではクラウドコンピューティングで利用される分散データベースの技術について紹介しています。第1回はクラウドコンピューティングの技術について概説し、その環境に対応するための新たな分散データベースの必要性について述べました。 今回はクラウド向け分散データベースの具体的な事例として、Googleの「BigTable」とAmazonの「Dynamo」について紹介したいと思います。少し耳慣れない言葉も出てくるかと思いますが、最後までお付き合いいただけると幸いです。 一般にハイスループット（高効率）とローレイテンシー（低遅延）がトレードオフの関係にあることはよく知られていますが、クラウドシステムもその例外ではありません。これらは最近でも、クラウド技術のシステム特性を理解する上で欠かせないトピックですが、分散データベースに関しては、ハイスループット重視のBigTableに対し、ローレイテン
第３回クラウド勉強会
～NoSQL（KVS）大集合～ URL:http://atnd.org/events/10152 場所：ベルサール西新宿 ustream さくらインターネット株式会社 大久保様 「KVSのマルチテナント化について」 http://bit.ly/hTl06D グリー株式会社 藤本様 「Flareについて」 http://bit.ly/fL89tF 株式会社神戸デジタル・ラボ 岩瀬様 「okuyama」 http://bit.ly/gSLcPn 楽天株式会社 西澤様 「ROMA ユーザ拡張性の高い NoSQL DB 」 http://bit.ly/fXVcQH 株式会社ドリコム 川上様 「Redis & Resque」 http://bit.ly/go61tk 株式会社ドワンゴ 小野様 「ニコニコ生放送におけるRedis利用事例」 http://bit.ly/ggnuim 株式会社ワークスアプ
［次世代DB編］異なる分散KVS間でデータ移行してはいけない
分散型のキーバリューストア（分散KVS）には、オープンソースソフトや商用のもの、サービスとして提供されるものなど、さまざまな種類がある。これらをすべて同じだと思ってはいけない。その構造や特徴はバラバラであり、ある分散KVSのデータは別の分散KVSに移行するのは困難だ。 既存のRDBMSの資産を分散KVSに移行するのが容易ではないことはよく知られている。同様に分散KVS間の移行もかなり難しい。安易に移行できると考えていると、苦労することになる。 大きく異なるテーブル構造 現在、分散KVSと呼ばれるデータベースには、以下のようなものがある。 ・Amazon SimpleDB（Amazon） ・Apache Cassandra（Apache） ・BigTable（Google） ・Flare（GREE） ・kumofs（えとらぼ） ・memcached（Danga Interactive） ・R
Key Value Storeについて
主な3つの機能について実装状況を示してみました。 「データ永続化」とは、ストレージサーバを再起動してもデータが失われないようにデータをメモリではなくHDD等に格納できる機能です。例えば、memcachedはメモリにデータを置くため、ストレージサーバを再起動するとデータが失われます。 「データ冗長化」とは、格納したデータがストレージサーバ側で自動的に複数のストレージサーバにコピーが作られる機能です。1台(または数台)のストレージサーバがダウンしてもデータが失われることはありません。 「データ分散」とは、キーのハッシュ値等を元にデータの格納先のサーバを振り分ける機能で、負荷分散を図ることができる機能です。なお、memcached、Tokyo Tyrantにはサーバ側での分散機能はありませんが、クライアント側のライブラリによって格納先サーバを分散させることも可能です。 memcachedプロトコ
「ソーシャルアプリでNoSQL(あるいはKVS) 〜実践NoSQL〜」に出席してきました - Dive in Blue
KVSについて興味を持って調べているのですが、他社でどのようなKVSが、どう利用されているのか、どう評価されているのかが聞きたかったので、グリーCTOの藤本さんが講師を務めたセミナー、「ソーシャルアプリでNoSQL(あるいはKVS) 〜実践NoSQL〜」に出席してきました。 データ集計をどうやってやるかとか、Consistencyな更新（cas操作を使う）とか、シリアライズ形式のこととか、気になっていた部分のお話をたくさん聞けたので、とてもためになるセミナーでした。 忘れないうちに気になったところを簡単にメモしておきます。 （＊スライドの流れ通りではないです） 1:1型（key : value）KVS いわゆるKVS。単純な実装なので安定感がある。利用実績も豊富 kumofs, Flare, voldemote, Tokyo Tyrant, etc..たくさんのソリューションがある グリー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
これからはRDBよりもKVSだと思っていませんか? | それでも地球はまわっている
第3回クラウド勉強会｢～NoSQL（KVS）大集合～｣ #cloudstudy まとめ