GoとgRPCでKVS的なものを作ってみた - 小野マトペの納豆ペペロンチーノ日記
正月で時間があったので、以前から触ってみたかったgRPCをGo言語から使い、キー・バリュー・ストアのようなものを作ってみた。 KVSといっても、GoのmapへのGet/Put/Delete/ScanをgRPC経由で叩けるようにしただけのもの。それだけだとあまり面白く無いので、gRPCらしく、Watch機能をつけてmapへの更新を監視できるようにした。 github.com 個人的には、HTTP/1.1 + JSON APIと比べた時のgRPC(HTTP/2 + ProtoBuf)のメリットや違いが気になっていたので、そのあたりを気をつけながら書いた。 開発の手順 サービス定義 まずはProtocol Buffers 3でKVSのサービスを定義する。サンプルを見ながら適当に書いた。 grpc-kvs/grpc-kvs.proto at master · matope/grpc-kvs · G
米Netflix、インメモリデータ分散フレームワーク「Zeno」を公開 | OSDN Magazine
米Netflixは12月5日、インメモリ型の分散データベースフレームワーク「Netflix Zeno」をオープンソースで公開した。同社内で実際に利用しているソフトウェアで、大量のメタデータを低遅延で管理するシステムに適しているという。 Netflixは動画ストリーミング事業などを運営する企業。先進技術の利用に積極的で、専用のチームを設けてオープンソース技術の開発や関連プロジェクトへの貢献も行っている。同社はAmazon Web Services（AWS）を大規模に使用していることでも知られており、これまでAWS向けの耐障害性テスト「Chaos Monkey」、分散サービス制御「Nysterix」など多数の技術を公開している。 今回公開したZenoは、同社が提供する映画やTV番組のメタデータ管理に利用するために開発した技術。Netflixではこれらメタデータ用に「Video Metadata
Facebook、GoogleのLevelDBを採用したキーバリュー型ストア「RocksDB」公開。マルチコアと高速ストレージに最適化
最新のサーバが備えるマルチコアと高速なフラッシュストレージの性能を活かすべく最適化したキーバリューストア「RocksDB」をFacebookがオープンソースとして公開しました。 RocksDBはGoogleが開発したNoSQL軽量ライブラリ「LevelDB」を採用。以下の4つのビジョンを掲げています。 Scales to run on servers with many CPU cores. Uses fast storage efficiently. Is flexible to allow for innovation. Supports IO-bound, in-memory, and write-once workloads. サーバに搭載されているマルチプロセッサのメニーコアを活用し、フラッシュストレージのような高速ストレージに最適化。プラガブルアーキテクチャでつねに最新のテクノ
米Facebook、フラッシュストレージ向けのキーバリューデータストア「RocksDB」を発表 | OSDN Magazine
米Facebookが永続的Key-Value型データストア「RocksDB」をオープンソースで公開した。フラッシュストレージ向けに設計されており、高速なストレージの効果的利用、拡張性などを特徴とする。 同社のデータベースエンジニアリングチームが11月22日に詳細を発表した。RocksDBは米GoogleのKey-Value型データストア「LevelDB」からフォークしたもので、C++で実装されている。Facebook社内で利用されており、12億人のFacebookユーザーに対し、動的に生成された独自のページを表示するのを技術的に支援しているという。 開発目標は、1）マルチコアCPUを持つサーバーでの拡張性、2）高速なストレージの効果的利用、3）技術革新のための柔軟性、4）I/Oバウンドやインメモリ、ライトワンスなどの作業のサポート、の4つ。中でもフラッシュストテージの高速性に対するボトルネ
FluentdとRiakの話 - After Coding
Fluentdは、Ruby製のログコレクタだ。コードは公開されている。 様々なログを構造化して一元管理することができ、収集と解析へのハードルを大きく下げてくれる。 インストールもプラグイン開発も簡単。日本語の資料も多い。 その資料も様々あるが、プラグインを見るならこれが最良だと思う。必要な情報がよくまとまっており、必読といえる。 Big Data入門に見せかけたFluentd入門 from Keisuke Takahashi データの確実な転送を実現するバッファ機能については、池田大輔さんのブログが詳しい。さて、Fluentdはデータを収集してくれるが、保存はしてくれない。 永続化にはデータベースが必要だ。 そこで、Riak。 Basho社がスポンサードするErlang製分散型KVS。これもOSSだが、契約によって商用サービスが受けられる。 これがまたエッジ立ちまくってて
yrmcds 0.9.0 リリース - Cybozu Inside Out | サイボウズエンジニアのブログ
@ymmt2005 こと山本泰宇です。 今回は memcached 互換で冗長構成を簡単に組める自社製 KVS である yrmcds のリリースをご案内します。 ... この Redis 全盛なご時世になんで？とか、repcached や Kyoto Tycoon があるじゃない、といったツッコミの嵐が聞えてきそうです。わかってます、わかってますから物を投げないで！ 順を追って説明しますので、批判はそれからにしてください！ 何が欲しいのか 私は日頃 cybozu.com のインフラで動作するソフトウェアを開発しています。リリース後もうすぐ２年になりますが、お蔭様で 4,000 社以上にご利用いただくまでになりました。商売繁盛で嬉しいのですが、運用側は日々増えるデータとアクセスを捌くべく奮闘しています。 ここのところ問題になっていたのが、MySQL に保存しているセッション情報でした。アプリ
インメモリデータベース、カラム型データベースは使い物になるのか？ インメモリとカラム型データベースの可能性を調べる（その1）
インメモリデータベース、カラム型データベースは使い物になるのか？ インメモリとカラム型データベースの可能性を調べる（その1） ERPベンダ最大手のSAPは2010年、新規に開発したデータベース「SAP HANA」（当時の名称は「SAP High-Performance Analytics Appliance」）を発表しました。 HANAの製品化を背景に、SAPは2012年5月にデータベース市場への本格参入を宣言し、オラクルやIBM、マイクロソフトとデータベース市場で競合していくことを表明。そして今年2013年2月にはついにERPと組み合わせた「SAP Business Suite powered by SAP HANA」の出荷を開始し、業務アプリケーションのバックエンドデータベースとしてHANAの本格利用を開始しました。 HANAには、これまで主流だったリレーショナルデータベースとは異なる
インメモリデータベース「MemSQL 2.0」公開。数百ノードへスケールアウト可能で大規模データベース対応へ － Publickey
データベースをまるごとメインメモリ上で処理することにより、従来のハードディスクベースのリレーショナルデータベースよりも劇的な高速化を実現するインメモリデータベースであるMemSQLの最新版「MemSQL 2.0」が公開されました。 MemSQL 2.0はインメモリのスピードとSQLでの問い合わせ、スケールアウト機能、そしてエンタープライズ対応の可用性など、4つの特徴を持つと説明されています。 In-memory architecture Ad hoc SQL-based analytics Horizontal scale-out on commodity hardware Enterprise-grade durability and high availability スケールアウトでデータウェアハウスに対応 MemSQL 2.0はインメモリデータベースの特徴である高速な処理に加えて、
DynamoDBによるソーシャルゲーム実装 How To
This document summarizes a microservices meetup hosted by @mosa_siru. Key points include: 1. @mosa_siru is an engineer at DeNA and CTO of Gunosy. 2. The meetup covered Gunosy's architecture with over 45 GitHub repositories, 30 stacks, 10 Go APIs, and 10 Python batch processes using AWS services like Kinesis, Lambda, SQS and API Gateway. 3. Challenges discussed were managing 30 microservices, ensur
Amazon S3互換、Yahoo! Japanも採用した分散オブジェクトストレージのRiak CSがオープンソースで公開
Amazon S3互換、Yahoo! Japanも採用した分散オブジェクトストレージのRiak CSがオープンソースで公開 クラウド向け分散オブジェクトストレージのプラットフォームを実現するRiak CSを開発、販売するBashoは、Riak CSをオープンソースとして公開したことを明らかにしました。 ソースコードはすでにGithubにてApache2ライセンスで公開されています。 開発言語にはErlangを採用 Riak CSは、すでにオープンソースとして公開されているNoSQLデータベースのRiakを基盤にした分散オブジェクトストレージで、Amazon S3互換のAPIを備えています。開発には関数型プログラミング言語のErlangも使われており、日本法人のBasho Japanには先月、Erlangに造詣の深い力武健次氏が参加したことも話題になりました。 Bashoによると、Riak
米Basho、Amazon S3互換のオブジェクトストレージ「Riak CS」をオープンソースで公開 | OSDN Magazine
米Basho Technologiesは3月20日、「Amazon S3」と互換性のあるオブジェクトストレージを構築できるソフトウェア「Riak CS（Cloud Storage）」をオープンソースとして公開したことを発表した。Amazon S3のようなストレージサービスを社内で構築したり、パブリックサービスとして提供できる。 Riak CSは、Bashoの分散データベース「Riak」をベースとする分散型のオブジェクトストレージソフトウェア。Riakはクラウドを想定した分散環境用のNoSQLデータべースで、マスターレス、フォールトラレント設計などの特徴を持つ。Amazon S3（Simple Storage Service）とAPIや認証機構などで互換性があり、プライベートクラウドでの利用も可能。大規模なオブジェクトサポート、マルチテナントのサポート、ユーザー単位のレポート、モニタリングな
Amazon S3互換分散オブジェクトストレージのBashoが国内本格展開。CEOとアーキテクトに聞く
Amazon S3互換分散オブジェクトストレージのBashoが国内本格展開。CEOとアーキテクトに聞く 分散キーバリューストアのRiakや、Amazon S3互換の分散オブジェクトストレージのRiak CSなどを提供するBashoが、国内での販売活動の本格展開を、代理店の東京エレクトロンデバイスとともに発表しました。東京エレクトロンデバイスはBashoへの投資も行い、国内で事実上の販売窓口となります。 同社CEOのGreg Collins氏とPrincipal ArchitectのAndy Gross氏に、同社製品の展開について聞きました。 Bashoはスタック全体をコントロールしている ──── オブジェクトストアとしてRiak CSが優れているところはどこですか？ グロス氏 私たちは（基盤となるキーバリュー型ストアからオブジェクトストレージに渡る）ソフトウェア全体のスタックをコントロー
LTSV が行指向な Key-Value フォーマットで捗る話 - naoyaのはてなダイアリー
引き続き LTSV について。Text::LTSV はやってることは単にタブの split でしょうもないのだけど、せっかく作ったんだし何か利用方法はないかなと考えた。 LTSV のログは欠点があってそのままでは見づらいこと。 Text::LTSV でハッシュになるのだから、YAML とかで出力したらどうなるか試してみよう。さらに、YAML に色づけする YAML::Tiny::Color というのがあったぞ。 #!/usr/bin/env perl use strict; use warnings; use Project::Libs; use YAML::Tiny::Color qw/Dump/; use Text::LTSV; while (<>) { my $hash = Text::LTSV->parse_line($_); print Dump $hash; } こんなスクリプ
NoSQLデータベースの「Cassandra」最新動向。Cassandra Summit 2012（前編）
NoSQLデータベースの「Cassandra」最新動向。Cassandra Summit 2012（前編） 代表的なNoSQLデータベースの1つ「Apache Cassandra」をテーマにしたイベント「Cassandra Summit 2012」が、8月8日にサンタクララで開催されました。 Cassandraは、キーバリュー型データストアとして高速なデータの入出力や高いスケーラビリティが特徴です。最新バージョンではマルチデータセンター、マルチテナンシーなど高度な機能も搭載しました。 そうした最新機能などが紹介された、Cassandra Summit 2012で行われたCassandraの主要な開発者Jonathan Ellis氏の基調講演「The State of Cassandra, 2012」の内容をダイジェストで紹介します。 The State of Cassandra, 2012
Amazonクラウド、SSD上の新NoSQLデータベース「DynamoDB」を公開。性能をダイナミックに上げ下げ可能
Amazonクラウド、SSD上の新NoSQLデータベース「DynamoDB」を公開。性能をダイナミックに上げ下げ可能 「DynamoDBは、15年にわたる大規模なNoSQLデータベースとクラウドサービスから学んだことの集大成だ」（DynamoDB is the result of 15 years of learning in the areas of large scale non-relational databases and cloud services.）。Amazon Web Serviceが新サービスとしてβ公開したDynamoDBについて、Amazon.comのCTOであるWerner Vogels氏は自身のブログAll Things Distributedのエントリ「Amazon DynamoDB – a Fast and Scalable NoSQL Database
オラクルがNoSQLに本気。エンタープライズ向け「Oracle NoSQL Database 11g」公開。オープンソース版も登場
米オラクルはエンタープライズ向けNoSQLデータベース「Oracle NoSQL Database 11g」の公開を発表。評価版の無償ダウンロードを開始しました。オープンソースライセンスに基づくコミュニティ版も準備中（10月26日現在、ライセンス承認待ち）とのことです。 Oracle NoSQL Databaseは、同社のキーバリューストアであるOracle Berkeley DB Java Editionをベースに、分散処理機能、ロードバランス、管理機能、マルチノードバックアップ機能などを追加したもの。大規模なデータを高速に扱うことができ、高い可用性とスケーラビリティを実現すると説明されています。 分散キーバリューストアで単一障害点を排除 NoSQL Databaseの基本的なアーキテクチャは、プライマリキーのハッシュによって指定されたノードにキー／バリューのペアを書き込む分散キーバリュ
グーグルがNoSQL軽量ライブラリ「LevelDB」をオープンソース化。SQLiteとの比較ベンチマークも公開
グーグルがNoSQL軽量ライブラリ「LevelDB」をオープンソース化。SQLiteとの比較ベンチマークも公開 キーバリュー型データストアは、いわゆるNoSQLデータベースの代表的な種類の1つ。LevelDBは以下のような特徴を備えています。 基本的な操作は、Put(key,value), Get(key), Delete(key) 1つのトランザクションとして複数の変更操作が可能 データは自動的に圧縮し保存される SQLite、Kyoto TreeDBとの比較ベンチマークも LevelDBはC++で書かれたライブラリで、今後のChromeブラウザのIndexedDBはLevelDBで実装されると説明されています。 Upcoming versions of the Chrome browser include an implementation of the IndexedDB HTML5
最近話題の「カラム型データベース」とはどんな仕組みのデータベースか？
トランザクション処理を重視する一般的なデータベースは、1行ごとにデータを扱う。カラム型データベースはそれとは異なり、列方向にまとめでデータを扱うことで集計作業などを得意とし、データウェアハウス用途などに用いられている。 「カラム型」あるいは「カラムストア型」「列指向型」などと呼ばれるデータベースの話題が目立つようになってきました。 例えばSAPのHANA、IBMが買収したNetezza、ヒューレット・パッカードが買収したVertica、オラクルのExadata、それにNoSQLの代表的なデータベースCassandraなどがカラム型データベースの機能を備えています。また、マイクロソフトの次期SQL Serverにもカラム型データベース機能が統合されると伝えられています。 とはいえカラム型データベースは最近登場した技術ではなく、Sybase IQでは10年以上前から採用されていた仕組みでした。
FacebookがHBaseを大規模リアルタイム処理に利用している理由（前編）
Facebookは大規模なデータ処理の基盤としてHBaseを利用しています。なぜFacebookはHBaseを用いているのか、どのように利用しているのでしょうか？ 7月1日に都内で行われた勉強会で、Facebookのソフトウェアエンジニアであるジョナサン・グレイ（Jonathan Gray）氏による解説が行われました。 解説はほぼスライドの内容そのままでした。当日使われた日本語訳されたスライドが公開されているので、ポイントとなるページを紹介しましょう。 Realtime Apache Hadoop at Facebook なぜリアルタイムデータの分析に、Hadoop/HBaseを使うのか？ MySQLは安定しているが、分散システムとして設計されておらず、サイズにも上限がある。一方、Hadoopはスケーラブルだがプログラミングが難しく、ランダムな書き込みや読み込みに向いていない。 Faceb
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
運用が楽になる分散データベース Riak
