Google、軽量key-valueデータベースライブラリ「LevelDB」公開 | gihyo.jp
Googleが、軽量で高速なkey-valueデータベースライブラリ「LevelDB」をGoogle Codeにて公開しました。公開自体は2011年3月でしたが、5月上旬ごろ海外ニュースサイト「Hacker News」を発端に広まりました。 LevelDBはGoogle ChromeのIndexedDB実装として開発されているようで、開発バージョンのChromeのabout:flags設定にて「IndexedDB use LevelDB」という項目が確認できます。非常にシンプルな操作でデータ管理を行える一方、デフォルトでSnappy圧縮を行うなどユニークな面もあります。また、Google BigTableやCassandraで採用されているLog-Structured Merge-Treeというデータ構造を持っており、主にRDBMSに採用されているB+Treeと比較して書き込み性能に優れて
【コラム】攻略! ツール・ド・プログラミング (52) Googleが開発した高速圧縮ライブラリ「Snappy」をJavaで使う | エンタープライズ | マイコミジャーナル
「Snappy」はGoogle社が開発した高速圧縮/伸長(解凍)ライブラリである。もともとは「Zippy」という名称で知られていたものだが、BSD Licenseに基づいてオープンソース化され、誰でも利用できるようになった。ZippyはBigTableやMapReduceから内部的なRPC処理にいたるまで、Google社内のあらゆるプロジェクトで利用してきた実績を持つ。 Snappyの最大の特徴は、圧縮/伸張の実行速度である。シングルコアのIntel Core i7プロセッサにおけるベンチマークでは、圧縮で毎秒250MB以上、伸張で毎秒500MB以上の性能を実現しているという。一方で圧縮率はzlibやLZOといった主要なツールよりも劣る。圧縮率はプレーンテキストで1.5から1.7倍、HTMLで2から4倍、JPEGやPNGといった圧縮済みのファイルフォーマットでは1.0倍となっており、これは
Googleの巨大分散データストアBigtableとDatastoreを理解する
今回は、米Googleのクラウド環境に存在するデータベースBigtableとDatastoreサービスを紹介します。「巨大分散」という新たなデータベースの地平を切り開くためにどのような工夫をしているか、じっくり見ていきましょう。 「Bigtable」は、Googleの主要なサービスを支える独自の巨大分散データストアです＊1。Bigtableは、2005年4月から本格的な運用（プロダクション利用）が開始されたもので、Googleの検索サービスをはじめ、Gmail、YouTube、Google Maps、Google日本語入力、そしてApp Engineなど、70以上のプロジェクトで利用されています。その規模は、数P（ペタ）バイト～数十Pバイトに達しているでしょう。 Bigtableは、Google検索サービスにおける膨大なコンテンツやインデックスを保持し、高速に検索するための専用データストア
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
