blog.8-p.info: Percolator の勉強 - 1. はじめに
Posted at 2010/09/27 23:07, Modified at 2010/09/28 02:17 9月もおわり。10月といえば OSDI '10 で Percolator のはなしがあるので、いまのうちに予習をはじめることにした。 Caffeine 今年の6月、Google は Caffeine という新しいインデクシングシステムの完成をアナウンスした。Google Official Blog いわく Web はサイズだけじゃなく、内容も豊かに、複雑になっている: 動画、画像、ニュース、リアルタイムな更新情報など。 ユーザーの要求するレベルも高くなっている: 検索する側は適合度が高く新しい情報をみたいし、される側も更新がすぐ反映してほしい。 いままでの Google のインデックスは更新頻度ごとに複数の階層にわかれていて、ページをクロールしても、それが検索結果に反映されるま
Google Megastore - kuenishi's blog
Google Megastoreについて今更ながら調べたよ SIGMOD 2008 (6/10-12)で発表された MegastoreはBigTableの上位に乗せられたトランザクションマネージャ（のようなもの"a transactional indexed record manager built on top of BigTable"）。Google AppEngineのバックエンドで用いられているという噂もある（BigTableは1 rowのトランザクションしか実現していないはずなのに、GAEでは複数行のトランザクションがサポートされているため）。 概要 複数レコードで構成されたひとまとまりの"entity group"の中では、トランザクションが可能。entity groupはキー値のprefixを共有。entity groupは階層化されたentityの集合である。entity
Datastoreによるクエリの実装 - スティルハウスの書庫の書庫
クエリ＝インデックス＋スキャン すべてのクエリは「インデックス＋スキャン」に変換される Bigtableはクエリをサポートしていない。GAEのアプリが実行するすべてのクエリは、インデックスとスキャンの組み合わせに変換される Datastoreのインデックスとは エンティティテーブルとは別に作成されるBigtableのテーブル クエリを記述すると自動的に作成される。明示的な作成も可能 3種類のインデックス カインドインデックス シングルプロパティインデックス コンポジットインデックス カインドインデックス 「エンティティのカインド（Kind＝クラスのこと）の名前」をキーとするインデックス あるクラスのすべてのエンティティの一覧を提供 例：Grandparentでカインドインデックスをスキャン SELECT * FROM Grandparent ＜カインドインデックス：引用元＞ シングルプロパ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
