Google WSDM'09講演翻訳：大規模な情報検索システム構築における課題（２） - llameradaの日記

GoogleのFellowであるJeffrey Dean氏のWSDM'09における講演"Challenges in Building Large-Scale Information Retrieval Systems"のスライドの翻訳の第2回です。Googleの検索システムの10年間の進化の軌跡が紹介されており、今回は2000年から2001年ぐらいまでの検索システムの一部の紹介となっています。個人的には転置インデックスの詳細な符号化方式が公開されているのが印象に残りました。Googleにとっては過去のインデックス構造でしょうが、商用の全文検索エンジンの詳細な仕様が公開されるのは珍しい気がします。なお、イタリック体で一部解説・感想をいれています。翻訳は素人なので詳しくは元の資料を参照してください。 第1回：Google WSDM'09講演翻訳：大規模な情報検索システム構築における課題（１）

[rawwell]

"メモリ内インデックスシステム * 多くの利点 o スループットの大きな増加。 o レイテンシの大きな減少。 + 特に検索頻度の少ない単語（例："circle of life"）のレイテンシが減少した。以前は数GB

[hiromark]

続き。

[sett-4]

# * # レプリカの数が増加したので、利用可能なメモリの全体量は増加。 * そのうち、インデックス全体のコピーをメモリ上に保持するのに十分なメモリ量になった。

[kdaiba]

技術資料