サーチエンジンの仕組み（２） − インデクサー:井上俊一 / エッセンシャル・サーチエンジン

前回に引き続きサーチエンジンの仕組みの話をしたいが、今日はインデクスについて話したいと思う。とりあえず、インデクスがぴんと来ない人は本の後ろにある索引を想像してもらうと良い。五十音順に単語とページ番号が対になって並んでいるあれだ。 サーチエンジンのインデクスも本の索引も本質的に変わらないので、このような理解でまずは良い。 さてこのインデクスを作成するプログラム（一連の処理）をインデクサーと呼ぶ。 サーチエンジンの仕組みを理解する上で、大きく3つに分けて考えると言ったが二つ目の要素がインデクサーだ。今回はこのインデクサーの仕組みを話そうと思う。 インデクサー インデクサーはクローラーに収集されたHTMLからインデクスを作成する。インデクスとはこの場合、「単語とURLの対」と思っておけば良い。本のページ番号の代わりにURLが書いてあると想像して欲しい。そのためまずはHTMLから単語を切り出す作