MapReduceってこういうことか | にぶろぐ@無人店舗こんにちは。PigeonRank 作成作業員です(ウソ)。 Googleでは、並列計算の枠組みMapReduceを使って、ページのインデックスを作ったり、ページランクを計算している。 ページのインデックスを作るというのは、 ・Webページ群の各ページにある単語 (実際はNgram) の並びを抜き出して、 ・単語から、その単語をもつページ群を割り出す (これを保持する) ということ。 また、ページランクを計算する時には逆リンクを求める必要がある。あるページからリンクがはってあるページ群の逆で、あるページへのリンクをもつページの集合。これはWeb全体を見なければ分らない。これを被参照ページごとに行うのではなく、まとめて行う。 ・Webページ群の各ページにあるリンク先を抜き出して、 ・リンク先ページから、そのページへのリンクをもつページを全て抜きだす。 これらの共通点は、行列の計算をそれぞれの軸
