[RFMS]RFCrawlerクローラ情報RFMS Crawler Information 1. 本書の目的 本書はサイト運営者様が楽天・ファスト・モバイルサーチ株式会社の検索エンジンにページ取得(クロール)をさせ、インデックス作成をする為に必要な技術情報を提供するものです。 本書では特に、クローラーの仕様について情報提供致します。 2. サーチエンジンシステム概要 楽天・ファスト・モバイルサーチでは独自のシステムを使用して、ウェブ上にある数億のモバイルサイトのページを取得(クロール)します。この取得プログラムをRFCrawlerと呼びます。RFCrawlerはアルゴリズムにより、クロールするサイト、各サイトから取得するページを決定しています。 RFCrawlerはリンクのクリックによって動的に生成されるページ（CGI）は処理できますが、FLASHコンテンツについては処理されない場合があります。 3. RFCrawler仕様 Us
