sitemaps.orgサイトマップとは何ですか。 サイトマップを使うと、ウェブマスターはサイト内のクロールされるページを検索エンジンに簡単に知らせることができます。 サイトマップは、最終アップロード日、通常の更新頻度、サイト内の他の URL との相対的な URL 優先度など、各 URL の詳細メタデータのほか、サイトの URL がリストされている簡単な形式の XML ファイルであるため、検索エンジンでより正確にサイトをクロールできます。 通常、ウェブ クローラは、サイト内のリンクや他のサイトからのリンクを基にページを検出します。サイトマップはこのデータを補足するもので、サイトマップをサポートしているクローラがサイトマップ内のすべての URL を取得し、関連付けられているメタデータを使用して、URL に関する詳細情報を把握できるようにします。サイトマップ プロトコルを使用しても、検索エンジンにウェブページが必ず登
find／grep／xargsコマンドを使いこなす 業務で楽するためのUNIXテクニック集「検索」編
