大手サイトの robots.txt と sitemap をのぞいてみた。 - フジイユウジ::ドットネット
仕事でとあるサイトの新規構築をしていて、サイトマップインデックスファイルを作ろうと思ったのですが、これ robots.txt に普通の sitemap として記述していいのかどうかわからなかったんですよ。 検索とかしてみたのですが日本語の情報がなく。 あ、念のために解説しておくと、検索エンジンのクローラー(ロボット)にサイト構造を伝えるXMLサイトマップっていうのがありまして。 ページ数が多いサイトなんかは、サイトマップインデックスファイルっていうXMLサイトマップの目次みたいなのを作るんですわ。 目次の目次って何だよって感じですが、まあ、ページ数が多いんだから仕方ないんですわ。 Googleの ウェブマスター向けヘルプとか読んでも「 robots.txt には複数のsitemapを記述できるよ」みたいなことだけ書いてある。それをまとめてサイトマップインデックスファイルにした場合はクロール
『robots.txt、sitemap.xml、meta情報の注意点』
検索エンジンロボットを制御するために、robots.txtの設置やsitemap.xmlの生成、meta情報の設定をされているかと思います。 その中で、設定を間違えやすいものや、どのように解釈して対応するべきか判断が難しいものをいくつまとめてみました。 ■meta keywords 既にSEOでは重要ではない、というのが一般的な解釈になっていますが、このmeta keywordsに対しては、GoogleとYahoo!では対応に違いがあります。 Googleは下記のように言っています（意訳）。 ページとしては使えるが、Googleでサポートしていないので無視する Googleがサポートするメタタグ 一方Yahoo!は下記のように言っています。 メタタグ（<meta name="keywords">）を使い、ウェブページに関連するキーワードをリストアップします。サイト全体に当てはまるキーワード
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
