robots.txtの無いことをただしい404で伝えられていないとGoogleがサイト全体をスルーしてしまうかもしれない。一番簡単で確実な対策はrobots.txtを用意すること。

web
http

nanakoso のブックマーク 2008/06/20 13:11

<blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/9016618/comment/nanakoso" data-user-id="nanakoso" data-entry-url="https://b.hatena.ne.jp/entry/s/www.suzukikenichi.com/blog/your-site-might-disappear-from-index-without-robots-txt/" data-original-href="https://www.suzukikenichi.com/blog/your-site-might-disappear-from-index-without-robots-txt/" data-entry-favicon="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Fwww.suzukikenichi.com%2Fblog%2Fyour-site-might-disappear-from-index-without-robots-txt%2F" data-user-icon="/users/nanakoso/profile.png">robots.txtがないとグーグルのインデックスから消えるかも</a><ul class="comment-tag" style="list-style: none; margin: 0px;"><li style="float: left">[<a href="https://b.hatena.ne.jp/q/web">web</a>]</li><li style="float: left">[<a href="https://b.hatena.ne.jp/q/http">http</a>]</li></ul><br><p style="clear: left">robots.txtの無いことをただしい404で伝えられていないとGoogleがサイト全体をスルーしてしまうかもしれない。一番簡単で確実な対策はrobots.txtを用意すること。</p><a class="datetime" href="https://b.hatena.ne.jp/nanakoso/20080620#bookmark-9016618"><span class="datetime-body">2008/06/20 13:11</span></a></blockquote><script src="https://b.st-hatena.com/js/comment-widget.js" charset="utf-8" async></script>

このブックマークにはスターがありません。
最初のスターをつけてみよう！