検索エンジンのクロールのコントロールスクリプト - cooneywalker のブックマーク / はてなブックマーク

検索エンジンのクロールのコントロールスクリプト

cooneywalker のブックマーク 2010/10/02 10:54

<blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/20010631/comment/cooneywalker" data-user-id="cooneywalker" data-entry-url="https://b.hatena.ne.jp/entry/s/en.wikipedia.org/wiki/Robots.txt" data-original-href="https://en.wikipedia.org/wiki/Robots.txt" data-entry-favicon="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Fen.wikipedia.org%2Fwiki%2FRobots.txt" data-user-icon="/users/cooneywalker/profile.png">robots.txt - Wikipedia</a><ul class="comment-tag" style="list-style: none; margin: 0px;"><li style="float: left">[<a href="https://b.hatena.ne.jp/q/%E5%8E%9A%E7%94%9F%E7%97%85%E9%99%A2">厚生病院</a>]</li><li style="float: left">[<a href="https://b.hatena.ne.jp/q/TOOLS">TOOLS</a>]</li><li style="float: left">[<a href="https://b.hatena.ne.jp/q/robots">robots</a>]</li><li style="float: left">[<a href="https://b.hatena.ne.jp/q/robots.txt">robots.txt</a>]</li><li style="float: left">[<a href="https://b.hatena.ne.jp/q/seo">seo</a>]</li><li style="float: left">[<a href="https://b.hatena.ne.jp/q/search">search</a>]</li><li style="float: left">[<a href="https://b.hatena.ne.jp/q/web">web</a>]</li><li style="float: left">[<a href="https://b.hatena.ne.jp/q/webdev">webdev</a>]</li><li style="float: left">[<a href="https://b.hatena.ne.jp/q/google">google</a>]</li></ul><br><p style="clear: left">検索エンジンのクロールのコントロールスクリプト</p><a class="datetime" href="https://b.hatena.ne.jp/cooneywalker/20101002#bookmark-20010631"><span class="datetime-body">2010/10/02 10:54</span></a></blockquote><script src="https://b.st-hatena.com/js/comment-widget.js" charset="utf-8" async></script>

このブックマークにはスターがありません。
最初のスターをつけてみよう！

robots.txt - Wikipedia

en.wikipedia.org2006/10/29

Example of a simple robots.txt file, indicating that a user-agent called "Mallorybot" is not allowed to crawl any of the website's pages, and that other user-agents cannot crawl more than one page ...

6 人がブックマーク・3 件のコメント

他のコメントを読む

＼コメントがサクサク読めるアプリです／

はてなブックマーク

robots.txt - Wikipedia

はてなブックマーク

公式Twitter

はてなのサービス