hikarine3: ツイッターのrobot.txt面白い http://twitter.com/robots.txt Googlebot ignores crawl-delay...

nikaporu のブックマーク 2010/03/25 20:38

<blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/20289698/comment/nikaporu" data-user-id="nikaporu" data-entry-url="https://b.hatena.ne.jp/entry/twitter.com/hikarine3/statuses/11028721183" data-original-href="http://twitter.com/hikarine3/statuses/11028721183" data-entry-favicon="https://cdn-ak2.favicon.st-hatena.com/64?url=http%3A%2F%2Ftwitter.com%2Fhikarine3%2Fstatuses%2F11028721183" data-user-icon="/users/nikaporu/profile.png">http://twitter.com/hikarine3/statuses/11028721183</a><br><p style="clear: left">hikarine3: ツイッターのrobot.txt面白い <a href="http://twitter.com/robots.txt" target="_blank" rel="noopener nofollow">http://twitter.com/robots.txt</a> Googlebot ignores crawl-delay...</p><a class="datetime" href="https://b.hatena.ne.jp/nikaporu/20100325#bookmark-20289698"><span class="datetime-body">2010/03/25 20:38</span></a></blockquote><script src="https://b.st-hatena.com/js/comment-widget.js" charset="utf-8" async></script>

このブックマークにはスターがありません。
最初のスターをつけてみよう！

http://twitter.com/hikarine3/statuses/11028721183

twitter.com/hikarine32010/03/25

1 人がブックマーク・1 件のコメント

他のコメントを読む

＼コメントがサクサク読めるアプリです／

はてなブックマーク

http://twitter.com/hikarine3/statuses/11028721183

はてなブックマーク

公式Twitter

はてなのサービス