<q>/robots.txt で除外しているクロールして欲しくないファイルを、一日数回という異様に少ない頻度でポツポツと取得しに着ます。そもそも /robots.txt を読んでいません。</q>

robots.txt

hxxk のブックマーク 2006/06/14 19:22

<blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/2118517/comment/hxxk" data-user-id="hxxk" data-entry-url="https://b.hatena.ne.jp/entry/blog.drry.jp/2006/06/11/yahooseeker-jp-mobile" data-original-href="http://blog.drry.jp/2006/06/11/yahooseeker-jp-mobile" data-entry-favicon="https://cdn-ak2.favicon.st-hatena.com/64?url=http%3A%2F%2Fblog.drry.jp%2F2006%2F06%2F11%2Fyahooseeker-jp-mobile" data-user-icon="/users/hxxk/profile.png">drry+@-> yahooseeker-jp-mobile</a><ul class="comment-tag" style="list-style: none; margin: 0px;"><li style="float: left">[<a href="https://b.hatena.ne.jp/q/robots.txt">robots.txt</a>]</li></ul><br><p style="clear: left">&lt;q&gt;/robots.txt で除外しているクロールして欲しくないファイルを、一日数回という異様に少ない頻度でポツポツと取得しに着ます。そもそも /robots.txt を読んでいません。&lt;/q&gt;</p><a class="datetime" href="https://b.hatena.ne.jp/hxxk/20060614#bookmark-2118517"><span class="datetime-body">2006/06/14 19:22</span></a></blockquote><script src="https://b.st-hatena.com/js/comment-widget.js" charset="utf-8" async></script>

このブックマークにはスターがありません。
最初のスターをつけてみよう！

drry+@-> yahooseeker-jp-mobile

blog.drry.jp2006/06/12

二週間ほど前から、Y!JAPAN のモバイル版クローラを目にするようになりました。UA 文字列は DoCoMo/2.0/SO502i (compatible; Mozilla 4.0; MSIE 6.0; yahooseeker-jp-mobile AT Yahoo!JAPAN) です。で、それが何...

4 人がブックマーク・2 件のコメント

他のコメントを読む

＼コメントがサクサク読めるアプリです／

はてなブックマーク

drry+@-> yahooseeker-jp-mobile

はてなブックマーク

公式Twitter

はてなのサービス