baidu(百度)はrobots.txtの解釈が他と少し違う - 餅空blog WordPress支店
1 user
Category: 検索 by mochy on 2008/06/30 22:37:07 Tag : Baidu, Googlebot, YST BaiduspiderというBaidu(百度)のクローラーだけど、GooglebotやYSTのクローラーとrobots.txtの解釈が少し違うようだ。 以下は実際の設定を少し書き換えて表現した架空のものだが、... 続きを読む
