自宅サーバ 管理人帳 | Baiduのクローラーを拒否する以前取得し放置しておいたレンタルサーバのドメインを自宅サーバに移設したところ、Apacheのアクセスログがすごいことに… 百度 Baidu（バイドゥ）のクローラらしく、数分毎に、また以前設置していたブログの存在しない（存在したこともない）URLをクロールするのでかなり困る… そこでBaiduのクローラを拒否してみた。 robots.txtについて Robots Exclusion Standard(RES) または Robots Exclusion Protocol は、クローラやボットがウェブサイト全体またはその一部を走査することを防ぐ規約である。ロボット排除規約、robots.txt プロトコルとも呼ばれる。こういったボットは検索エンジンがウェブサイトの内容を分類しアーカイブするために主に使ったり、ウェブマスターがソースコードを校正するために使ったりする。直接の関係はないが、逆にボ
