ホワイトハウスのロボットテキストが大きく変わっていたのでメモ。前はちゃんとサイトに合わせた内容だったのに、crawl-delay以外は標準にしちゃったような。何らかのミスな気がする 11月3日確認 User-agent: * Crawl-delay: 10 Disallow: /petition-tool/ Disallow: /?q=petition-tool/ Disallow: /*_escaped_fragment_ Disallow: /*_escaped_fragment_=/petition/ Disallow: /*_escaped_fragment_=/petitions/ Disallow: /petitions/!/petitions Disallow: /?q=petitions/!/petitions/ Disallow: /petitions Disallow: