Yahoo!の検索結果にページではなくRSSフィードが表示される例がありました。 ↑ Yahoo!で「ねこ娘の梅酒」を検索した結果 ここで表示されているのはカテゴリー別に配信しているRSSフィードです。フィードにアクセスされるのは好ましくないので、インデックスから削除することにします。 robots.txtでYahoo! Slurpのアクセスをブロック まずはrobots.txtでYahoo! Slurpが各フィードをクロールしないように設定します。Yahoo!サイトエクスプローラーからページを削除しても再度クロールされてしまうと意味がないためです。 User-agent: Slurp Allow: / Disallow: /*index.xml$ フィードのページ名はindex.xmlなので、robots.txtで上記のように記述しました。アスタリスクは任意の文字列、ドルは文字列の末尾を
![RSSフィードをYahoo!のインデックスから削除する方法 - F.Ko-Jiの「一秒後は未来」](https://cdn-ak-scissors.b.st-hatena.com/image/square/8c36b2dc59a57fbde64a68a5d1953eeac22ffae1/height=288;version=1;width=512/https%3A%2F%2Fblog.fkoji.com%2Fwp-content%2Fuploads%2F2017%2F01%2Fyahoo-rss-index.gif)