検索エンジンのロボットのウェブページへのアクセスするを制御するときには、robots.txtやrobots meta タグを利用します。 robots.txtもrobots meta タグのどちらもロボットのユーザーエージェント名を特定して指示ができます。 しかしGoogleでは、ユーザーエージェント名を指定せずにすべてのロボットに対して指示した場合と、Googlebotを明示的に指定した指示した場合において、それらの指示が互いに反するときの動作に違いがあるようです。 Google Webmaster Centralの公式ヘルプフォーラムでGoogle社員のJohnMu(Johm Mueller: ジョン・ミューラー氏)は次のようにコメントしています。 For the robots meta tag, the effects are cumulative with regards to t
![robotsメタタグは累積で適用、robots.txtとは違う](https://cdn-ak-scissors.b.st-hatena.com/image/square/f00f4804fe59acd36d8e9d02e50d10db7dc9a119/height=288;version=1;width=512/https%3A%2F%2Fwww.suzukikenichi.com%2Fblog%2Fwp-content%2Fuploads%2Fsplash_1200_675.png)