[対象: 初級] Googlebotがrobots.txtをチェックする頻度は基本的に1日1回で、記述されている内容には影響を受けません。 robots.txtをGooglebotがチェックする頻度に関して、GoogleのJohn Mueller(ジョン・ミューラー)氏が次のように公式ヘルプフォーラムでコメントしました。 robots.txtをだいたい1日に1回私たちはチェックする(1日2回以上の場合も時にはある)。 Disallowでクロールを完全にブロックしていたとしても、それが適用されるのは通常のクロールだけだ。たとえば、ウェブ検索のクロールに利用する。 言い換えれば、robots.txtで完全にブロックしていても、robots.txtが依然としてその状態のままかどうかを確かめるために定期的にチェックする。 robots.txtの取得は1日1回 Googleの場合、robots.tx
![Googlebotによるrobots.txtのチェック頻度は1日1回、クロールを完全に拒否していても変わらない](https://cdn-ak-scissors.b.st-hatena.com/image/square/f00f4804fe59acd36d8e9d02e50d10db7dc9a119/height=288;version=1;width=512/https%3A%2F%2Fwww.suzukikenichi.com%2Fblog%2Fwp-content%2Fuploads%2Fsplash_1200_675.png)