今日は、ちょっとSEO的な話題を。robots.txtの内容を変えても、実はグーグルはすぐにはそれを反映してくれません。その説明と、「いますぐこのrobots.txtに更新」させる方法を解説します。 念のためにおさらいしておくと、robots.txtとは、グーグルなどの検索エンジンをはじめとする「機械的にWebページの内容を取得する」プログラムに対して、「このページは機械的にアクセスしていいよ」「このページはダメ」と指示する仕組み。 Webサイトのルートディレクトリに「robots.txt」というファイル名のテキストファイルを置いて、そこに指示を書きます。 たとえば検索エンジンにクロールしてほしくないページがあれば、robots.txt内で「Disallow(不許可)」という命令とともに指定しておくと、(robots.txtを尊重するシステムならば)それに従ってくれます。 ただ、このrob
![robots.txtを修正したときにグーグルのキャッシュをすぐに更新する方法 | 初代編集長ブログ―安田英久](https://cdn-ak-scissors.b.st-hatena.com/image/square/b9866bdd3bdf4f1a159b56c7bd0b1ad34c39b057/height=288;version=1;width=512/https%3A%2F%2Fwebtan.impress.co.jp%2Fsites%2Fdefault%2Ffiles%2Fstyles%2F1200x630%2Fpublic%2Fimages%2Fnakanohito%2Fnakanohito_icon200.png%3Fitok%3DiXvFSfHl)