robots.txtを修正したときにグーグルのキャッシュをすぐに更新する方法 | 初代編集長ブログ―安田英久今日は、ちょっとSEO的な話題を。robots.txtの内容を変えても、実はグーグルはすぐにはそれを反映してくれません。その説明と、「いますぐこのrobots.txtに更新」させる方法を解説します。 念のためにおさらいしておくと、robots.txtとは、グーグルなどの検索エンジンをはじめとする「機械的にWebページの内容を取得する」プログラムに対して、「このページは機械的にアクセスしていいよ」「このページはダメ」と指示する仕組み。 Webサイトのルートディレクトリに「robots.txt」というファイル名のテキストファイルを置いて、そこに指示を書きます。 たとえば検索エンジンにクロールしてほしくないページがあれば、robots.txt内で「Disallow（不許可）」という命令とともに指定しておくと、（robots.txtを尊重するシステムならば）それに従ってくれます。 ただ、このrob
