robots.txtとは?robots.txtとは、GoogleやYahoo!などといった、自サイトの情報を取得(クロール)するプログラム(クローラー)を制御するためのテキストファイルです。例えば、特定のファイルや、ディレクトリをクロール禁止に指定することで、それらの関連ページや画像などを検索エンジンにインデックスさせないようにする、などといったことができます。 何を覚えればいい?robots.txtの設置方法は簡単です。よほど特殊な事情がない限り、「ここにアクセスしないでね」という記述方法だけを覚えておけば十分です。細かく書いたからといって、SEO上、有利、不利になるようなことはないので安心して下さい。強いて言うなら、細かく書き過ぎて間違った制御をした場合に不利になります。
![初心者にも分かる!robots.txtの作り方](https://cdn-ak-scissors.b.st-hatena.com/image/square/931b6085b198ab7fe30f0ba67c4065ef9c5b856d/height=288;version=1;width=512/https%3A%2F%2Fsyncer.jp%2Fstorage%2Fweb%2Fhow-to-setting-robots-txt%2Fstatic%2Fdst%2Feyecatch_og.png)