robots.txtファイルの適切な使い方 / ウェブデザインライブラリー投稿日：2006年9月12日 レベル：中級 ソフトウェア：− ウェブサイトを最適化するときに、ほとんどのウェブマスターはrobots.txtファイルの使用を考慮していません。これはサイトにとってとても重要なファイルです。これの有無によってスパイダーやクローラーがサイトを認識できるかどうか決まります。フォルダの外に配置しておくことでとても助けになります。 ここにrobots.txtファイルに入れ込むことができる変数を挙げてみます。 1)User-agent:ここには、特定のロボットに対してのアクセスポリシーを記述します。もしくは”*”で全てのロボットに対して有効、となります。下に上げる例でさらに説明します。 2)Disallow:ここには、クローラーが入らないファイルやフォルダを特定します。 3)#はコメント数を表示します。 例として、redball.comのrobots.txtフ
