投稿日:2006年9月12日 レベル:中級 ソフトウェア:− ウェブサイトを最適化するときに、ほとんどのウェブマスターはrobots.txtファイルの使用を考慮していません。これはサイトにとってとても重要なファイルです。これの有無によってスパイダーやクローラーがサイトを認識できるかどうか決まります。フォルダの外に配置しておくことでとても助けになります。 ここにrobots.txtファイルに入れ込むことができる変数を挙げてみます。 1)User-agent:ここには、特定のロボットに対してのアクセスポリシーを記述します。もしくは”*”で全てのロボットに対して有効、となります。下に上げる例でさらに説明します。 2)Disallow:ここには、クローラーが入らないファイルやフォルダを特定します。 3)#はコメント数を表示します。 例として、redball.comのrobots.txtフ