【気をつけて設定しよう】robots.txtの設定目的や書き方について | ナイルのマーケティング相談室robots.txtとは robots.txtは検索エンジンのクローラーに、特定のディレクトリ、ページをクロールしないように指示するためのファイルです。 Googleを始めとした主要な検索エンジンはこのrobots.txtを踏まえてサイトのクロールを行います。 気になるrobots.txtの読み方ですが、海外では「ロボッツドットティーエックスティー」と読むことが多いです。とはいえ、ロボッツテキストとかロボッツと読んでも、多くの場合通じるはずです。 robots.txtに関する前提 実はrobots.txtは設置が必須ではありません。 そもそも多くのサイトで、クロールの制御を行う必要はないのです。 特に数百ページ以内のサイトであればサイト状況にもよりますが、クロール、インデックスは問題なくされることが多いです。 当然、robots.txtを設置するだけで、順位が上がるなどの裏技があるわけでも
