robots.txtとは検索ロボットのクロール制御！WordPress初心者に設置場所・追記方法検索ロボットとは？情報をクロールしてインデックスする ネット上に情報を公開し検索結果に表示されるには、検索用ロボットに情報を読みとってもらいます。ロボットがブログを巡回し、情報を読み込む行動を『クロールする』など言い、クロールするロボットだからクローラー。 クローラーがブログを巡回して、検索結果に出せる状態をインデックスといって、ネット上に公開した状態です。 これでやっと検索から流入の見込みが出てくる ブログを始めたばかりなら、まずインデックスさせないといけません。いつまでたっても検索結果に表示されない場合は、下記をチェックしてください。 ノーインデックスにしてないか ロボットにクロールしないでとrobots.txtに書いてないか 見出し：インデックスしない状態… クローラーは、HTMLと言われるブログの骨組みに書かれたデータを順に読み込み、検索のデータベースへ持ち帰りますが、クローラー用
