robots.txt.Makerリリースのお知らせ - to-R

僕の運営するSEO対策TIPSというサイトで、新たにrobots.txt.Makerというサービスを開始したのでお知らせします。 robots.txtとは何かというと、検索エンジンにWebサイトの情報をインデックスされたくない時に指定する為のテキストファイルになります。 robots.txtで指定しておけば検索エンジンクローラーが回ってきません。 テストサイトが検索エンジンにインデックスされてしまった！というのは気を付けいても良くある事。 このrobots.txtでテストサイトがあるディレクトリへの検索エンジンクローラーを拒否しておけば、検索エンジンにテストサイトの情報がインデックスされることはありません。 meta要素のname属性robotsでも検索エンジンクローラーの巡回を指定することができますが、テストサイトと本番サイトでhtmlが異なるのはあまりよろしくありません。 その他にも管

[dayga]

検索エンジンクローラーの巡回拒否ツール