関連タグで絞り込む (2)

タグの絞り込みを解除

robots.txtに関するobligadoのブックマーク (2)

  • dfltweb1.onamae.com – このドメインはお名前.comで取得されています。

    このドメインは、お名前.comで取得されています。 お名前.comのトップページへ Copyright © 2020 GMO Internet, Inc. All Rights Reserved.

    obligado
    obligado 2010/10/04
    Robots.txt作成が初めての人の雛形のテンプレートがダウンロードできます。このテンプレがあれば、簡単にRobots.txtの作成ができますよ
  • robots.txtの書き方(保存版) » 海外SEO情報ブログ・メルマガ

    今日は、いつか書こう書こうと思って、そのままにしておいた「robots.txt」にの書き方・書式について書きます。 robots.txtは「ロボッツ・テキスト」、または「ロボット・テキスト」と読みます。 robotではなく、robotsです。 robots.txtはサーチエンジンのクローラ(スパイダー)の、ファイルとディレクトリへのアクセスを制御するために使われます。 「secretsというディレクトリにあるファイルにはすべてアクセスさせたくない」とか、「himitsu.htmlというファイルだけはアクセスさせたくない」という使い方ができます。 「アクセスさせたくない」というのは、「インデックスさせたくない」すなわち「検索結果に表示させたくない」ということです。 「なぜ、検索結果に表示させたくないの?」と疑問に思うかもしれません。 さまざまなケースがあります。 たとえば、URLを自分が教え

    robots.txtの書き方(保存版) » 海外SEO情報ブログ・メルマガ
    obligado
    obligado 2010/10/04
    「robots.txt」の記述の詳細を丁寧に説明してくれてますよ。わかりやすかったです。
  • 1