タグ

ロボットに関するnyappawebのブックマーク (2)

  • Meta robots noindex/nofollow/noarchiveタグの使い方 » 海外SEO情報ブログ・メルマガ

    個の記事では、サーチエンジンのロボット(クローラ)の動きを制御するmetaタグについて解説します。 取り上げるのは、次の3つのmeta Robotsタグです。 noindex nofollow noarchive 順に説明します。 Meta robots noindex タグ noindexタグは、HTMLのheadセクションに次のコードを記述します。 <meta name="robots" content="noindex"> ※XHTMLで記述するときは、最後を「/>」で終了します。 noindexタグは、ウェブページをインデックスさせたくない、言い換えると検索結果に表示させたくないときに使います。 検索結果に出したくないページがあるときは、noindexタグが使えます。 他によくある使い道としては、まったく同じウェブページを複数公開する場合があります。 いわゆるミラーページを準備する

    Meta robots noindex/nofollow/noarchiveタグの使い方 » 海外SEO情報ブログ・メルマガ
  • robots.txt とは? - とほほのWWW入門

    robots.txt とは、goo、Google、Lycos などのロボット型検索エンジンに対する命令を記述するためのファイルです。自分のページが、検索エンジンのデータベースに登録されないように指示します。 ただ、この指定は強制的なものではなく、この指定を行っても検索してしまう検索エンジンはあるかもしれません。goo、Google、Lycos は大丈夫のようです。 robots.txt ファイルは、そのサイトのトップに置かなくてはなりません。 ○ http://www.xxx.zzz/robots.txt × http://www.xxx.zzz/~tohoho/robots.txt robots.txt の中には次のように記述します。これは、すべて(*)のロボットに対して、/ ではじまるファイル(つまりはすべてのファイル)を検索データベースに登録することを禁止するものです。 User-a

  • 1