この記事は、前後編の2回に分けてお届けしている。ロボット制御テクニックについて簡単におさらいした前編に続き、今回は、複数のロボット制御テクニックを併用した場合に生じる問題について説明する。(前編を読む) コンフリクトを回避する検索ロボットのアクセスを制御する手法のうち、次のいずれかのうち2つ以上を同時に使うのはやめた方がいい(つまり以下のどれか1つを使うべきだ)。 meta robotsタグの「noindex」指定URL正規化タグ(rel="canonical"、異なるURLを指している場合)robots.txtファイルのdisallow指定X-Robots-Tag「検索結果にページを表示させたくない」という気持ちがどれだけ強かろうと、2つの対策を組み合わせるより1つだけのほうが常にうまくいく。では、あるURLに対して、検索ロボットのアクセスを制御するテクニックをさまざまに組み合わせた場合