robots.txtのNoindex(Disallowではない！)を使ったPageRankスカルプティング今日の記事は、Search Engine Journalで知った、いつにもまして“玄人（クロウト）”好みなテクニックです。 robots.txtで利用できる”Noindex:”という知られていない記述です。 まず、簡単にrobots.txtのおさらいをしておきましょう。 robots.txtは、サーチエンジンのロボットのアクセスをブロックしてクローリングを拒否するために使います。 アクセスを禁じますから、インデックスされることはなく、当然SERPにも現れません。 メンバー専用エリアのように外部に公開したくないページに用いられます。 たとえば、次のように記述したrobots.txtを設置していたとします。 User-Agent: * Disallow: /members/ 「www.suzukikenichi.com/memnbers/」と、これより下のディレクトリ（フォルダ）とファイルには
