[を] 同じコンテンツを指す複数のURLをクローラーが来たときだけ一つにまとめる

同じコンテンツを指す複数のURLをクローラーが来たときだけ一つにまとめる 2007-06-02-1 [Programming] amazon がやってるみたいに「同じコンテンツを指す複数のURLを、クローラーが来たときだけ正規化した一つのURLにリダイレクト」したい。 そこで「.htaccess」に以下のように記述した。 RedirectMatch ^/bot/([0-9A-Z]{10})/ http://example.com/asin/$1/ RewriteEngine On RewriteRule ^asin/([0-9A-Z]{10})/$ go.cgi?asin=$1 [L] RewriteCond %{HTTP_USER_AGENT} bot|ahoo|craw|spid [NC] RewriteRule ^asin/([0-9A-Z]{10})/(.+-22)/$ bot/$

[asiamoth]

魔法の呪文「bot|ahoo|craw|spid」。

[OhYeah]

!!なるほど、その発想 メモメモ