RailsでGoogle botからのアクセスを特定する方法 - Qiita

ごくまれですが、Railsで作ったサイトでSEOをする時にgoogle botからアクセスを出来る限り早く検出したい場合があります。 新しく公開したページがいち早くGoogleにクロールされて検索結果に表示されるようにしたいからです。 この記事ではrailsでbotからのアクセスを特定する方法を紹介します。 アクセスログを利用する 最も分かり易い方法はアクセスログのユーザーエージェントを見る事です。ユーザーエージェントがGoogle クローラに列挙されているものであればGoogle botからのアクセスです。 ニュース用、PC用、スマホ用、広告確認用、など結構多くのクローラーが動いています。 ただしユーザーエージェントは偽装できます。そのためアクセスログ上のユーザーエージェントでは本当にGoogle botが来たのかを特定できません。 正確に特定するにはアクセスログのIPアドレスからDNS

[razokulover]

たしかに正確を期すならIPまで調べる必要あるか