リソース更新からGooglebotに見つけられるまでの時間をログから算出する - Qiita

公開したページは1秒でも早くGoogleBotに拾って欲しい 追加や更新したページは1秒でも早くGoogleBotに拾ってもらって検索結果に表示されて欲しいですよね。 もしも公開したページがGoogleにインデックス登録されて検索結果に表示される前に、他サイトにページ内容をコピーされ、このコピーした方が先にGoogleにインデックスされて検索結果に表示され、さもオリジナルのように扱われては困ってしまいます。 サイトにページを追加してからクローラーが訪問するまでに1週間とか掛っていたらガッカリしちゃいますよね。 ここではRailsとそのログを使って、リソースを更新（ページの更新）してからそれがGoogleのクローラーに拾われるまでを自動で算出してみます。 admin側のログ解析 まず最初にadmin側のログからリソースが更新された時間を収集します。適当にa.rbというスクリプトを作って、ログ