タグ

htmlとパースに関するweb-maのブックマーク (1)

  • Googleクローラーのクロール巡回頻度はどのくらい?

    Googleのクローラーが来訪する巡回頻度はSearch Console「クロール > クロールの統計情報」を見ればわかります。まあ、ご覧になればわかる通り毎日来てますよね。クロールするページ数が多い日、少ない日はありますが。 そしてどのページが巡回クロールしているのかは弊社の解析ツールとGoogle analyticsを連携したものがこちら。 ページ/セッションが1.00のものは平均セッション時間も00:00:00です。これはHTMLを取得するクローリングのためのクローラーですね。詳しくはこちらもご覧ください。 ▼クローリングとパース https://www.web-ma.co.jp/column/crawlability/134.html そしてページ/セッションがあり、平均セッション時間もあるものはHTML解析(パース)をしています。解析している時間はマチマチで、2ページで約7分のも

    Googleクローラーのクロール巡回頻度はどのくらい?
    web-ma
    web-ma 2017/02/03
    Googlebotのクローリング(HTML取得)とパース(HTML解析)は別行動です。実際に数字にも表れています。
  • 1