こんなにあるクローキングの実態／許されるクローキングと許されないクローキング (前編) | Moz - SEOとインバウンドマーケティングの実践情報今日はまず、グーグルのクローキングに関するガイドラインからの引用を読んでほしい。 user-agent に基づいて異なる結果を表示するサイトは、偽装の意図があると見なされ、Google インデックスから削除される場合があります。 この1文の中には重要な言葉が2つある。「場合があります」と「user-agent（ユーザーエージェント）」だ。 さて、不正な意図を持って不正な方法でクローキングを行えば、グーグル（それ以外の検索エンジンでも）のインデックスからサイトを排除されてしまう「場合がある」のは確かだし、それが目に余る場合には、排除されること間違いなしだ。しかし多くの場合、クローキング自体は、ユーザー体験から見ても検索エンジンから見ても、正当な行為なんだ。 まず、現在、ペナルティもなく排除もされずにクローキングを行っているウェブ資産をリストアップしてみよう。 グーグル 「google too
