今日はまず、グーグルのクローキングに関するガイドラインからの引用を読んでほしい。 user-agent に基づいて異なる結果を表示するサイトは、偽装の意図があると見なされ、Google インデックスから削除される場合があります。 この1文の中には重要な言葉が2つある。「場合があります」と「user-agent(ユーザーエージェント)」だ。 さて、不正な意図を持って不正な方法でクローキングを行えば、グーグル(それ以外の検索エンジンでも)のインデックスからサイトを排除されてしまう「場合がある」のは確かだし、それが目に余る場合には、排除されること間違いなしだ。しかし多くの場合、クローキング自体は、ユーザー体験から見ても検索エンジンから見ても、正当な行為なんだ。 まず、現在、ペナルティもなく排除もされずにクローキングを行っているウェブ資産をリストアップしてみよう。 グーグル 「google too
![こんなにあるクローキングの実態/許されるクローキングと許されないクローキング (前編) | Moz - SEOとインバウンドマーケティングの実践情報](https://cdn-ak-scissors.b.st-hatena.com/image/square/28b71bc9d80d1a7b9a13843f6dee5c825c445012/height=288;version=1;width=512/https%3A%2F%2Fwebtan.impress.co.jp%2Fsites%2Fdefault%2Ffiles%2Fstyles%2F1200x630%2Fpublic%2Fimages%2Fseomoz%2Fseomoz_icon120-03.gif%3Fitok%3DzU-aNucF)