「Googleを支える技術」の244ページに次のような記述があった。 たとえば以前のクローラーでは、Webアクセスのときの「User-Agent」が次のようになっていました。 Googlebot/2.1 (+http://www.google.com/bot.html) Bigdaddy以降は、これが次のように変わっています。 Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html) この変更により、Webページのgzip圧縮が有効になるケースが多くなり、結果的にネットワークへの負担をさらに減らせるということです。 つまりヘッダに Accept-Encoding: deflate, gzip をつけていてもgzipを有効にしてくれないサーバがあるということ。 色々とネットを探ってみると、GoogleのM