An Analysis of the World's Leading robots.txt Files(世界のリーダーたちの robots.txt ファイル)というブログで、世界の上位100万サイトの robo […] An Analysis of the World's Leading robots.txt Files(世界のリーダーたちの robots.txt ファイル)というブログで、世界の上位100万サイトの robots.txt を解析したベン・フレデリクソンさん(Ben Frederickson)の話が出ていました。 フレデリクソンさんは、解析結果から、3つの面白い気づきを紹介してくれています。 Googlebot にしか見せないサイト Googleボット以外のすべてのボットを拒否する、という設定のサイトは意外に多いそうです。 大手サイトでは例えば、フェイスブック(robots
![トップ100万ウェブサイトのrobots.txtを解析した人とその結果](https://cdn-ak-scissors.b.st-hatena.com/image/square/79f0fc0eeee544ad86db92ece6d26b1e6fa6eb42/height=288;version=1;width=512/https%3A%2F%2Fi0.wp.com%2Flabs.cybozu.co.jp%2Fblog%2Fakky%2Fwp-content%2Fuploads%2F2020%2F01%2Fcropped-apple-touch-icon-152x152-1.png%3Ffit%3D512%252C512%26ssl%3D1)