[レベル: 上級] Googlebot のクロール頻度を下げる目的で 403 や 404 など 400 番台の HTTP ステータスコードを返してはいけない Google 検索セントラルブログで Gary Illyes(ゲイリー・イリェーシュ)氏がこのように注意喚起しました。 日本語記事がまだ公開されていないので、要点をこの記事で解説します。 4xx はクライエントエラー、クロール頻度に影響しない 400 番台(以降、4xx)の HTTP ステータスコードは、クライアント(≒ブラウザ)に起因するエラーを意味します。 たとえば、404 であれば、間違った URL をクライアントがリクエストしてしてしまい、その URL が見つからなかったため Not found がに返されます。 403 であれば、禁止されている URL にクライアントがアクセスしてしまったために Forbidden が返され
![クロール頻度を下げる目的で404や403を使用しないようにとGoogleが警告](https://cdn-ak-scissors.b.st-hatena.com/image/square/bb6a4b348bc39479e9b7562c60af05209f807187/height=288;version=1;width=512/https%3A%2F%2Fwww.suzukikenichi.com%2Fblog%2Fwp-content%2Fuploads%2Froad-signs-7055475_1280-600x358.webp)