あなたも同じミスをするかも？ robots.txtのミスで予想外のページをクロール禁止していた悲劇【SEO情報まとめ】 | 海外&国内SEO情報ウォッチ

最強級のSEOと最上級のコンテンツすら台無しにする、robots.txtの予想と違う挙動を、あなたは知っているだろうか？ 知らなければうっかりハマってしまい、「コンテンツがインデックスされない！」となってしまうかも。 「実際の挙動の根拠は？」「どうすればこの落とし穴を避けられるの？」を含めて、詳しく解説する。 ほかにも、モバイル検索でのサイト名表示や、SERPでのCTR向上事例、Google検索にとってのAIの意味などなど、今回はちょっと濃いめのSEOトピックをお届けする。 グーグルのモバイル検索でサイト名が表示されるようになったスニペット改善でCTR向上・検索トラフィック約2倍に⬆UP！2022年10月のスパムアップデートをグーグルが実施10月のグーグルオフィスアワー： サイトマップのlastmod、MFIに移行しない、サイト名が表示されないなど人間が書いたコンテンツをグーグルがスパム判

[teckl]

Googlebotは Crawl-delay の行は空白行として扱われる、と

[nisisinjuku]

Googleの仕様に目を光らすお仕事。有ると思います。

[mandel59]

「Allow、Disallow、User-agent以外の行をないものとして扱う」挙動も、記事中にリンクがある「標準仕様」RFC 9309の2.2.4に書いてあるとおり

[s-supporter]

GooglebotはCrawl-delayを『空白行として扱う』ので起こりえるミス。sitemap指定も同様の処理を行う。都度User-agentで括ればよいが、勘違いだったり面倒だから書かないことも多いだけに注意です。