ユーザーに届ける価値を徹底的に追求する マーケティングを提供します © Copyright 2022 バズ部. All rights reserved. robots.txtとは、Googleなどの検索エンジンのクローラーに対して、「どのURLにアクセスしていいか」を伝えるものである。 これを使えば、特定のページやフォルダのクロールを拒否できる(クロールさせない)ことができる。クローラーの動きを最適化することで、SEOの観点からも良い影響を得られる可能性がある。
WordPressで構築している当サイトのrobots.txtを見直そうと思い、参考にした記事をいくつか紹介します。 How to Write WordPress robots.txt for SEO robots.txtファイルは、ウェブを探し回る検索エンジンのロボットに制限を与えるものです。 参考:A Standard for Robot Exclusion ロボットは自動化されており、サイトのページにアクセスする前に、そのサイトにrobots.txtファイルの存在を確認します。 WordPressにとっては、たとえば管理系のファイルなど検索エンジンには必要ではないコンテンツをもっているため、robots.txtの設置は大切です。また、WordPressで生成したページはカテゴリフォルダ、毎月のアーカイブ、タグ一覧など複数のページから同じページを見つけることができます。Googleはコ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く