エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
robots.txtとは|「分かりそう」で「分からない」でも「分かった」気になれるIT用語辞典
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
robots.txtとは|「分かりそう」で「分からない」でも「分かった」気になれるIT用語辞典
これ以外のクローラさんについては適当に調べてください。 個人的には、個別にクローラを指定すること自... これ以外のクローラさんについては適当に調べてください。 個人的には、個別にクローラを指定すること自体、あまり必要性を感じないですけどね。 ちなみに複数の検索エンジンさん宛の指示を1つのrobots.txtで指定することも可能です。 複数指定したい場合は User-agent: Googlebot Disallow: /miruna/ User-agent: Slurp Disallow: /miruna2/ のように、クローラを指定するごとに間を1行ずつ空けて書いてください。 さて、これでどの検索エンジンさんに対する指示かは指定できるようになりました。 次はどんな指示を出すかです。 忘れちゃった人のために、もう一度サンプルを載せておきますね。 User-agent: * Disallow: /miruna/ Allow: /miruna/miteyo Sitemap: https://ex