エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント1件
- 注目コメント
- 新着コメント
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
robots.txt でクローラーの動きをコントロールする | HTML / その他 Tips
Tips というより開発時に調べた Script 等を忘れないように書き留めた覚え書きです。 最近はここに書き... Tips というより開発時に調べた Script 等を忘れないように書き留めた覚え書きです。 最近はここに書き留めておくことも忘れている始末で、我ながら情けなく思う今日この頃です。 ということで、不定期更新というか最近更新していませんが、JavaScript や VBScript などを紹介していきますのでご参考になれば幸いです。 robots.txt を置くことで検索エンジンのインデックスに特定のページを登録されないようにしたり、サイトマップファイルをクローラーに教えてあげることが出来ます。 robots.txt 自体は拡張子から分かるとおり単なるテキストファイルなので、誰でも見ることが出来ますので、隠しページなどに使うと却ってみんなにばれてしまいます。 あくまでも検索エンジンのクローラーをコントロールするためだけに使用します。但し、必ず robots.txt に従うとは限りませんので、
2010/06/02 リンク