サクサク読めて、アプリ限定の機能も多数！
無限クロールに陥りやすいページや、重要顧客を対象にしたページなど、いずれもこういう情報が露出していることは、ある意味でセキュリティホールを自ら晒すことでもあります。 本当に見られては困るページは、robots.t
hirsato のブックマーク 2013/04/10 19:55
このブックマークにはスターがありません。 最初のスターをつけてみよう！
www.geek.sc2013/04/10
robots.txtとは robots.txtは、検索エンジンのクローラー（bot）に、クロールされたいページや、クロールされたくないページを教えるテキストファイルのことです。多くの検索エンジンのクローラーは、そのドメイ...
273 人がブックマーク・29 件のコメント
＼ コメントが サクサク読める アプリです ／
無限クロールに陥りやすいページや、重要顧客を対象にしたページなど、いずれもこういう情報が露出していることは、ある意味でセキュリティホールを自ら晒すことでもあります。 本当に見られては困るページは、robots.t
このブックマークにはスターがありません。
最初のスターをつけてみよう！
大手サイトのrobots.txtでわかる「検索でヒットされたくないページ」の特徴
robots.txtとは robots.txtは、検索エンジンのクローラー（bot）に、クロールされたいページや、クロールされたくないページを教えるテキストファイルのことです。多くの検索エンジンのクローラーは、そのドメイ...
273 人がブックマーク・29 件のコメント
＼ コメントが サクサク読める アプリです ／