サクサク読めて、アプリ限定の機能も多数！
にゃ？ robots.txt ってば前方一致で指定もできたんだ・・・ まぁ機密でーたの入ったものを公開でぃれくとりに置かないのがべすとだけど・・・ （´・ω【みかん
mumincacao のブックマーク 2010/06/07 13:58
このブックマークにはスターがありません。 最初のスターをつけてみよう！
www.suzukikenichi.com2010/06/04
検索エンジンのロボットによるクロールをブロックするrobots.txtについてGoogleのJohn Mueller氏がTwitterとGoogle BuzzでTIPSを公開しています。 Robots-tip: crawlers cache your robots.txt; update it at lea...
54 人がブックマーク・8 件のコメント
＼ コメントが サクサク読める アプリです ／
にゃ？ robots.txt ってば前方一致で指定もできたんだ・・・ まぁ機密でーたの入ったものを公開でぃれくとりに置かないのがべすとだけど・・・ （´・ω【みかん
このブックマークにはスターがありません。
最初のスターをつけてみよう！
robots.txtの更新は1日1回 ＋ noindex / nofollow / noarchive / nosnippet / noydir / noodp タグのおさらい
検索エンジンのロボットによるクロールをブロックするrobots.txtについてGoogleのJohn Mueller氏がTwitterとGoogle BuzzでTIPSを公開しています。 Robots-tip: crawlers cache your robots.txt; update it at lea...
54 人がブックマーク・8 件のコメント
＼ コメントが サクサク読める アプリです ／