ロボットが見なくても人が見るかも… Robots.txtで秘密がバレる！？ - ［ホームページ作成］All About

ロボット型サーチエンジンのロボット（クローラー）に、情報収集して良いかどうかを指示する手段として、 HTML中に meta タグを使ってファイルごとに指示する方法※と、 「robots.txt」というファイルを使ってサーバ全体分を一気に指示する方法の2つがありますね。 ※：例えば、<meta name="robots" content="noindex,nofollow"> とHTML中に記述しておけば、「そのHTMLから情報を収集せず、リンクもたどらない」ようロボットに指示できます。 robots.txt ファイルは、ロボット（クローラー）に読ませるために用意するファイルですが、 当然、URLを指定すれば、通常のブラウザでも読むことができます。 適当なサーバのURLに続けて「robots.txt」を加えてみましょう。もし、robots.txt が存在すれば、中身を見ること