サーバー上のPDFファイルが検索エンジンにキャッシュされないように.htaccessとrobots.txtでロボットを全て拒否してみた | ノート100YEN.com

robots.txtを使って検索ロボットを拒否する方法 まずrobotsという名前のtxtファイルを作成します。 で、今回はファイル置き場にしているドメイン直下の全フォルダでクローラーを拒否したかったので下記の内容を記述。 User-Agent: * Disallow: / もし特定のフォルダやファイルのみを検索エンジンに拾われないようにしたければ User-Agent: * Disallow: /example/ ←フォルダ名 Disallow: /example.html ←ファイル名 のように記述します。 あとはこのrobots.txtファイルをドメイン直下（ルートフォルダ）にアップすれば終わりです。 検索ロボットはサイトに訪れた際にまずrobots.txtファイルにアクセスします。そこでrobots.txtにクローリングを拒否するような記述をしていれば、ロボットはそれ以上巡回せずに

[aw_matsurie]

アクセス制限について

[sock_puppet]

ブログ更新： サーバー上のPDFファイルが検索エンジンにキャッシュされないように.htaccessとrobots.txtでロボットを全て拒否してみた -