robots.txtの記述方法robots.txtとは、Webクローラに対してWebサイトの収集方法を指示するものです。ここではその記述方法について解説します。 すべてのWebクローラが、robots.txtの指示に従う保証はありません。 robots.txtの配置 robots.txtを記述するファイルは、 フォーマット … プレーンテキスト (plain text) エンコード … BOMなしのUTF-8 改行文字 … CR、CR/LFまたはLF の形式である必要があります。Robots.txt Specifications - Webmasters | Google Developers そしてこのファイルをrobots.txtのファイル名で、「http://example.com/robots.txt」のようにドメインのルートに配置します。 ところでrobots.txtがこのように配置されていることを利用し、実
