robots.txtを作成する上で気をつけるべき9つの注意点 – 和洋風KAI和洋風KAIは、Apple・水樹奈々・食べ歩きが三本柱のブログです。モットーは「楽しく」「便利で」「端的に」。 ⇒ アバウト ⇒ 免責事項 注意1 robots.txtとは？ クローラーに自分のウェブサイトのどこにアクセスしてはいけないかを教えることができるテキストファイル。 注意2 robots.txtのファイル名 ファイル名は「robots.txt」 「robot.txt」でもなく「Robots.txt」でもない。 注意3 robots.txtを置く場所。 あなたのウェブサイトのトップフォルダに置く。 例えば、http://example.comがトップページだった場合、http://example.com/robots.txtに置く。 注意4 robots.txtの書き方の基本的な例 User-agent: * Disallow: /forbidden/ Allow: /approv
