サイト内の「Robots.txt」の動作確認ができるサイト「Robots.txt Checker」*二十歳街道まっしぐら（FC2ブログ時代）「Robots.txt Checker」はサイトの「Robots.txt」を確認できるサイトです。 「Robots.txt」は検索エンジンやらにサイトをクロールさせるかどうかを制御できるファイルです。 詳細はrobots.txt とは？をご覧下さい。 Robots.txtを設置したときの確認などに利用してみましょう。 以下に使ってみた様子を載せておきます。 まず「Robots.txt Checker」にアクセスします。 「Check URL」にチェックしたいサイトのURLを入れます。 「サイトURL＋robots.txt」が自動抽出されます。 他のディレクトリにRobots.txtを設置している場合はそれを指定すればOK。 結果です。 正常に取得できました。 特に検索エンジンをはじいていないのでこのような結果に。 サイトによっては、このように検索エンジンによってクロールを禁止しているところ
