「Robots.txt Checker」はサイトの「Robots.txt」を確認できるサイトです。 「Robots.txt」は検索エンジンやらにサイトをクロールさせるかどうかを制御できるファイルです。 詳細はrobots.txt とは?をご覧下さい。 Robots.txtを設置したときの確認などに利用してみましょう。 以下に使ってみた様子を載せておきます。 まず「Robots.txt Checker」にアクセスします。 「Check URL」にチェックしたいサイトのURLを入れます。 「サイトURL+robots.txt」が自動抽出されます。 他のディレクトリにRobots.txtを設置している場合はそれを指定すればOK。 結果です。 正常に取得できました。 特に検索エンジンをはじいていないのでこのような結果に。 サイトによっては、このように検索エンジンによってクロールを禁止しているところ