Google ウェブマスターツールの「robots.txt テスター」の使い方を紹介します。 1.はじめに Google ウェブマスターツールの「クロール」メニューにある「ブロックされたURL」というサブメニューが「robots.txtテスター」に変わったようです。 旧メニュー 新メニュー メニューを開いた画面での機能は大きく変わっていないかもしれませんが、本エントリーで紹介したいと思います。 2.robots.txt テスター robots.txtテスターの画面は次のようになっています。 編集画面ではrobots.txtを編集することができます。 その下のテキストフィールドには、robots.txtでブロックの状態をテストしたいURLを設定します。 テストでのデフォルトは「Googlebot」になっています。 botは次の7種類から選択することができます。 3.URLのテスト 実際にUR