Google ウェブマスターツールの「robots.txt テスター」の使い方Google ウェブマスターツールの「robots.txt テスター」の使い方を紹介します。 １．はじめに Google ウェブマスターツールの「クロール」メニューにある「ブロックされたURL」というサブメニューが「robots.txtテスター」に変わったようです。 旧メニュー 新メニュー メニューを開いた画面での機能は大きく変わっていないかもしれませんが、本エントリーで紹介したいと思います。 ２．robots.txt テスター robots.txtテスターの画面は次のようになっています。 編集画面ではrobots.txtを編集することができます。 その下のテキストフィールドには、robots.txtでブロックの状態をテストしたいURLを設定します。 テストでのデフォルトは「Googlebot」になっています。 botは次の7種類から選択することができます。 ３．URLのテスト 実際にUR
