HTML：検索エンジンロボットの巡回を拒否する | rainingWEBサイトを作成していると管理画面など検索エンジンにクロールされないようにしたいページなどが存在します。 今回はhtmlのmetaタグで設定する方法とrobots.txtを使って制御する方法を記載します。 ■ 検索ロボット（クローラー） サーチエンジンの検索データベースを作成するために、世界中のWEBサイトの情報を自動的に回収するプログラムです。 GoogleやYahoo!などで検索した際に検索ロボットが収集した情報を出力しています。 クローラーがWEBサイトをクロール（巡回）することによって、より良い情報を検索結果に出力してくれます。 ■ metaタグで設定する方法 HTMLのmetaタグに記述し、検索ロボットを制御します。 metaタグは設定したいページのheadタグ内に記述します。 NOINDEXなどの指定は大文字で設定します。 NOINDEX：検索エンジンにインデックスさせず、検
