WebクローラThere is no reason to have to ask before making a link to another site. クローラ (Crawler) とは、ウェブ上の文書や画像などを周期的に取得し、自動的にデータベース化するプログラムである。WUAの一種。「スパイダー」や「ロボット」などとも呼ばれる。 クローラ - Wikipedia ◆メタ タグを使用してページをブロック ⇒The Web Robots Pages：About the Robots <META> tag ※すべてのページをすべてのロボットから排除 <META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW"> ※すべてのページを特定のロボットから排除 <META NAME="クローラ名" CONTENT="NOINDEX, NOFOLLOW"> □CONTENT=
