検索エンジン対策：meta and link tags for search engines
ディレクトリ型（ Yahoo! など）は、自力で登録すれば良いとして、ロボット型（ goo, google など）に登録してもらうためにはどうすれば良いのだろうか。 1. クロール・ページ 殆どの検索エンジンでは、情報収集の為に、ユーザが自分で検索 URL を登録申請できる。しかし一度登録されていても、膨大なデータベースの新陳代謝は頻繁なので、直に捨てられてしまうかもしれない。そのため、頻繁に登録する必要が生じるが、一週間に一回程度が目安か。 検索エンジンの情報を収集するプログラム（クローラ）は、 HTML のリンクをたどって文書を集めて DB に入れる。検索エンジンはこの DB 内から検索している。だから検索結果が古いのだ。 クローラは、画像や広告などのリンクもたどってしまうので、首尾よく検索エンジンの情報収集プログラムが訪問しても、自分のサイト内の情報を収集する前に他のサイトへ移動して
The Web Robots Pages
A Standard for Robot Exclusion Table of contents: Status of this document Introduction Method Format Examples Example Code Author's Address Status of this document This document represents a consensus on 30 June 1994 on the robots mailing list (robots-request@nexor.co.uk), between the majority of robot authors and other people with an interest in robots. It has also been open for discussion on the
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
検索エンジン ロボットの制御/robots.txt/SEO
