クローラー（Crawler）とは | ウィルゲートクローラーとは、検索エンジンが検索結果を表示するためにWebサイトの情報を収集する自動巡回プログラム（ロボット）のことです。クローラーによって収集（＝クロール）された情報はデータベースとして格納（＝インデックス化）され、検索結果表示に利用されます。 サイト本体を作るHTMLファイルだけでなく、PDFやExcelなど主要なアプリケーション形式のファイルも読み込みます。画像も収集しますが、alt属性や代替テキストで画像の内容を言葉で記述しない限り、クローラーには内容が認識されません。 クローラーに正確に早く認識されることがユーザー獲得の必須条件 言うまでもなく、クローラーに認識されないと検索結果は表示されません。認識されるまでの期間が長いと結果表示までの期間も長くなります。人間であるユーザーと同じくらい、ロボットであるクローラーにもフレンドリーなサイトにしなければなりません。 クローラーへの配
