米Google、スマートフォンサイト専用のクローラを発表 Googlebot-Mobile ::SEM R (#SEMR)
米Google、スマートフォンサイト専用のクローラを発表 Googlebot-Mobile グーグル、スマートフォンサイトのクローリングを目的とした新しいgooglebotクローラ発表。 公開日時：2011年12月16日 00:39 米Googleは2011年12月15日、スマートフォンサイトのコンテンツをクローリング（巡回）することを目的としたスマートフォン版Googlebot-Mobileクローラを発表した。スマートフォンユーザーの増加とともに急増するスマートフォン向けにデザインされたサイトコンテンツに対応する狙い。 Feature phones Googlebot-Mobile: SAMSUNG-SGH-E250/1.0 Profile/MIDP-2.0 Configuration/CLDC-1.1 UP.Browser/6.2.3.3.c.1.101 (GUI) MMP/2.0 (
Apache プロジェクトのクローラ Nutch を軽く試してみた - Solr, Python, MacBook Air in Shinagawa Seaside
Nutch は Apache プロジェクトで開発されているクローラ(crawler)です。クローラは、起点として指定されたURLからリンクをたどりながらHTMLをデータベース化するソフトウェアです。 Google や Yahoo! 等の検索ポータルが内部で使用していることで知られています。スパイダー(Spider)、ボット(bot)等といわれることもあります。 Nutch は 2009/3/23 についにバージョン 1.0 がリリースされました。 Nutch のインストールには JAVA 及び Tomcat が必要です。まだインストールしていない場合には先にインストールしておきます。しばらくアップデートしていない場合にアップデートしておいた方がよいでしょう。 以下を参考にしてください。 Linux で root 権限なしでも最新の JDK をインストールする1つのやりかた Linux で
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
livedoor ReaderのクローラとStreaming APIなどの話
