Anemoneで手軽にクロール | degoo*memo
クローラ開発してみようと思い、適当にググってみたんだけど情報少ない。 とりあえずJavaのNutchがメジャーなのかな？ってのは把握。 そもそもクローラとスパイダーっていう用語もどっちがメジャーなんだろ。 そんななか見つけたのが、Ruby のクローラフレームワークなるAnemone。 お手軽そうだったので、Anemone使ってはじめてのクローラ作ってみるよ。 ・インストール gem install anemone おわりー。 ・ スクレイプしてみる 今回のスクレイプ対象はiddy API。 まぁなんでもいいんだけどね。 ユーザのプロフィールURLをがさっと削りとってみる。 $KCODE = 'u' require 'rubygems' require 'anemone' #anemoneにメソッド追加 module Anemone class Page def doc4xml r
クローラーを作るためのフレームワーク·Anemone MOONGIFT
RSSフィードやWeb API、Mashupなどの単語が注目を集める中、Webクローラーを通じて外部のWebサイトにあるデータをかき集め、それを解析して別な形にするというのはよく見られるものになってきた。 あるURLを指定し、そこからリンクされているURLを一覧表示できる そうした数々のシステムの中で、クローラーとなる基盤は大きな違いはない。Webサイトのデータを取得し、次のリンクを洗い出して取得していくようなものだ。そうした共通動作部分を切り出したフレームワークがAnemoneだ。 今回紹介するオープンソース・ソフトウェアはAnemone、Webクローラを開発するためのフレームワークだ。 Anemoneは任意のWebサイトにアクセスし、その内容を解析するWebクローラーだ。例えばあるURLに付けられているリンクを一覧で取得するようなことも簡単にできる。外部サイトなのかどうかも区別できるの
robots.txt とは？ - とほほのWWW入門
robots.txt とは、goo、Google、Lycos などのロボット型検索エンジンに対する命令を記述するためのファイルです。自分のページが、検索エンジンのデータベースに登録されないように指示します。 ただ、この指定は強制的なものではなく、この指定を行っても検索してしまう検索エンジンはあるかもしれません。goo、Google、Lycos は大丈夫のようです。 robots.txt ファイルは、そのサイトのトップに置かなくてはなりません。 ○ http://www.xxx.zzz/robots.txt × http://www.xxx.zzz/~tohoho/robots.txt robots.txt の中には次のように記述します。これは、すべて（*）のロボットに対して、/ ではじまるファイル（つまりはすべてのファイル）を検索データベースに登録することを禁止するものです。 User-a
【Crawl-delay】 検索エンジンクローラーの巡回頻度調節 （robots.txt）
検索エンジンの巡回クローラー（ロボット）がウェブ上の情報を収集する際のアクセス頻度（間隔）を指定できる「Crawl-delay」パラメータ。ロボット制御プロトコルに基づいて、「robots.txt」ファイルにて指定します。各検索エンジンのヘルプページより該当の記述を引用しときます。 まずはYahoo! JAPAN（ヤフー）。下の文章は昔のもので、現在の「Yahoo!検索 インフォセンター」には単位の記述がありません。 検索エンジン用ロボットからのリクエスト数を減らすには （中略） ■リクエスト数を減らすには アクセス間隔によって問題が生じている場合、検索エンジン用ロボットのアクセス間隔の設定 を、サーバーの環境に合わせて設定してください。 「robots.txt」をウェブサーバーに置き、"Crawl-delay: xx"の"xx"を5や20などに調整すると、 アクセス間隔を伸ばせます。 例
iモード検索の仕様がいろいろと変更されている件
docomoユーザーだったら、まぁ間違いなく1度は利用しているはずのiモード検索。iボタンを押すと最初にアクセスされるこの画面から検索するという人は少なくはないでしょう。 そんなiモード検索ですが、本日4/30(Fri)から検索の仕様変更が行われています。 何気に結構いろいろと変更がされていて、もしかしたらこれまでとの違いから、若干使用感に戸惑う恐れもあるかもしれません。 というわけで、ちょっとその変更点についてまとめてみました。 検索エンジンの変更 これまでdocomoのiモード検索に使われていた検索エンジンはGoogleによるものでした。 それが今回の仕様変更に伴って、Googleからgooへと変更されています。 ただし、Googleは入っていないかというとそういうわけでもなく、PCサイト検索にはGoogleがそのまま使われていて、変更にどういう意図があるのかは解りませんが、モバイルg
モバイルSEOのベストプラクティス～クローラのアクセス状況を把握する
クローラのアクセス状況を把握する GoogleアナリティクスによるSEO Googleアナリティクスの「検索エンジン最適化（SEO）スターターガイド」には、SEOに対する取り組み方がまとめられています。 ガイドの内容を要約すると、「ユーザーにとって良質なコンテンツを作成し、Webサイトを検索エンジンに対して最適な状態にする」ことが、検索結果画面における掲載順位上昇において重要であると解釈できます。 以前は、SEOの掲載順位を上げるためだけに、まとめサイトなどを作成して被リンクを増やすという手法がありました。 しかし、現在のGoogle検索は「ユーザーが探している質の高い情報を検索結果に表示すること」を旨として作られているため、上記のように検索結果の質を下げかねない対応を行っているWebサイトに対しては、検索結果に表示しないというペナルティが課される場合があります。 したがって、Webサイト
携帯検索サイトのクローラーのUser-Agent（ユーザーエージェント）とIPアドレス帯域、アクセス制限解除
携帯検索サイトのクローラーのUser-Agent（ユーザーエージェント）とIPアドレス帯域、アクセス制限解除 携帯検索サイト用クローラーのユーザーエージェントとIPアドレス帯域 Google（グーグル） [User-Agent] Googlebot-Mobile という文字列を含む。 例： DoCoMo/1.0/N505i/c20/TB/W20H10 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html) [IPアドレス帯域] 72.14.199.0/25 (72.14.199.0 - 72.14.199.127) 209.85.238.0/25 (209.85.238.0 - 209.85.238.127) 詳しくは、 Google モバイルウェブクローラー を参照。 Yahoo!（ヤフー） [User-Ag
ウノウラボ Unoh Labs: 携帯サイトとクローラ
harukiです。 ケータイユーザも検索エンジンから来るユーザも増えています。 そのため、携帯サイトも検索エンジンのクローラへ対応する必要があります。 ・Mobile Link Discoveryの記述を追加する PC用のページのheadタグ内に <link rel="alternate" media="handheld" href="(ケータイURL)" /> の記述を追加するだけです。 Mobile Link Discoveryに対応しているサイトでは、ケータイからのアクセス時に直接アクセスしてもらえるようになります。 Mobile Link Discovery 仕様 http://www.sixapart.jp/docs/tech/mobile_link_discovery_ja.html 検索エンジンでは、Googleモバイルのgoogle mobile proxy http
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://japan.internet.com/column/allnet/20091214/8.html