tenderlove/mechanize - GitHub
Mechanize mechanize.rubyforge.org github.com/tenderlove/mechanize/tree/master DESCRIPTION The Mechanize library is used for automating interaction with websites. Mechanize automatically stores and sends cookies, follows redirects, can follow links, and submit forms. Form fields can be populated and submitted. Mechanize also keeps track of the sites that you have visited as a history. Dependencies
Kazuho@Cybozu Labs: Q4M Version 0.4 で高速なクローラを書いてみた
« Parallel::Prefork - Perl でマルチプロセスなサーバを書く方法 | メイン | Japanize for IE バージョンアップのおしらせ » 2008年04月07日 Q4M Version 0.4 で高速なクローラを書いてみた 本日、MySQL 5.1 のプラガブルストレージエンジンとして動作するメッセージキューQ4M のバージョン 0.4 をリリースしました。本バージョンでは、条件付購読 (conditional subscription) という、特定の条件を満たす行だけをメッセージキューから読み込む機能に対応したのですが、これを使って、クローラを書いてみました。 使い方は以下のとおりです。 # url テーブルを作成 % mysql -p test mysql> CREATE TABLE url ( id int(10) unsigned NOT NULL
moba-crawler
* DeNA では、モバゲータウン 内の検索サービスで利用するため、クローリング (プログラムによるウェブページの自動収集) を行っています。 * クロールは現在 202.238.103.126, 202.213.221.97 というグローバル IP アドレスより行っています。携帯向けサービスの場合、各携帯キャリアが公表している IP アドレスからの接続のみ許可していることもあるかと思いますが、上記 IP アドレスからの接続も許可していただけると、検索結果でサイトをご紹介できる可能性が高まります。ご協力いただければ幸いです。 * User-Agent は DoCoMo/2.0 N902iS(c100;TB;W24H12)(compatible; moba-crawler; http://crawler.dena.jp/) となっています。 以前は moba-crawler
vincent krutler
The Google PageRank Algorithm in 126 Lines of Python Reading How Google Finds Your Needle in the Web's Haystack I was surprised by the simplicity of the math underlying the google PageRank algorithm, and the ease with which it seemed to be efficiently implementable. Being able to do a google-style ranking seems useful for a wide range of cases, and since I had wanted to take a look at python for
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IBM Developer
http://dev.razil.jp/project/xango/
