第22回　Coroを使ったやさしいクローラの作り方（2） | gihyo.jp

テクノロジーカテゴリーの変更を依頼記事元:

gihyo.jp

9 usersがブックマークコメント

コメント

1

記事へのコメント1件

注目コメント
新着コメント

akatakun LWP::ParanoidAgent は，localhost や192.168.x.x などのプライベートIPアドレスに対するリクエストが失敗するユーザエージェントを作ってくれるモジュールです。ユーザからのリクエストを受けて任意のURLにリクエストを発行するよ

2015/08/22 リンク

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

アプリのスクリーンショット

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

関連記事

第22回　Coroを使ったやさしいクローラの作り方（2） | gihyo.jp

前回の（1）はこちらから。参考にすべきCPANモジュール以下では古いものから新しいものまで、クローラ... 前回の（1）はこちらから。参考にすべきCPANモジュール以下では古いものから新しいものまで、クローラを作る際に参考になるCPANモジュールを紹介します。 LWP::RobotUA、WWW::RobotRules PerlにおけるHTTPクライアントと言えば、何はともあれLWP::UserAgentです。LWPのパッケージの中にはLWP::RobotUAというrobots.txtを解釈するbot用のUserAgentを作るクラスが含まれています。RobotUAはLWP::UserAgentを継承したクラスで、ユーザエージェント文字列とFromヘッダに使用するためのメールアドレスの指定が必須になっています。また、robots.txtでDisallowの指定があるURLにはアクセスできないようになっていたり、リクエストごとにデフォルトで1分のウェイトが入っていたりと、行儀の良いモジュールです

ブックマークしたユーザー

akatakun2015/08/22
hotoku2015/06/22
ottonove2014/02/12
mickn2013/12/27
YAA2013/12/26
perlcodesample2013/12/20
yukimori_7262013/12/19
kasumani2013/12/19

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

設定を変更しましたx