第22回 Coroを使ったやさしいクローラの作り方（1） | gihyo.jp
本連載では第一線のPerlハッカーが回替わりで執筆していきます。今回は本誌Vol.68～73まで「フロントエンドWeb戦略室」を連載していたmalaさんで、テーマはクローラの作り方です。個人用のちょっとしたダウンローダを書くときから、大規模なクローラを書く場合まで、Perlは強い味方になります。 なお本稿のサンプルコードは、本誌サポートサイトから入手できます。 クローラの礼儀作法 クローラ、スパイダ、bot[1]を稼働させる際は、アクセスのしかたによっては相手先のサービスに多大な負荷をかけてしまいます。本節ではまず、使用言語にかかわらずクローラを書くうえで一般的に知っておくべき作法について述べます。 robots.txtによるbotの制御── アクセスしてよいかの指示 Webサイトに置かれるrobots.txtは、botから「アクセスしてよいか」を判断するものです。アクセスする対象がht
Cron、Crontabを使えない環境でも簡単に使用できるようになるWEBサービス : 4GALAXYのメモ
69 26 09 2007 Cron、Crontabを使えない環境でも簡単に使用できるようになるWEBサービス WebTool レンタルサーバーや環境によってCronを使用出来ない場合に便利です。登録方法を画像付で紹介 WebCron Accueil - 無料でCronサービスを公開しています。ここで言うCronとは定期的にURLを自動で叩いてプログラムなどを走らせてくれます。 1．それではまずアクセスして以下の部分をクリック 2．サインアップ。メールアドレス、ID、PASSを入力 3．メールアドレスに認証URLが届くのでクリックしてすぐにログインが出来るようになります。 4．ログインしたら以下の部分をクリック。設定フォームが出てきます。 5．ここで定期実行したいスクリプトのURLと日付時間などを入力。URLのみで最短の1時間に一回の実行になります。 6．以下のActi
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
