クローラー - ニート=>ネトゲ屋=>ブラック=>電話屋
同様のものを以前につくったが遅すぎて(30分とか)常用できなかった。ファイル保存の機能もなかった。今回のものは速度が50倍ぐらいにはなったのではなかろうか。 #! /usr/bin/env ruby #-*-coding:utf-8-*- require 'term/ansicolor' class String include Term::ANSIColor end class MyJobAnisoku def initialize(args = { }) require 'rubygems' require 'kconv' require 'mechanize' require 'net/http' @a = args @a[:url] ||= 'http://youtubeanisoku1.blog106.fc2.com/' @a[:url] = URI.parse @a[:url]
Anemoneというクローラーフレームワークを使ってみる
cles::blog 平常心是道 blogs: cles::blog NP_cles() « IE6からの乗り換えを促すドラクエ風flash :: 2009年分の確定申告スタート！ » 2010/02/15 Anemoneというクローラーフレームワークを使ってみる ruby scrape 89 0へぇ これまでクローラー使い捨てのクローラーは結構力業で作ってきたのですが、さすがにこういうことをやり始めてから1年以上が経ちこのままでは立ちゆかない事がいろいろと顕在化してきたので、クローラーを作るためのフレームワークをいろいろ調べていました。 JavaであればLuceneのサブプロジェクトであるNutchや、Seasarプロジェクトで開発されているS2Robot、PerlであればGunghoあたりに興味があるのですが、後処理の部分はRubyで書いてしまってあるので今回はAnemoneという
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
