ブックマーク / shokai.hatenadiary.org (2)

  • bot管理 daemon化 - 橋本詳解

    http://d.hatena.ne.jp/shokai/20081224/1230151944 のクローラが、cronで回してたら処理が長すぎてどうもタイムアウト?するみたいなので、daemon化した。タイムアウトなんてあんのかな。数十分かかってたんだえkど webrickで楽々。 ahokai-bots.rb #!/usr/bin/env ruby require 'webrick' path = "/home/sho/bots" #path = File.dirname(__FILE__) WEBrick::Daemon.start { loop { bots = Array.new Dir.entries(path).each{|e| bots.push(e) if File::ftype("#{path}/#{e}") == "directory" && !(e =~ /\.+/

    bot管理 daemon化 - 橋本詳解
    maruguu
    maruguu 2009/01/06
    botをcronからdaemonにする
  • bot管理 - 橋本詳解

    ディレクトリ下にahokaiを複数配置 /home/sho/bots% tree -L 1 . |-- dangkang_bot |-- narupeko_bot |-- penguinana_bot |-- post.rb |-- refollow-refav.rb |-- shingoy_bot |-- store-make3gram.rb `-- yusukebe_bot 収集用 store-make3gram.rb #!/usr/bin/env ruby path = File.dirname(__FILE__) bots = Array.new Dir.entries(path).each{|e| bots.push(e) if File::ftype("#{path}/#{e}") == "directory" && !(e =~ /\.+/) } bots.each{|nam

    bot管理 - 橋本詳解
    maruguu
    maruguu 2009/01/06
  • 1