はてなブックマークをバックアップ - walf443's blog
クローラーを書いてたら年末に今年一年のブックマークの分析をしようとして書いていたやつを思い出した。 require 'rubygems' require 'feed_tools' require 'pp' $KCODE = 'u' hatena_b_feed_uri = "http://b.hatena.ne.jp/walf443/atomfeed?date=20060101" loop do begin feed = FeedTools::Feed.open(hatena_b_feed_uri) p file_name = hatena_b_feed_uri.sub(/^.*\?date=(\d*)$/, "feed\\1.atom") File.open(file_name , "w") do |file| file.puts feed.build_xml('atom', 1.0) e
LudiaでPostgreSQLに全文検索を(2) EXPLAIN - 酒日記 はてな支店
Ludia-0.8.0 では EXPLAIN が返すコストの見積もりが正しくない(常に 0.00..0.01 ?) ため、常に fulltext index が優先して使われるようだ。 普通の index (entry_pkey) が張ってある id カラムと、fulltext index (entry_ftidx) がある body カラムを持つテーブルに対して、 # EXPLAIN ANALYZE SELECT * FROM entry WHERE id=24354; QUERY PLAN ------------------------------------------------------------------------- Index Scan using entry_pkey on entry (cost=0.00..3.20 rows=1 width=730) (act
[rails][hatena][api]はてな認証APIをつかうcontroller - urekatのスカンク日記３
gem install hatenaapiauth require 'hatena/api/auth' class AccountController < ApplicationController HATENA_PARAMS = {:api_key=>"...", :secret=>"..."} def hatena_auth Hatena::API::Auth.new(HATENA_PARAMS) end helper_method :hatena_auth def index redirect_to :action=>"login" end def login end def hatena_callback hatena_user = hatena_auth.login(@params[:cert]) render_text hatena_user.inspect end end <
Hpricot からテキストを取り出す - nazokingのブログ
scrAPIよりも使いやすい感じのHpricotですが、「innerText」が上手くHTMLエンティティーを戻してくれないので、違うメソッドをつけてみました。 require "rubygems" require 'hpricot' class Hpricot::Elem def [](a) CGI.unescapeHTML(get_attribute(a)) end def to_text r = [] traverse_text{|text| case text when Hpricot::CData r << text.content else r << CGI.unescapeHTML(text.inner_text.gsub("\n"," ").gsub(/ +/," ").strip) end } r.join end end hp = Hpricot('<html><bog
I sort my thought... - BackgrounDRbについて調べてみた
このページの情報は既にかなり古いです。私は現在あまり使っていませんし、追ってもいないのでこのページの情報が更新されることはあまり期待できないのでなるべく本家の情報なりを見た方がよいでしょう。2009年8月現在だと http://d.hatena.ne.jp/tech-kazuhisa/20090816/1250432286 とかで似たような情報をあつかってるみたいです。検索しても結構上にまだくるっぽいのでいちおう追記しておきました。 次回の第8回Rails勉強会＠東京でセッション案に上がっていたBackgrounDRbというやつがなにやら面白そげなので調べてみた。 調べてみた感じ以下のページがよくまとまっている。 http://www.infoq.com/articles/BackgrounDRb 以下、この内容を大雑把に要約してみる。 Ruby on Railsは素晴らしいフレームワーク
BackgrounDRbを使ってみた（第8回Rails勉強会@東京ログ） - walf443's blog
第8回Rails勉強会@東京において、この前調べておいた記事を実際にやってみた。 http://d.hatena.ne.jp/walf443/20060720/1153400540 動かす際に色々とハマりどころがあったようなのでうまくやるコツのようなものを書いておく。 rakeのタスクは基本的にproduction環境のときに使うコマンドが多い。BackgrounDRbのrakeにインストールされるタスクは基本的にproduction用。development環境の際は、script/backgroundrb/(start|stop)を使う。rakeのタスクはデーモン化し、scriptを使うとデーモン化しない。デーモン化するとlogを見る以外には反応しないのでプロセスをうっかり2･3個立ち上げたりするとうまくいかなくなってしまう。 workerを編集したら実行する前にbackgroundr
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://blog.mj-site.net/2006/10/ludia.html
