Fastladder の bot の If-Modified-Since が変
Last-Modified を勉強して意気揚々としていたところ、更新されてもいない item が Fastladder でどうしても更新として現れてしまうという現象に気づきました。 以前、生成済みの静的な feed ファイルについては公開時に checksum なりダイジェストで確認して行うといいというような話を書きましたが、今回の feed は動的に生成し、request header に応じて redirect させるとか 304 Not Modified を返すとか、細かい制御を行いたいと考えていました。この現象は要するに 304 が返ってないんだなーと思い、とりあえず bot についてはいくつかヘッダの情報をログに落として確認してみました。 そこで発見。 Fastladder FeedFetcher/0.01 という bot はサーバの response した Last-Modif
cl.pocari.org - オープンソースになった Fastladder の ER 図を描いてみた
オープンソースになった Fastladder の ER 図を描いてみた 2008-02-10-1: [SQLite] Livedoor の Fastladder がオープンソースになったということで、勉強を兼ねて ER 図を描いてみました。 (クリックで大きくなります) 使ったツールは DBDesigner 4 (日本語版) です。 DBDesigner 4 では、SQLite 3.x のデータが読めないようなので、SQLite ODBC Driver を使って、ODBC で読み込み、リバースエンジニアリングしました。 テーブルの定義はソースを見ながら作成中ですが、あまり Ruby が分かっていないので時間がかかりそうです。。。そのうち公開します。 - Fastladder Open Source http://fastladder.org/
Proxy対応そのいち - たごもりすメモ
とりあえずフィードのクローラが対応しないとどうにもならんな、と思ったので以下のようなパッチをざくっと書いてみた。 --- ../fastladder/lib/crawler.rb 2008-02-08 20:22:10.000000000 +0900 +++ lib/crawler.rb 2008-02-14 14:24:31.773592550 +0900 @@ -100,7 +100,17 @@ def fetch(link, options = {}) uri = link.is_a?(URI) ? link : URI(link) - http = Net::HTTP.new(uri.host, uri.port) + proxy = if defined? CRAWL_HTTP_WITH_PROXY and CRAWL_HTTP_WITH_PROXY + raise "Proxy
sinkin' in the rain - Fastladderの（認証）プロキシ対応
Fastladderの（認証）プロキシ対応 Fastladderのプロキシ対応と、認証プロキシ対応にチャレンジ中。Feedの追加周りはどうにかなったっぽい。 まずruby\1.8内にあるopen-uri.rb。これは元々、環境変数を見て、HTTP_PROXYとかCGI_HTTP_PROXYとかが設定されていればプロキシを使ってくれる。ここでは、プロキシ認証用にユーザとパスワードも渡すように変更。 if proxy - klass = Net::HTTP::Proxy(proxy.host, proxy.port) + klass = Net::HTTP::Proxy(proxy.host, proxy.port, proxy.user, proxy.password) end次にgems内にあるrfeedfinder.rbの268行目から。こちらはプロキシ対応がまったくないので、open-
ニテンイチリュウ: Fastladder オープンソース化！！
This is a Flickr badge showing public photos from arne5000. Make your own badge here. Fastladder オープンソース化！！ └ TN at 2008年4月 1日 └ YSAIX at 2008年4月 1日 ◆DESIGN SHOW CASE └ TN at 2008年3月17日 └ tera at 2008年3月 6日 └ tera at 2008年3月 6日 ◆Droog Design └ TN at 2008年3月17日 └ gabo at 2008年3月11日 ◆Do the Test ! └ TN at 2008年3月17日 └ lilys at 2008年3月13日 ◆Yod'm 3D :: 3D Virtual Desktop:: └ ちょこ at 2008年
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
s5r.jp
OpenFLの未読最大件数を200件にした - retlet.net
Google Groups