WedataにあるLDR Full Feedのsiteinfoを使ってフィードを全文入りにupgradeするPlagger::Plugin::Filter::EntryFullText::LDRFullFeed - fubaはてな
lib/Plagger/Plugin/Filter/EntryFullText/LDRFullFeed.pm http://b.hatena.ne.jp/otsune/20080530#bookmark-8776502 SITEINFOはwedata版に書き換えたほうがよさそう とのことなので書き換えた。HTML::Featureを使ってもっと便利にしたかったのだけど、UAがうまく置き換えられない問題とかが残ってるのであいかわらずEntryFullTextを継承。なのでPPF::EFT::SiteInfoのEFTのyamlがうまく一緒に使えない問題が残ってます。あとPPF::EFT::SiteInfoも野良siteinfoがあればまだ使えるのでこっちは名前かえました。Webservice::WedataはkoyachiさんのところからとってきてくださいWebService::Wedataも
WebHarvest - web data extraction tool
ISL Light is an easy-to-use remote desktop software for security-conscious users. It comes at a great price-performance. ISL Light is a powerful tool that helps IT staff and support technicians solve problems remotely, either through unattended access, remote support or even though screen-sharing on mobile devices. It works cross-platform and offers 256-bit encrypted sessions with all standard rem
HTML::FeaturedImage - URLに含まれる画像のうち、重要そうなものを取り出すためのPerlモジュール - fubaはてな
yuisekiが「エントリのメイン画像抽出があるといいかも」と言ってたときに、昼飯まで暇だったので作った。結果のサンプルはこちら。 仕組みはてきとう。まずURLをたくさん与え、その先にある画像の数を数える。たくさんのページにでてきたり、何度もおなじページに出てくる画像はどうでもいいものとして、消す。よくあるやり方だけど強力。 よく考えるとHTML::じゃない感じがしてきた。あとで直すかも。HTML::としてふさわしくするため、Web::Scraperにcontent渡せるようにした。 $content = "<html>..."; $hfi->add_page($url, $content);あと、リンク先が画像っぽいURLのときにはa hrefも取るようにした。閾値のキャッシュとかちょっとアルゴリズム変更とか、細かいところも変更。ちょっとノイズ入るようになったけど、たぶん欲しい物は確実に
Piggy Bank - SIMILE
Use a JavaScript-enabled browser to view this element, or directly browse the result list.MONTHYEARMilestone PiggyBank First Released2005-01-27T00:00:000Start date 2005-01-27 Title Piggy Bank First Released Milestone Piggy Bank 2.0b12005-05-23T00:00:000Start date 2005-05-23 Title Piggy Bank 2.1b Released Milestone Piggy Bank 2.1.02005-10-03T00:00:000Start date 2005-10-03 Title Piggy Bank 2.1.0 Rel
graphwise - data visualization
Make your data tell its story.Data visualization has the power to bring data to life. Learn More
Afrous - Ajax-powered mash up engine for the rest of us : Top
Working with hugedomains.com was a quick and easy process. We got to speak to multiple real people located in Colorado without having to wait on hold! Our only complaint was we felt we had to overpay more than this particular domain was worth, and we weren't able to negotiate it down to a level that we felt was fair. However, payment and delivery were seamless, and within a few hours we had all of
AutoPagerizeでmixi日記のコメント欄が逃げる件
さっき，twitterのボクから見える範囲でも話題になっていたので，軽くまとめておく． mixiのリニューアル後から，mixiの日記のページでAutoPagerizeが動くようになった．誰かがSITEINFOを追加してくれたってことだ．だけど！過去の日記が継ぎ足される場所(insertBefore)がコメント欄の上だったからさぁ大変！コメント欄が逃げちゃう．追いかけても追いかけても逃げていく月のように！あと，tumblrのトップページの「Log in」のリンクも逃げますよね！ Twitter検索 : autopagerize mixiで見るみんなの反応． この問題に対する解決策は，大きく分けて以下の2通りある． 「http://mixi.jp/view_diary.pl」で，AutoPagerizeを動かさないように設定する SITEINFOを書き換えて，コメント欄が逃げないようにする 「
最速インターフェース研究会 :: HTMLドキュメントを解析して特徴的なループを見つけるBookmarklet
- 全てのDOMノードを列挙する - ノードは次のように文字列化される。 0: /html[0]/body[0]/div 1: /html[0]/body[0]/div[0]/div 2: /html[0]/body[0]/div[0]/div[0]/ul[0]/li 3: /html[0]/body[0]/div[0]/div[0]/ul[0]/li 4: /html[0]/body[0]/div[0]/div[0]/ul[0]/li 5: /html[0]/body[0]/div[0]/div[0]/ul[0]/li 直前の階層までは添え字つき、最後のノードはタグ名のみにする。 class名、id名は排除する。各々のサイトのルールで記述されたruleよりも タグのネスト構造の方が変化に強いし機械的に抽出しやすいのではないか？ 出現回数でソートする。li要素2-5はループであることが分か
XHTMLからメタデータを自動抽出する
セマンティック・ウェブを実現する上で大きな鍵になるのが、どうやってメタデータを余計な負荷なしに提供してもらうかという方法論です。XHTMLで構造的な要素タイプ、class属性、id属性を適切に使用していれば、XSLTでここからメタデータを変換・抽出することが可能です。これを共通オントロジーと結びつければ、わざわざコンテンツと別にメタデータを用意しなくても、通常のコンテンツ制作がそのままセマンティック・ウェブの基礎になってくれるのです。 セマンティック・ウェブの関門：メタデータの収集 XSLTとXHTMLのclass属性を活用する a要素を使ったリソースとしての目的語 メタデータ用XSLTの存在を知らせる より汎用的なアプローチ テーブルデータの変換：th要素の内容を使う テーブルでもclass属性を使ってみる head要素からのメタデータ抽出 XHTMLの拡張によるメタデータ埋め込み メタ
分類から検索へ - David Gelernterの「Lifestreams」 - モジログ
Passion For The Future : 「挫折しない整理」の極意で、ソニーＣＳＬの暦本氏の提案する「タイムマシンコンピューティング」というのが紹介されていた。 Time-Machine Computing http://www.csl.sony.co.jp/person/rekimoto/tmc/ これを見て、かつて私が大きな影響を受けた本『ミラーワールド』の著者、David Gelernterの提唱していた「Lifestreams」を思い出した。 Lifestreams project homepage http://www.cs.yale.edu/homes/freeman/lifestreams.html Lifestreams: An Alternative to the Desktop Metaphor http://www.acm.org/sigchi/chi96/p
Web::Scraper - naoyaのはてなダイアリー
Today I've been thinking about what to talk in YAPC::EU (and OSCON if they're short of Perl talks, I'm not sure), and came up with a few hours of hacking with web-content scraping module using Domain Specific Languages. 使ってみたよ! #!/usr/local/bin/perl use strict; use warnings; use FindBin::libs; use URI; use Web::Scraper; use Encode; use List::MoreUtils qw/uniq/; my $links = scraper { process 'a.key
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
BuddyWay.com is for sale | HugeDomains
Rauru Blog » Blog Archive » データ・ポータビリティ
http://www.quarkruby.com/2007/9/5/firequark-quick-html-screen-scraping
PatchService: general.index
情報処理学会電子図書館
伊勢的新常識 - ZEROProxy
Blogs | ZDNet
FFFFOUND!
LoveMyFlash.com is for sale | HugeDomains