ちょっとした実験をしてみました。芸能人の相関関係を機械的に探索してみます。具体的には「○○というタレントと関係が深い芸能人は?」といった、芸能人にフォーカスした類似検索みたいな実験です。技術的には「潜在的意味インデキシング」(Latent Semantic ... 続きを読む
The YQL platform provides a single endpoint service that enables developers to query, filter and combine data across Yahoo! and beyond.What is YQL? Yahoo! makes a lot of structured data available to developers, primarily through its web servi... 続きを読む
Friday, December 12th, 2008 YQL - converting the web to JSON with mock SQL Category: JSON, JavaScript I like getting data from the web and I love JSON - as it is easy to use. The issue is that not many things on the web come as JSON from the ... 続きを読む
RubyMan, Ruby, Mechanize対応バージョン:Mechanize 0.7.7 (2008-07-25) まにゅあるめにゅー本家マニュアル(英語)http://mechanize.rubyforge.org/mechanize/クリックで各ページに飛びますWebブラウザとしての挙動一般WWW::MechanizeWebブラウザ本体の作成と... 続きを読む
ただいま6月7日以降に新しく作成したグラフが更新されない不具合を確認しています。原因調査中ですが、マッシュアップ先のはてなグラフの影響の可能性もあり解決までしばらく掛かるかもしれません。ご不便をお掛けしまして申し訳ございません。作成済みのグラフ... 続きを読む
NAME pQuery - Perl Port of jQuery.js SYNOPSIS use pQuery; pQuery("http://google.com/search?q=pquery") ->find("h2") ->each(sub { my $i = shift; print $i + 1, ") ", pQuery($_)->text, "\n"; }); DESCRIPTION pQuery is a pragmatic attempt to port t... 続きを読む
This week we have two updates to our site: A new module to fetch a pages source and a small fix for easy web paths when running a Pipe. This weeks release incorporates a new module named “Fetch Page”. The new module will fetch the source of... 続きを読む
htmlSQL a PHP class to query the web by an SQL like language htmlSQL is a experimental PHP class which allows you to access HTML values by an SQL like syntax. This means that you don't have to write complex functions (regular expressions) to ... 続きを読む
Webページの自動カテゴライズ の続き。 前回書いたとおり、パストラックで行っている Web ページのカテゴライズでは、Web ページの本文抽出がひとつの鍵になっています。今回はその本文抽出モジュールを公開しつつ、使っている技法をざっくり解説などしてみます... 続きを読む
こんにちは、編集マンの久次です。 なんだかPerlのWeb::Scraperが便利すぎで、やばいです。 これまでWWW::Mechanizeでごにょごにょやっていたのですが、一気にいろんなものが解決しました。 それで、いろいろ書いていたら、HTML::TreeBuilderのlook_downという... 続きを読む
Post to Twitter Post: Web::Scraper From: miyagawa, 2 years ago Web::ScraperView SlideShare presentation or Upload your own. (tags: yapc yapceu07) SlideShare Link close Web::Scraper 12730 views | 4 comments | 16 favorites | 403 downloads... 続きを読む