進化する“Webスクレイピング”技術の世界 ― ＠IT
2007/02/20 WebサービスのAPIやRSSフィードを使って複数サイトのサービスや情報をマッシュアップ――。これはWeb2.0が包含するいくつかの概念のうち、最も重要なものの1つだ。Amazon.comやGoogle、Yahoo!、楽天といった大手Webサイトは、RESTやSOAPを用いたAPIを公開しており、さまざまなサービス提供者や個人がAPIを通して各種サービスを利用している。その一方、世の中のWebサイトの大多数はWeb1.0的なHTMLやCGIフォームしか提供していないのが現実だ。こうした背景からWeb1.0サイトから構造化されたデータを引っ張り出す“Webスクレイピング”技術が急速に発展してきているようだ。 HTMLをXML化し、XPathで関連データだけを抽出 例えば価格情報サイトでは製品名から価格が簡単に調べられるが、Webサーバから提供されるのは、製品名や価格にレ
簡単マッシュアップ、「Yahoo! Pipes」を試してみた ― ＠IT
2007/02/15 RSSフィードをソースに複数のモジュールを組み合わせて自分独自のデータを出力させる米ヤフーのマッシュアップツール「Yahoo! Pipes」が注目を集めている。ビジュアルにモジュールを組み合わせてネットワービスを開発できる「Pipes Editor」が用意されていて、手軽に始められるのが受けている。米ヤフーのIDだけで利用できるYahoo! Pipesを試してみた。 5つのソースからデータ入力 Pipes Editorではすべての機能がモジュールで提供される。このモジュールをパイプでつなぐことで機能が実現する。開発者が最初に気にする必要があるのはデータのソースだ。データのソースとして用意しているのは次の5つだ。 Yahoo! Search 米ヤフーの検索結果をソースにできる Yahoo! Local 米ヤフーの地域情報をソースにできる Fetch ユーザーが指定するR
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
