YouTube検索結果をスクレイピングして勝手API化
YouTube APIのlist_by_tagは検索結果が少ない † YouTubeのDeveloper APIsのyoutube.videos.list_by_tagを使うと、指定したキーワードでの検索結果をXMLで受け取ることができます。 ただ、このAPIを使って得られる検索結果は、YouTube.com上で全文検索した場合よりも検索結果の数が少ないです。 YouTube.comで「aaaa」で検索した結果 => 全 1359 件(2006/11/26現在) http://www.youtube.com/results?search_query=aaaa&search=Search videos.list_by_tagを使って「aaaa」で検索した結果 => 全 900件未満(2006/11/26現在) http://www.youtube.com/api2_rest?...tag=a
進化する“Webスクレイピング”技術の世界 ― ＠IT
2007/02/20 WebサービスのAPIやRSSフィードを使って複数サイトのサービスや情報をマッシュアップ――。これはWeb2.0が包含するいくつかの概念のうち、最も重要なものの1つだ。Amazon.comやGoogle、Yahoo!、楽天といった大手Webサイトは、RESTやSOAPを用いたAPIを公開しており、さまざまなサービス提供者や個人がAPIを通して各種サービスを利用している。その一方、世の中のWebサイトの大多数はWeb1.0的なHTMLやCGIフォームしか提供していないのが現実だ。こうした背景からWeb1.0サイトから構造化されたデータを引っ張り出す“Webスクレイピング”技術が急速に発展してきているようだ。 HTMLをXML化し、XPathで関連データだけを抽出 例えば価格情報サイトでは製品名から価格が簡単に調べられるが、Webサーバから提供されるのは、製品名や価格にレ
Webを進化させるスクレイピングのセオリー
WebAPIだけに頼る必要はない。HTML構造を解析し、さらに情報集約や付加情報を加えたまとめサイトを作る。この特集は、Webをさらに使いやすくするためのガイドだ。 第1回目では、マッシュアップできないならば、スクレイピングすればよいと説明した。それでは、具体的に、どのようにスクレイピングすればよいのか。今回は、スクレイピングの考え方と技法を説明していこう。 CSSの普及で、容易になったスクレイピング 実際に、ほかのサイトにあるHTMLをスクレイピングする場合、次の処理の流れとなる。 1）サーバからHTMLデータを取得する これは単純に、HTTP通信してHTMLデータを取得する操作である。例えばPerlであれば、LWP（libwww-perl）を利用すればよいだろう。もっと簡単に、UNIXに付属のwgetコマンドやfetchコマンドを使ってもよいはずだ。 2）HTMLから取り出したいデータ
京都市バスの路線別 停留所取得API公開 - てっく煮ブログ
pipes今回も Pipes ネタ。例によって Fetch Page モジュール。今まで「Page Fetch」だと勘違いしてたが、どうやら「Fetch Page」だったらしい。あちゃー。で、本題。京都市バスの路線別 停留所 API を Yahoo! Pipes で作ってみた。サンプル作ってみたこの Pipes を使ったサンプルを作ってみた。→ 京都バス案内 (デモ)左の系統一覧を選択したら、右側に詳細が出る。停留所をクリックしたら時刻表が表示される。JavaScript＋jQuery＋JSONP で実装してるよ。そのまんまだけど、API 使ってる気分になってきた。すごくない？絶対に API を公開しそうにない京都市交通局の HTML を使って、外部の人間が勝手に API 化しちゃってるわけですよ。Web 1.0 なページを、無理やり Web 2.0 化ですよ。なんでもかんでもマッシュアッ
Yahoo! Pipes の Page Fetch モジュールでスクレイピングし放題 - てっく煮ブログ
pipesこのブログでも何度か Yahoo! Pipes の話題は取り上げてきましたが、先日実装された「Page Fetch」モジュールは素敵すぎます。ほんとに。今まで、Yahoo! Pipes といえば、XML・CSV か Yahoo が提供してるサービスのデータを加工することしかできませんでした。それが、「Page Fetch」モジュールの登場により、任意の Web ページを加工できるようになったのです。Yahoo! Pipes の使い道といえば、次の２つだと思います。1. RSSリーダーで読むための XML 作り複数の RSS を結合したり、見た目を整えたりして、自分専用の RSS を作る。 （例）サイトの最新被ブックマークを livedoor Reader で読むための Pipes2. Web サービスとの連携JSONP に対応してるので、JavaScript と組み合わせてサーバ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
