[B! scraping] shoismのブックマーク

HOKYPOKY. | YouTubeのidからFLVのパスを取得する

実はこのブログのムービーモードは、背景にYouTubeのビデオが流れています。こういうサイトを作るには、YouTubeにある動画のFLVパス(実際の動画ファイルへのパス)が必要になってきます。昔ニコニコ動画と同じ方法が結構簡単にできたんでメモ。 YouTubeのIDをPHPにGETで渡すとFLVパスを返すこんな感じのクエリを送る。 http://your.domain.com/to/PHP/path/api.php?id=CufzjUfINgA PHPのソースはこう。 mb_internal_encoding('UTF-8'); $pattern = '/var swfArgs = (.*)"t": "(.*)", "hl"/'; $video_id = $_GET["id"]; $path = "http://www.youtube.com/watch?v=".$video_id;

shoism 2008/04/28

リンク

Saqoosha :: YouTube の FLV を抜き出すのが簡単になっている件

タケシが PHP やらでごにょごにょやっているとかゆっていたので、簡単に取得できる方法を書いとく。どうやらすでに内部的にも Google とくっついているようで。これまでだとスクレイピングしないとわからなかった FLV のありかが、クライアントサイドだけでわかるようになっております。 http://www.youtube.com/watch?v=2yDSbFe62E4 こんな YouTube の URL があります。これの FLV のありかは、 http://cache.googlevideo.com/get_video?video_id=2yDSbFe62E4 ↑ココです。カンターン。・・・あともうひとつ。外部 FLV で遊ぶときの tips。ふつう。スクレイピングとかしてひっぱってきた外部 FLV とか、ストリーミングサーバーに置いてあって別のサブドメインとかになっているムービ

shoism 2008/04/28

リンク

Ruby Scraping - FrontPage

RubyによるWeb Scrapingライブラリの情報をまとめるためのWikiです。 HpricotHTMLを「Rubyらしく」扱うライブラリ MechanizeWebサイトへ自動でアクセスするためのライブラリ scRUBYt!DSLを使って簡単にスクレイピングを行うライブラリ feedalizerhtmlからRSSフィードを作るのに役立つライブラリ scrAPIパーサを定義することでHTMLを解析するライブラリウェブサイトから必要なデータを抽出すること。(Scrape = 削り取る) ライブラリによっては、受信したデータの解析だけでなくデータの送信にも対応している。例： RSSを配信していないウェブサイトのHTMLをスクレイピングして野良RSSを作る Googleの検索結果をスクレイピングして自動でGoogle検索するスクリプトを書くブログの投稿ページを解析して、コマンドラインから

shoism 2008/03/31

リンク

てきとうにクリックしたらてきとうにWeb::Scraperのコードを作ってくれるWebScraper IDE - bits and bytes

まえに作ったWeb::Scraperのjavascriptバージョンwebscraper.jsとXPathをてきとうに作ってくれる機能を追加したwebscraperp.jsにHTMLのドキュメントから繰り返し部分をみつけてSITEINFOをつくるAutoPagerize Iteration Detectorみたいなみためをくっつけて、取り出したい部分をクリックしたらてきとうにXPathを生成してWeb::Scraperのコードにして出してくれるFirefoxのextensionを作りました。Firefox3専用です。ごめんなさい。ダウンロード WebScraper IDE (for Firefox3) 使い方今回もいつもお世話になっているスターバックスさんの店舗検索結果(住所・店名・条件から探す)を例に使い方をご紹介します。 WebScraper IDEをインストールするとツールメニュ

shoism 2008/03/31

scraping

リンク

ruby のスクレイピングツールキット scrAPI - 川o・-・）＜2nd life

http://blog.labnotes.org/category/scrapi/ ruby でスクレイピングして web の情報を取得するのには、今まで正規表現か xpath でやってたので、わりと面倒でした。で、ふと scrAPI というスクレイピングツールキットを知ったのですが、これがかなり便利そう。このツールキットを使うと、CSS3 なセレクタを記述することで、要素を取得することができます。たとえばとあるサイトのリンクを全部取得したければ、 require 'rubygems' require 'scrapi' require 'open-uri' require 'nkf' require 'pp' $KCODE = 'u' links = Scraper.define do process "a[href]", "urls[]"=>"@href" result :urls e

shoism 2008/03/31

リンク

PHPでのスクレイピングに役立つライブラリ - (DxD)∞

APIが提供されていないサービスから欲しい情報だけを取得するには、HTMLなどから自前でスクレイピングを行うしかありません。PHPでのスクレイピングに役立つライブラリなどをまとめてみました。 PerlやRubyには色々と便利そうなものが見つかるのですが、PHPにはなかなかこれといったものがないですね。 Webスクレイピングライブラリ HTML Scraping HTMLをXML化してDOMやXPathで操作できるクラス。主にHTTP_Request+HTMLParser(XML_HTMLSax3を含む)/Tidy+Cache_Liteという構成で、スクレイピングに必要なものが一通り揃っている。ライセンスはLGPL他。 WebScraper シンプルな汎用スクレイピングクラス。HTTP_Client+HTMLParser(XML_HTMLSax3を含む)という構成で、XPathで要素を抽出でき