てきとうにクリックしたらてきとうにWeb::Scraperのコードを作ってくれるWebScraper IDE - bits and bytes
まえに作ったWeb::Scraperのjavascriptバージョンwebscraper.jsとXPathをてきとうに作ってくれる機能を追加したwebscraperp.jsにHTMLのドキュメントから繰り返し部分をみつけてSITEINFOをつくるAutoPagerize Iteration Detectorみたいなみためをくっつけて、取り出したい部分をクリックしたらてきとうにXPathを生成してWeb::Scraperのコードにして出してくれるFirefoxのextensionを作りました。Firefox3専用です。ごめんなさい。 ダウンロード WebScraper IDE (for Firefox3) 使い方 今回もいつもお世話になっているスターバックスさんの店舗検索結果(住所・店名・条件から探す)を例に使い方をご紹介します。 WebScraper IDEをインストールするとツールメニュ
Google AdSenseで「興味 / 関心に基づく広告」が利用可能に - ネタフル
Inside Adsense – 日本語: AdWords で「興味 / 関心に基づく広告」が利用可能になりますということで、Google AdWords/AdSenseで「興味 / 関心に基づく広告」が利用可能になるとアナウンスされました。 これはGoogleを利用しているユーザの興味/関心にマッチした広告を表示することができるようになる機能で、次のようなものです。 Google ユーザーがスポーツに関連するページを数回に渡り参照している場合、Google はこのユーザーを「スポーツ」に興味があるとみなし、そのユーザーに合った広告を配信する可能性があります。 コンテンツマッチでは、見ているページのコンテンツにマッチした広告が表示されたのですが、さらに進めてページ閲覧の履歴から興味/関心を推測して広告を出すのが「興味 / 関心に基づく広告」ということになります。 この広告配信の機能は、北米
Googleストビュー上に絵を描いてナビできる「Navitte!」 | 教えて君.net
地図やルートマップなどのネットサービスは多いが、地図を読むのが苦手だったり地図上で見ても分かりづらい場所に行く場合は地図サービスを使ってもイマイチ分かりにくいことがある。道案内をするなら「Navitte!」を使うのがオススメだ。 出発地点から目的地までの道順をGoogleストリートビューを使って案内できる。作成したルートマップのURLを相手に教えれば見てもらうことができる。実際の風景を見て道を確認してもらおう。自由に目印や説明を付ける機能があるため、迷いやすいところや交差点で説明を入れて詳細な道案内を行うことだって可能だ。自分の家に友達を招待するときや飲み会の場所案内などに便利なサービスだ。 ■ 分かりにくい道順を詳しく案内できる 画面左上の検索欄に出発点の地名を入力して検索するか、表示されているマップを使って出発点を決める。「現在地からルートを作成」をクリック Googleストリートビュ
[PHP] スクレイピング 基本|WEBプログラム覚書
Tidyは、「Tidy HTML clean and repair utility」用のバインディングで、 HTML文書の誤りを直すだけでなく、操作することやドキュメントツリーを操作することも可能となります。 とありますが、目的のノードを取得するのはhtml、bodyから辿っていかないとダメっぽい?ので面倒です。なのでtidyではぶっ壊れてるかもしれないhtml/xmlを修正して、パースは別のライブラリ使ったほうが便利です。 お手軽なのはSimpleXMLでしょうか。xpathも利用できるし。ただxpathは重い処理になるとのことですが。。。 またamp;が存在するとどういうわけかSimpleXMLが解釈できないため、 tidyのオプションでquote-nbspをfalseに指定するも下記掲示板の記述にあるように動かず。一体どういうことなんだ?? まぁ仕方ないのでereg_replaceで
Webスクレイピングを可能にするPHPライブラリ・htmlSQL
htmlSQLはWebスクレイピング（部分的にHTML抽出）を可能にするPHPライブラリです。ソースが公開されていたのでご紹介します。 ※先日、お知らせさせて頂きましたように、この記事は僕が管理していた別のブログの過去記事を移行したもので正確性に欠ける可能性があります。何卒ご了承願います。 HTML内を部分的に取り出し、表示する事で、それを容易にするスクリプトがhtmlSQLというPHPライブラリです。DOM解析をSQL風に指示するらしい。 デモがありますのでご体感下さい。→htmlSQL – live example 以下のコードを使うようです。 <?php /* ** htmlSQL - Example 1 ** ** Shows a simple query */ include_once("../snoopy.class.php"); include_once("../htmlsq
[php]スクレイピングならHTMLScraping→SimpleXML→xpath | うえちょこ＠ぼろぐ
野暮用でphpのスクレイピングについていろいろと調べて、いくつかライブラリを見つけました。 HTMLScraping WebScraper Snoopy rhaco Tidy関数 この中で、個人的に気に行ったのはHTMLScrapingです。このライブラリの手順は以下の通りです。 HTTP_RequestでHTML文書を取得します。 サーバにTidy拡張が導入済みならTidy関数でHTMLをXMLに変換(修正)します。導入されていなければHTMLParserという同じ作者が作ったHTMLをXMLに整形するライブラリを用いてXML化します。 XML化した文書をSimpleXMLとして出力します。 お好みでCache_Liteに保存できます。 HTMLScrapingライブラリを使えば、サーバにTidyが入っているかどうかにかかわらず、HTML文書をSimpleXMLオブジェクトに変換すること
![[php]スクレイピングならHTMLScraping→SimpleXML→xpath | うえちょこ＠ぼろぐ](https://cdn-ak-scissors.b.st-hatena.com/image/square/8d71ff5111e05619a10d29bb40d7aebaa75c8fbc/height=288;version=1;width=512/https%3A%2F%2Fs0.wp.com%2Fi%2Fblank.jpg)
Snoopy / htmlSQL / スクレイピング - BITMAP
PHP前回と別件でまた使うことになったので今回は少し具体的に。今回はリニューアルの際に以前HTMLで作られたFAQのデータをXMLに置き換えようと思います。 HTMLの該当部分のデータは大まかにこんな感じ。お行儀よく書かれてて良かった。 div class="faq"> div class="question">Q. 質問1div> div class="answer">A. 回答1div> div class="question">Q. 質問2div> div class="answer">A. 回答2div> div class="question">Q. 質問3div> div class="answer">A. 回答3div> ... div> なので、htmlSQLで下記のようにして取得。 include 'Snoopy.class.php'; include 'htmlsql.
zendframework+スクレイピング+YahooAPIとかでGoogleとYahoo!の検索順位を調べる - Javaとrubyと男と女
zendframework+スクレイピング+YahooAPIとかでGoogleとYahoo!の検索順位を調べる キーワードとURLを元に、GoogleとYahoo!検索の結果順位を表示するツールを作ってみた。 はじめはrubyでやろうと思ったけど、事前調査の段階でPHPの方がありものの組み合わせでチャッチャとできそうだったのでPHPでやることにした。 PHP5+zendframework+Yahoo!APIという感じ。 google検索は、スクレイピングで対応した。 スクレイピングには、手元にあった「SPIDERING HACKS」に付属していたソースを流用した。 で、作ったのがこれ。PHPのお作法とかあんまよくわからないし、改善の余地もいろいろあると思うので、ご指摘いただけるとうれしいです。 /controller/SearchController.php <?php require_
PHPでさくっとスクレイピングしたい。SimpleScrape - gounx2の日記
これは、 SimpleXmlとSimpleTag比較：twitterのhomeをスクレイピングしてみた。 - gounx2の日記 SimpleTag と SimpleXML->xpath の比較 (rev3115) - gounx2の日記 でやったことのまとめ的なものです。 では、本題です。 これは何か？ コンテンツを http get で取ってきて、tag&id、tag&class で絞込み。 という、スクレイピングをPHPで簡単に書ける SimpleScrape を作ってみました。 rhacoのSimpleTagを使っているので、php4でも使えます。 SimpleScrape 等価なxpath式 selectTagId('div') //div selectTagId('div', 'content') //div[@id="content"] selectTagClass('div
「phpによるスクレイピング処理入門」を書いてみた: 駄文と書評
こんにちは、バーブ佐竹です（嘘です）。 りょーちのこのサイトではphpによるプログラムを幾つか紹介したりしているのですが、一発モノが多く、体型立てて説明することがあまりないので、ちょいと説明用のサイトを作ってみた。 で、第1回目はいきなりハードル高いですが「スクレイピング処理」について書いてみることにした。 このサイトでも「スクレイピング」という言葉はたまに利用しているのだが、もう一度整理してみると、APIが提供されていないWebサービスもバックグラウンドにデータベースなどがあるはず。で、そのWebサービスはデータベースから読み込んで機械的にデータを「あるパターン」に流し込んでサイトを作成しているであろう。 なので、目に見える部分（表示されているHTMLファイル）を解析し、必要なデータのみを取得して、自前のサーバ側で再度加工して、提供するようなことができると思われる。このことを「スクレイピ
スクレイピングwithPHPの本がでるよ。ヨ！ - 例えば、PHPを使う
もちろん英語だけどな。。 PHP/Curlの本は2年前に出てるんだけれど*1、 Zend PHPカンファレンスでもスクレイピングの講演を行った elazar*2のミニ本がPHP|Architectで今年の3/4あたりで出るらしい。 んで、その内容はgithubに挙げられてる！ http://github.com/elazar/web-scraping-with-php/tree/master 要チェックや！(こんな瑣末ウェブロ読んでる酔狂な人が) *1:http://www.amazon.com/Webbots-Spiders-Screen-Scrapers-Developing/dp/1593271204/ *2:http://ishouldbecoding.com/
Web::Scraperを使って、PHPの関数一覧をスクレイプする。 - IMAKADO::BLOG
php-completion.elを作っていて、PHPの関数一覧が必要になったので、php.netからスクレイプするスクリプトを Web::Scraper を使って書いた。 xpathに疎い自分ですが、cssのセレクターで指定できたので無問題でした。素晴らしすぎる。 use strict; use warnings; use List::MoreUtils qw(uniq); use Web::Scraper; use URI; my $functions = scraper { process "div#content div.index a.function", 'functions[]' => sub { my $text = $_->as_text or return; return $text; }; result 'functions'; }->scrape(URI->new(
Easy web scraping with PHP - Coding with Jesse
Web scraping is a technique of web development where you load a web page and "scrape" the data off the page to be used elsewhere. It's not pretty, but sometimes scraping is the only way to access data or content from a web site that doesn't provide RSS or an open API. I'm not going to discuss the legal aspects of scraping, as it may be considered copyright infringement in some situations. However,
HugeDomains.com
Captcha security check oooff.com is for sale Please prove you're not a robot View Price Processing
Elementary, ... Googleで「はらへった」と検索するとピザが届くようにするまで
日曜は、Plagger を初めてちゃんとさわってみました。 Plagger の概略は、miyagawaさん自身による このYAPC::NAのPDF がわかりやすいです。要するに、 『ネットからフィードを集める → （ごにょごにょする） → 出力する』をするものです。 この「集める」や「ごにょごにょ」や「出力」の部分に、ブロックを重ねるようにしてモジュールを重ね、自分の好きな起承転結にできるという点が実に Perl ぽい着想です。風がふけば桶屋がもうかるフレームワークと呼んでいます。 Subscription::Bloglines / Publish::Gmail まあ、まずは普通に使ってみようということで、「Bloglines から集める」→ （エントリごとに分割、RSS 広告除去、本文の内容をできるだけ収集→ Bloglines、Delicious へのリンク付与、はてブ登録数付与） →
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PHPでのスクレイピングに役立つライブラリ色々:phpspot開発日誌
スクレイピング | プログラムの種 ブログ
zendframework スクレイピング - Google 検索
php スクレイピング - Google 検索
php web scraping - Google 検索