PHP+tidy+XMLでスクレイピング : Nacky - Snowland.net
Info Nacky - Snowland.net - blogを移転しました A k i - B u g 2011-09-18(Sun) 22:00-05:00 @ Bagus(秋葉原) Waaaaan!! 2011-09-22(Thu) @ Module(渋谷) blip festival TOKYO 2011 2011-10-22(Sat)+23(Sun) @ KOENJI HIGH(高円寺) Google CalendarにEvent Schedule (Issei Ishii/Nacky) を公開中＞feed IRC(wide系) #snowland DJブッキングはいつでも受付中！ nacky(ａｔ)snowland.net までメールください． nacky - MyMiniCity 他のサイトの情報がほしーい マッシュアップしたーい みたいな感じで他サイトのデータが欲しいとき
Googleカスタム検索をAPIで取得ようとしたが残念だった件 - アークウェブシステム開発SandBox
要望 † 要望としては、 あるディレクトリ配下に対して、ユーザーが入力したキーワードに対する全文検索結果を表示したい かつ、各ページにタグを付けておき、タグで絞り込むようにしたい 検索対象のページ数は200件程度 というものでした。 まず、NAMAZU を提案したのですが諸事情で却下としました。 利用できるのはPHPのみ、という状況です。 そこで、外部のAPIにアクセスして検索結果を取得する方法を提案し、これが採用されました。 それが『Googleカスタム検索＋Google Web Search API』による検索です。 ↑ Googleカスタム検索＋Google Web Search API の提案の内容 † Googleカスタム検索は、コンテキストのXMLと、アノテーションのXMLを利用して 任意のURL（Googleカスタム検索では サイト と呼びます）に対して、タグ（Googleカ
スクレイピングで作る“まとめサイト”
どんなサイトでも、マッシュアップすることができる。APIが公開されていなくてもいい。新たなまとめサイトを構築し、情報付加価値を高めるための手法を解説しよう。 さまざまなコンテンツを組み合わせて、好みに合ったページ（サービス）を作り上げる「マッシュアップ」。これの最たるものは、コンテンツ提供者が公開する「WebAPI」の組み合わせで実現するものだ。 しかし、利用する仕様を整備して、効果的なデータだけをメータデータ配信するWebAPIは、まだそれほど普及していない。つまりマッシュアップというキーワードから流行っている兆しはあっても、対象として使うことができるものは、意外と少ない。思い出してほしい。 このような状況を打開するのが、HTMLコンテンツを抜き出して加工する「スクレイピング（scraping）」という手法だ。 このオンライン・ムックPlus「まとめサイト2.0」では、例として「ITme
PHP Simple HTML DOM Parser: Manual
// Create DOM from URL or file $html = file_get_html('http://www.google.com/'); // Find all images foreach($html->find('img') as $element) echo $element->src . '<br>'; // Find all links foreach($html->find('a') as $element) echo $element->href . '<br>'; // Create DOM from string $html = str_get_html('<div id="hello">Hello</div><div id="world">World</div>'); $html->find('div', 1)->class = 'bar'; $h
誰でもスクレイピング！DOM要素を引っこ抜くSimple HTML Dom
WEBサイトは著作権で守られています。許可無く勝手に人様のサイトから情報だけ抜き出して自分のサイト上に公開することは出来ません。この著作権の問題には十分注意してください。 スクレイピング便利クラス Simple HTML Dom スクレイピングの方法はいくつか存在するのがですが、私はSimple HTML Domを好んで使っています。色々調べた結果、個人的にはこれが一番使い易いと思いました。 サイトからダウンロードし、simplehtmldom_1_5フォルダをスクレイピングを実行したいサーバーにアップして、simple_html_dom.phpを呼び出すだけで準備は完了します。 引っこ抜きの指定が実はCSSそっくり！だからWEBデザイナーにも！ 簡単ですが、データの引っこ抜き方です。『ここを引っこ抜きたい！』という部分を指定します。 下記の赤字部分に注目。引っこ抜きたい(スクレイピングし
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.crystal-creation.com/web-appli/technical-information/web-api/google/search/web/custom-search/
http://www.crystal-creation.com/web-appli/technical-information/web-api/google/search/
PHP Simple HTML DOM Parserの使用方法 - Webスクレイピング ライブラリ