スクレイピングで作る“まとめサイト”
どんなサイトでも、マッシュアップすることができる。APIが公開されていなくてもいい。新たなまとめサイトを構築し、情報付加価値を高めるための手法を解説しよう。 さまざまなコンテンツを組み合わせて、好みに合ったページ（サービス）を作り上げる「マッシュアップ」。これの最たるものは、コンテンツ提供者が公開する「WebAPI」の組み合わせで実現するものだ。 しかし、利用する仕様を整備して、効果的なデータだけをメータデータ配信するWebAPIは、まだそれほど普及していない。つまりマッシュアップというキーワードから流行っている兆しはあっても、対象として使うことができるものは、意外と少ない。思い出してほしい。 このような状況を打開するのが、HTMLコンテンツを抜き出して加工する「スクレイピング（scraping）」という手法だ。 このオンライン・ムックPlus「まとめサイト2.0」では、例として「ITme
PHP Simple HTML DOM Parser: Manual
// Create DOM from URL or file $html = file_get_html('http://www.google.com/'); // Find all images foreach($html->find('img') as $element) echo $element->src . '<br>'; // Find all links foreach($html->find('a') as $element) echo $element->href . '<br>'; // Create DOM from string $html = str_get_html('<div id="hello">Hello</div><div id="world">World</div>'); $html->find('div', 1)->class = 'bar'; $h
誰でもスクレイピング！DOM要素を引っこ抜くSimple HTML Dom
WEBサイトは著作権で守られています。許可無く勝手に人様のサイトから情報だけ抜き出して自分のサイト上に公開することは出来ません。この著作権の問題には十分注意してください。 スクレイピング便利クラス Simple HTML Dom スクレイピングの方法はいくつか存在するのがですが、私はSimple HTML Domを好んで使っています。色々調べた結果、個人的にはこれが一番使い易いと思いました。 サイトからダウンロードし、simplehtmldom_1_5フォルダをスクレイピングを実行したいサーバーにアップして、simple_html_dom.phpを呼び出すだけで準備は完了します。 引っこ抜きの指定が実はCSSそっくり！だからWEBデザイナーにも！ 簡単ですが、データの引っこ抜き方です。『ここを引っこ抜きたい！』という部分を指定します。 下記の赤字部分に注目。引っこ抜きたい(スクレイピングし
PHPでのCDATAを含むXMLファイルの生成 - 雑記帳
1/8に書いた記事の編集がうまくできないので、ここに移動します。 去年の秋に、PHPからNetVocaloid-flex API を呼び出そうとして躓いたことについて少しずつ書いていこうかと思います。 SimpleXMLElement だけだと、 のようなCDATAを生成できないので、色々と検索した結果、以下のクラスを見つけました。 class SimpleXMLExtended extends SimpleXMLElement { public function addCData($cdata_text) { $node= dom_import_simplexml($this); $no = $node->ownerDocument; $node->appendChild($no->createCDATASection($cdata_text)); } }使用方法は、こんな感じ。 <?p
【PHP】DOMを使ってXMLを操作（導入インストール編）
PHPでXMLを扱いときによく使われるのがDOM。 気をつけないといけないのがPHP4とPHP5では使用するメソッド名がかなり違うので、システム構築する際は環境をちゃんと確認しないといけない。どっちでも動くように作り込むのはかなり大変そう・・・。参考。 PHP4:DOM XML関数 $dom = domxml_open_file($xmlfilename); PHP5:DOM Function $dom = new DOMDocument; $rtn = $dom->load($xmlfilename); ちなみにインストールは簡単でPHP5の場合 # yum install php-xml # service httpd reload で終了。 phpinfoで確認するとDOMの項目が表示されている。 JavascriptでDOMを使ったことがあるなら、PHP5のメソッドは見慣れたものば
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PHP Simple HTML DOM Parserの使用方法 - Webスクレイピング ライブラリ
http://japan.internet.com/developer/20090915/26.html
