スクレイピングで作る“まとめサイト”
どんなサイトでも、マッシュアップすることができる。APIが公開されていなくてもいい。新たなまとめサイトを構築し、情報付加価値を高めるための手法を解説しよう。 さまざまなコンテンツを組み合わせて、好みに合ったページ（サービス）を作り上げる「マッシュアップ」。これの最たるものは、コンテンツ提供者が公開する「WebAPI」の組み合わせで実現するものだ。 しかし、利用する仕様を整備して、効果的なデータだけをメータデータ配信するWebAPIは、まだそれほど普及していない。つまりマッシュアップというキーワードから流行っている兆しはあっても、対象として使うことができるものは、意外と少ない。思い出してほしい。 このような状況を打開するのが、HTMLコンテンツを抜き出して加工する「スクレイピング（scraping）」という手法だ。 このオンライン・ムックPlus「まとめサイト2.0」では、例として「ITme
PHP Simple HTML DOM Parser: Manual
// Create DOM from URL or file $html = file_get_html('http://www.google.com/'); // Find all images foreach($html->find('img') as $element) echo $element->src . '<br>'; // Find all links foreach($html->find('a') as $element) echo $element->href . '<br>'; // Create DOM from string $html = str_get_html('<div id="hello">Hello</div><div id="world">World</div>'); $html->find('div', 1)->class = 'bar'; $h
誰でもスクレイピング！DOM要素を引っこ抜くSimple HTML Dom
WEBサイトは著作権で守られています。許可無く勝手に人様のサイトから情報だけ抜き出して自分のサイト上に公開することは出来ません。この著作権の問題には十分注意してください。 スクレイピング便利クラス Simple HTML Dom スクレイピングの方法はいくつか存在するのがですが、私はSimple HTML Domを好んで使っています。色々調べた結果、個人的にはこれが一番使い易いと思いました。 サイトからダウンロードし、simplehtmldom_1_5フォルダをスクレイピングを実行したいサーバーにアップして、simple_html_dom.phpを呼び出すだけで準備は完了します。 引っこ抜きの指定が実はCSSそっくり！だからWEBデザイナーにも！ 簡単ですが、データの引っこ抜き方です。『ここを引っこ抜きたい！』という部分を指定します。 下記の赤字部分に注目。引っこ抜きたい(スクレイピングし
DOMで要素を作成・追加・削除する - Programming Field
このページでは、DOMで要素を作成し、それをドキュメントや他の要素に追加・削除する方法を紹介します。 ※ 要素の作成以外は、Elementインターフェイスに限らずすべてのNodeインターフェイスで共通の技術です。ただし親要素によって追加できるノードの種類が異なるため注意が必要です。 [関連キーワード: createElement、appendChild、insertBefore、removeChild、DocumentFragment、createDocumentFragment] 要素の作成・追加 DOMで要素(Element)を作成するには、DocumentインターフェイスのcreateElementメソッドを使用します。 [JavaScript] var newElement = document.createElement("div"); しかし、createElementは単に要
無料サービスを使え！ – 役立つ無料サービスのレビュー、まとめ、比較記事を紹介
コンテンツへスキップ 無料で使える！HubSpotの顧客リストの活用法 無料のアンケート作成ツール 比較／まとめ 無料「Excel」 テンプレート 比較／まとめ 無料で使えるノートアプリ比較 (Evernote / OneNote / Google Keep) おすすめの無料Web会議システム5選 WebP Converter 徹底解説！初心者でも直ぐに使える HubSpot は、マーケティング、セールス、サービスのためのCRM（Continue reading 多くの人の声を聞くことで改善できることも多い 企業や団体など運営していContinue reading 就職・転職には必須となる履歴書・職務経歴書 これから就職活動をスタートContinue reading 便利なノートアプリで効率的な仕事をしよう いつの時代も仕事をしていてメContinue reading 近年、リモートワーク
JSの世界 : 親子・兄弟、相対位置にあるノードを探索する
2009年07月06日22:00 カテゴリJavaScriptDOM入門 親子・兄弟、相対位置にあるノードを探索する 前回childNodesプロパティについて説明しましたが、これはある要素ノードの子ノード（タグ要素に限らない）を参照するプロパティです。DOMには子ノードを参照する以外に、親ノードや兄弟ノードを参照するプロパティが用意されており、それらを使うことで基準となる要素から相対位置にあるノードを参照することができます。 相対位置にあるノードを取得する 親ノードの要素オブジェクトを取得する parentNodeプロパティ…………その要素の直近の親ノードの要素オブジェクトを取得するプロパティ。テキストノードなどは原則的に子ノードを持たないので、親ノードは必ず「要素ノード」かdocumentノードになる。また一つのノードにつき親ノードは一つだけなので配列にはならない。 （例） <div
element.previousSibling - elementの前のエレメントを取得 - JavaScriptリファレンス
「elementの前のエレメントを取得」サンプルコード <html> <head> <title>element.previousSibling - elementの前のエレメントを取得</title> </head> <body> <!--elementの前のエレメントを取得のサンプル--> <div id="sample"><span>1</span><span>2</span><span>3</span><span>4</span><span>5</span></div> <script type="text/javascript"> function findElement() { var element = document.getElementById("sample"); var childs = element.childNodes; var prevNode = chil
dom:loaded [prototype.js]|Ajax入門|Ajaxの基礎と応用の学習|StudyNet
dom:loadedは、prototype.jsの拡張イベントです。通常ページを読み込まれた後にJavaScriptを実行するには、loadイベントを使いますが、サイズの大きい画像ファイルなどが存在すると、loadイベントが発生するまで時間がかかります。この場合、dom:loadedイベントを利用すると、ユーザビリティが向上します。ただし、ブラウザの仕様によって動作のタイミングは違います。
PHPでのCDATAを含むXMLファイルの生成 - 雑記帳
1/8に書いた記事の編集がうまくできないので、ここに移動します。 去年の秋に、PHPからNetVocaloid-flex API を呼び出そうとして躓いたことについて少しずつ書いていこうかと思います。 SimpleXMLElement だけだと、 のようなCDATAを生成できないので、色々と検索した結果、以下のクラスを見つけました。 class SimpleXMLExtended extends SimpleXMLElement { public function addCData($cdata_text) { $node= dom_import_simplexml($this); $no = $node->ownerDocument; $node->appendChild($no->createCDATASection($cdata_text)); } }使用方法は、こんな感じ。 <?p
【PHP】DOMを使ってXMLを操作（導入インストール編）
PHPでXMLを扱いときによく使われるのがDOM。 気をつけないといけないのがPHP4とPHP5では使用するメソッド名がかなり違うので、システム構築する際は環境をちゃんと確認しないといけない。どっちでも動くように作り込むのはかなり大変そう・・・。参考。 PHP4:DOM XML関数 $dom = domxml_open_file($xmlfilename); PHP5:DOM Function $dom = new DOMDocument; $rtn = $dom->load($xmlfilename); ちなみにインストールは簡単でPHP5の場合 # yum install php-xml # service httpd reload で終了。 phpinfoで確認するとDOMの項目が表示されている。 JavascriptでDOMを使ったことがあるなら、PHP5のメソッドは見慣れたものば
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PHP Simple HTML DOM Parserの使用方法 - Webスクレイピング ライブラリ
DOM Samples /Core Node/previousSibling [Javascript] All About
Node.previousSibling プロパティ(当該ノードの直前の兄弟ノード) - JavaScript リファレンス
DOM
http://japan.internet.com/developer/20090915/26.html