PHPでWEBページのタイトルを抜き出すサンプル | Creazy!
いきなりPHPなネタですが。 マッシュアップ系のサービスを作っていると、指定されたURLのページタイトルを取得したい時が頻繁にあります。そんな時、いわゆるスクレイピングしてタイトルを抜き出すんですが、近頃たくさんでまわっているスクレイピングツールやら、ライブラリやら使わなくてもページタイトルくらいは抜き出せるんで、簡単なサンプルを書いてみる。 <?php /** * ページタイトルを取得する関数 */ function getPageTitle( $url ) { $html = file_get_contents($url); //(1) $html = mb_convert_encoding($html, mb_internal_encoding(), "auto" ); //(2) if ( preg_match( "/<title>(.*?)<\/title>/i", $html,
phpによるスクレイピング処理入門:4. Webサイトの情報取得方法
4.1. proxy.php を利用したWebサイトの情報取得方法 前章までで環境の整備ができたので、ここからは実際のプログラミングについて勉強してみましょう。 ドキュメントルートフォルダの直下に「test01」フォルダを作成しましょう。更に「proxy.php」については、いつも利用するので、これはドキュメントフォルダの直下に新たに 「init」というフォルダを作成しましょう。そして、「init」フォルダに先ほどダウンロードした「proxy.php」ファイルをおきましょう。こうすることで、何時でも同じ場所からこのproxy.phpファイルを読み込むことができるでしょう。 ちなみに、phpで外部ファイルを読み込む際は下記のようにします。 これで、proxy.phpの中の関数を読み込んだファイルの中で利用できます。 4.1. proxy.php を利用したWebサイトの情報取得方法 では今か
サービス終了のお知らせ
平素より「PHPプロ！」をご愛顧いただき、誠にありがとうございます。 2006年より運営してまいりました「PHPプロ！」ですが、サービスの利用状況を鑑みまして、2018年9月25日（火曜日）をもちましてサービスを終了させていただくことになりました。 サービス終了に伴いまして、2018年8月28日（火曜日）を持ちまして、新規会員登録ならびにQ&A掲示板への新たな質問、回答の投稿を停止させていただきます。 なお、ご登録いただいた皆様の個人情報につきましては、サービス終了後、弊社が責任をもって消去いたします。 これまで多くの皆様にご利用をいただきまして、誠にありがとうございました。 サービス終了に伴い、皆様にはご不便をおかけいたしますこと、心よりお詫び申し上げます。 本件に関するお問い合わせはこちらよりお願いいたします。
PHP用、外部接続にcURLかfsockopenが選べるHTTPクラス:phpspot開発日誌
HTTP Class for PHP (supports both cURL and fsockopen) | Md Emran Hasan aka phpfour This is a wrapper HTTP class that uses either cURL or fsockopen to harvest resources from the web. PHP用、外部接続にcURLかfsockopenが選べるHTTPクラス。 次のようにPEARレスでシンプルに使えます。 <?php include_once('class.http.php'); $http = new Http(); $http->useCurl(false); $http->setMethod('POST'); $http->addParam('user_name', 'emran'); $http->addPa
PHPでのスクレイピングに役立つライブラリ - (DxD)∞
APIが提供されていないサービスから欲しい情報だけを取得するには、HTMLなどから自前でスクレイピングを行うしかありません。PHPでのスクレイピングに役立つライブラリなどをまとめてみました。 PerlやRubyには色々と便利そうなものが見つかるのですが、PHPにはなかなかこれといったものがないですね。 Webスクレイピングライブラリ HTMLScraping HTMLをXML化してDOMやXPathで操作できるクラス。主にHTTP_Request+HTMLParser(XML_HTMLSax3を含む)/Tidy+Cache_Liteという構成で、スクレイピングに必要なものが一通り揃っている。ライセンスはLGPL他。 WebScraper シンプルな汎用スクレイピングクラス。HTTP_Client+HTMLParser(XML_HTMLSax3を含む)という構成で、XPathで要素を抽出でき
第44回 例示システムの逆襲 | WIRED VISION
第44回 例示システムの逆襲 2010年6月17日 ITハッキングデザイン コメント： トラックバック (0) フィードITハッキングデザイン （これまでの増井俊之の「界面潮流」はこちら） ブラウザ上でのプログラミング Web上のサービスが増えてきた結果、多くの仕事をブラウザ上で実行できるようになってきました。Webブラウザ上での作業が増えてくると、様々なサイトを利用してルーチンワークを行なう機会が増え、ブラウザで上の作業を自動化したくなることが多くなると思われます。 JavaScriptを利用するとブラウザ上の作業の自動化を行なうことができます。例えばYahoo! Japanのページで以下のようなJavaScriptプログラムをブラウザのURLフィールドに入力すると、wiredvisionという文字列を検索文字列としてセットすることができます。 javascript:(functio
javascriptでスクレイピング（htmlファイルの指定個所の読み取り）ってどうやるんでしょう？…
javascriptでスクレイピング（htmlファイルの指定個所の読み取り）ってどうやるんでしょう？ 記事で見かけたので出来るようですが、具体的な手法が分かりません。 ご存知の方、ヒント程度でも良いので何かしら情報を下さい。
株価を無料で取得したり、検索結果を得るスクリーン・スクレイピング技術(AJAX版）と問題点 - ウィリアムのいたずらの、まちあるき、たべあるき
ウィリアムのいたずらが、街歩き、食べ物、音楽等の個人的見解を主に書くブログです（たま～にコンピューター関係も） 今日Ｗｅｂ２．０をしらべていたときに、ここに「スクリーン・スクレイピング」っていう言葉が出てきて、なんじゃらほい？と思って調べたら、 あ、あれのことか。。 Yahoo!ファイナンス＞ ヘルプ＞ 口座管理サービス（MoneyLook）関連FAQ ＞データ取得の方法から、引用すると（以下斜体が、そこからの引用） スクリーン・スクレイピング技術とは、ウェッブサイトの表示構成を解析し、必要な文字や数字だけを抽出する技術で、その抽出ルールをまとめたものをスクレイピング・モジュールと呼びます。 具体的に例をあげたほうがわかりやすいので、 無料で見れる、ＹＡＨＯＯの株価情報から、エイベックスの株価を抜く方法をしめそう。 YAHOOの株価情報で、検索時7860（エイベックスの銘柄コード）をいれる
ゆーすけべー日記: YourAVHost その後
サキとは彼女の自宅近く、湘南台駅前のスーパーマーケットで待ち合わせをした。彼女は自転車で後から追いつくと言い、僕は大きなコインパーキングへ車を停めた。煙草を一本吸ってからスーパーマーケットへ向かうと、ひっきりなしに主婦的な女性かおばあちゃんが入り口を出たり入ったりしていた。時刻は午後5時になる。時計から目を上げると、待たせちゃったわねと大して悪びれてない様子でサキが手ぶらでやってきた。 お礼に料理を作るとはいえ、サキの家には食材が十分足りていないらしく、こうしてスーパーマーケットに寄ることになった。サキは野菜コーナーから精肉コーナーまで、まるで優秀なカーナビに導かれるように無駄なく点検していった。欲しい食材があると、2秒間程度それらを凝視し、一度手に取ったじゃがいもやら豚肉やらを迷うことなく僕が持っているカゴに放り込んだ。最後にアルコール飲料が冷やされている棚の前へ行くと、私が飲むからとチ
Web 3.0：ウェブサイトがウェブサービスになるとき:コラム - CNET Japan
現在のウェブには、人間のためには何テラバイトもの情報があるが、コンピュータはこれを利用できない。HTMLのページの内側には、難しい形でフォーマットされていて機械には処理するのが難しい形で情報が詰まっている。いわゆるWeb 3.0は、本物のセマンティックウェブの前ぶれとなる可能性が高い。ここでは「Web 3.0」という言葉を、主要なウェブサイトがWebサービスへと変わっていき、世界に対して情報を効果的に示すようになるという意味で使っている。 この変化は、次の2つのうちのどちらかの形で起こるだろう。一部のウェブサイトは、Amazonやdel.icio.us、Flickrなどの例に従い、REST API経由で情報を提供していくようになるだろう。他のサイトは、情報は独自の形式を維持するが、DapperやTeqlo、Yahoo! Pipesのようなサービスを使って作られたマッシュアップを通じて外へ出
進化する“Webスクレイピング”技術の世界 ― ＠IT
2007/02/20 WebサービスのAPIやRSSフィードを使って複数サイトのサービスや情報をマッシュアップ――。これはWeb2.0が包含するいくつかの概念のうち、最も重要なものの1つだ。Amazon.comやGoogle、Yahoo!、楽天といった大手Webサイトは、RESTやSOAPを用いたAPIを公開しており、さまざまなサービス提供者や個人がAPIを通して各種サービスを利用している。その一方、世の中のWebサイトの大多数はWeb1.0的なHTMLやCGIフォームしか提供していないのが現実だ。こうした背景からWeb1.0サイトから構造化されたデータを引っ張り出す“Webスクレイピング”技術が急速に発展してきているようだ。 HTMLをXML化し、XPathで関連データだけを抽出 例えば価格情報サイトでは製品名から価格が簡単に調べられるが、Webサーバから提供されるのは、製品名や価格にレ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
