初めてのスクレイピング - しぶてぃーぶろぐ
現在、友人とWebサービスを作る計画があり、そのサイトを作るためにスクレイピングが必要だったのでちょっと勉強してみました。 ※追記 DOMツリー生成は時間がかかるのでネストが深くない場合は正規表現がオススメです スクレイピングとは？ はてなキーワードによると「ウェブサイトのデータを必要な部分だけ抽出して利用すること」だそうです。 あるウェブサイトのデータをとってきたいときにそのサイトのAPIが提供されていればそのAPIを使用すればいいわけですが、提供されていない場合は、スクレイピングをする必要があるわけです。 例えば、WikipediaはAPIが提供されていないので必要なデータをとってきたいときにとってこれません。スクレイピングすればとってくることができます。 ※Wikipediaはidをあまり指定しないサイト構成をとっているのでスクレイピングでデータをとってはこれるのですが、かなり面倒く
WebAPIでPHPを骨までしゃぶる
「じゃあ、WebAPIは使えないのか！！」では、このページは終了してしまいますので、回避策をご紹介。 「Snoopy」というクラスが公開されています。これを使うと、外部XMLファイルの取り込みが可能になるので、ダウンロードしたファイルから「Snoopy.class.php」を取り出して、サーバーにコピーしておきます。 外部XMLファイルが取り込めるサーバーだと「simplexml_load_file」を使って、簡単にXMLファイルがパースできるのですが、「allow_url_fopen」が「disable」になっていると、「simplexml_load_file」が使用できませんので、この箇所を「Snoopy」で置き換える必要があります。 ▲ページ先頭へ ■簡単なWebAPIを使ってみる ライブドアのお天気情報サービスでは、WebAPIを公開しています。このサービスはユーザー登録な
Selenium入門
■Seleniumとは Webアプリケーション用テストツール。 ブラウザの操作をシミュレート(自動化)して、Webアプリケーションの画面周りの再帰試験(リグレッションテスト)を実施することができる。 Selenium2.0以降より、WebDriverというAPI、実装を使った実装に変わった。 WebDriver API を使うようになったので、テストのスクリプトコードも大きく変更された。 ■メリット 「Webブラウザを使って」というのが非常に大きなポイントで、人が手でWebブラウザを操作する代わりにSeleniumがWebブラウザを操作してくれる。 そして単純に操作するだけでなく、例えばエラーメッセージが正しく表示されているかといった検証も行うことができる。 つまり、今まで人手を必要としていたWebブラウザを使った試験が自動化できる。そのため数百項目もあるテストも、クリック1回で
Selectors API の querySelector/querySelectorAll を使ってみよう | TM Life
Selectors API の querySelector/querySelectorAll を使ってみよう. querySelector/querySelectorAll とは, CSS セレクタを指定して要素を取得できるメソッドです. 今後, getElementById や getElementsByClassName に代わる重要なメソッドとなるでしょう. とても便利なのになかなか普及しないんだよなぁ～. 知名度も低くいみたいなのでざっくりまとめてみました. About querySelector/querySelectorAll とは CSS セレクタがマッチする要素をチャチャっと取得する便利な API です. 例) document.querySelector("#hoge"); // id が hoge の要素を取得 document.querySelector("secti
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
