Nightmare.jsでQiitaのコントリビューション数をスクレイピング - Qiita
岩手県立大学アドベントカレンダー3日目です。 @otukutun が書いてくれてないのでサクッと。 Nightmareがv2(Electronベース)になり、使いやすく感動したのでLIGブログのPV/UUデータ取得を自動化してみた。に書いたんですけど、Nightmareでスクレイピングするのが楽しくなっています。 Qiitaのアカウントのコントリビューション数を取りたい。 QiitaのAPIにユーザーのcontributionを取るAPIってなさそう...? https://qiita.com/api/v2/docs#ユーザ そんな気がしたのでスクレイピングしてみました。 Nightmareでスクレイピングしてみよう。 ES6(2015)ですがNode.jsではimport文がまだ実装されてないみたいなのでrequire部分だけ気持ち悪いかもです。 こんな感じでDevToolで確認すると.
NightmareでIKEAの在庫をチェックする - Qiita
目的 IKEAの欲しい商品が、いつも在庫がなく、 関東の複数店舗の在庫をWEBでちまちまとチェックしていたので、 nightmareを使ってスクレイピングしてみました。 スクレイピングのコード IKEAのページは商品毎にURLが分かれているので、商品番号はURLの最後の番号のようです。 店舗に関しては、プルダウンメニューの値が店舗番号のようです。 const Nightmare = require('nightmare'); const productURL ='http://www.ikea.com/jp/ja/catalog/products/'; const productnumber ='30339293'; //商品番号 const storenumbers = [447,448,887,359]; //Tokyo-bay,港北,新三郷,立川 Nightmare.action('
JavaScriptレンダリングサーバーSplashでスクレイピング - orangain flavor
これはクローラー／Webスクレイピング Advent Calendar 2015の9日目の記事です。 本記事では、Scrapinghub社*1が開発しているSplashというオープンソースソフトウェアを紹介します。 github.com JavaScriptを使ったページからスクレイピングする方法としては、PhantomJSとSelenium/CasperJSなどの組み合わせが一般的ですが、これらとは少し違う手段として使えるかもしれないソフトウェアです。 私自身Splashを最近知ったばかりで、軽く探した限りでは日本語の情報もないので、調査しつつSplashの使いドコロを探ってみたいと思います。 Splashとは READMEには以下のように書かれています。 Splash is a javascript rendering service with an HTTP API. It's a
PythonでJavaScriptを使ったWebサイトをスクレイピングする - Qiita
概要 JavaScriptでDOMを作ってるサイトをPythonを使ってスクレイピングしたので、手順をメモ。 大雑把には、ScrapyとSeleniumを組み合わせてやった。 Scrapy Scrapyは、クローラーを実装するためのフレームワーク。 クローラーをSpiderのサブクラス、スクレイピングした情報をItemのサブクラス、スクレイピングした情報に対する処理をPipelineのサブクラス、という風にフレームワークが決めたインターフェースを満たすクラスとしてクローラーを実装する。 scrapyというコマンドが提供されてて、このコマンドを使って、作ったクローラーの一覧を見たり、クローラーを起動したりできる。 Selenium Seleniumは、ブラウザをプログラムから制御するためのツール（でいいのかな？）。Pythonも含めたいろんな言語で使える。 よくWebサイト/アプリの自動テス
CasperJSがGecko(SlimerJS)にも対応していたので試してみたメモ - ハードコイルド・ワンダーランド
CasperJSはheadless browserを操作してテストやスクレイピングを行うことができるユーティリティセットです。 もともとはWebKitのheadless browserたるPhantomJSしか利用できなかったのですが、このたびv1.1-beta1からGeckoのheadless browserであるSlimerJSでも利用できるようになりました。 これまで「headless browserってWebKitだけだし…」という謎の理由で回避していたCasperJSですが、Geckoにも対応したので試してみました。というログです。便利ね、コレ。 試した環境は以下のようになります。 Windows 7 x64 PhantomJS v1.9 SlimerJS v0.8 CasperJS 1.1-beta1 Install １. PhantomJS PhantomJSのホームページか
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
