まだmechanizeで消耗してるの? WebDriverで銀行をスクレイピング（ProtractorとWebdriverIOを例に） - 詩と創作・思索のひろば
今日はスクレイピングの話をします。 今回のターゲットは三菱東京UFJダイレクト。金融機関もウェブサービスを提供するようになり、金にまつわる情報を電子化しやすくなりましたが、かれらが API を提供しているわけではないので、私たちのほうで取得・加工をしてやる必要があります。今やウェブサイトであれば当然のように JavaScript を使っているわけなので、いわゆる mechanize、つまり HTML の解釈をおこない、リンクのクリックやフォームの送信をシンプルに実装するようなやり方でのスクレイピングはすでに無理筋だといえます。 もちろん今日においてはブラウザオートメーションという方法がすでにありますので、これを利用してやれば、なんの憂いもなく実際に人間が使うようなブラウザをプログラマティックに操作することができます。現在は Selenium WebDriver がデファクトで、これが使用す
TechCrunch | Startup and Technology News
Live Nation says its Ticketmaster subsidiary was hacked. A hacker claims to be selling 560 million customer records. An autonomous pod. A solid-state battery-powered sports car. An electric pickup truck. A convertible grand tourer EV with up to 600 miles of range. A “fully connected mobility device” for young urban innovators to be built by Foxconn and priced under $30,000. The next Popemobile. Ov
node.jsでHTMLスクレイピングをjQuery記法でやるライブラリみっつの比較 - たごもりすメモ
某イベントのためのコードを書くのにHTMLのスクレイピングをやりたいなー、nodeで書くかなー、去年は jsdom で書いたけど今はどうなんだろね、とか調べてたら、どうもこういうあたりのがあるらしい。 jsdom たぶん一番有名で高機能、だけど重い。 node-jquery jQuery読むだけならコレ！みたいな感じ、だけどあんまりアップデートされてないかも。使いかたはいちばんシンプル。 依存関係がちゃんと書かれてなくて、追加で手で xmlhttprequest をインストールしておかないと動かなかった。 cheerio お前ら重い！ 俺がjQuery記法を再実装してやる！ という男らしいライブラリ。 zombie ブラウザの挙動をシミュレートする的なライブラリ、Mechanizeみたいなやつかな。いまの用途では前段でHTTPレイヤをいじる必要があるので今回は用途に合わない。 sqrape
RubyのクラスにWWW::Mechanizeがあります。 http://mono.kmc.gr.jp/~yhara/rubyscraping/?…
RubyのクラスにWWW::Mechanizeがあります。 http://mono.kmc.gr.jp/~yhara/rubyscraping/?WWW%3A%3AMechanize このクラスの中にどういったメソッドがあり、どういった戻り値を返すのか、詳細に書かれたページを教えてください。英語のサイトでもかまいません。googleでは少し調べてみましたが、詳しく書かれているページは探せませんでした。 またこのクラスとRubyを使って、Gmailにログインするところまで教えてください。PerlでWWW::Mechanizeを使ってログインする方法は見たことがありますが、rubyではありません。あくまでRubyでのログインスクリプトをお願いします。 参考サイト： http://digit.que.ne.jp/work/wiki.cgi?Perl%E3%83%A2%E3%82%B8%E3%83
はてなブログ | 無料ブログを作成しよう
来年も作りたい！ふきのとう料理を満喫した 2024年春の記録 春は自炊が楽しい季節 1年の中で最も自炊が楽しい季節は春だと思う。スーパーの棚にやわらかな色合いの野菜が並ぶと自然とこころが弾む。 中でもときめくのは山菜だ。早いと2月下旬ごろから並び始めるそれは、タラの芽、ふきのとうと続き、桜の頃にはうるい、ウド、こ…
PhantomJS： 「最小限なheadlessのWebKitベースのJavaScriptツール」 - karasuyamatenguの日記
こりゃ面白い。http://code.google.com/p/phantomjs/ "PhantomJS is a minimalistic, headless, WebKit-based, JavaScript-driven tool" headless=スクリーンがない=コマンドと考えればいい。要はブラウザから画面と取り除いてJavaScriptによるスクリプティングを可能にしたコマンドツール。逆に言うとDOM+JavaScript+Networkingをコマンドにしたもの。 説明してもピンとこないだろうから実例を紹介する。http://code.google.com/p/phantomjs/wiki/QuickStart hello world hello.js console.log('Hello, world!'); phantom.exit();$ phantomjs hel
node.jsとjQueryでスクレイピングするウェブアプリの作り方
やっぱ jQuery 便利ですよ(*´・ω・)(・ω・｀*)ﾈｰ セレクタ使って jQuery でダカダカやってると、DOM とか正規表現でネチネチやるのがバカらしくなっちゃいます。 と日頃から思ってたりしてまして、サーバサイド JavaScript がメインストリームになって、jQuery でウェブアプリをコーディングできれば超ラクできるかもと期待しています。 で、先日サーバサイドJavaScriptとjQueryでスクレイピングという記事をうpったところ、やっぱ Rhino じゃなくて node.js がえーんよ(´･ω･｀)というコメントを頂きましたので、node.js と jQuery でサーバサイド JavaScript スクレイピングしてみることにしました。 今回は node.js ですので、単にスクレイピングする（コマンドラインから実行する）スクリプトだけじゃなくて、スクレイ
Charlie Robbins「jsdom.jsとjquery使ったスクレピング」 - 以下斜め読んだ内容
nodejitsu.com 2010.9.24のエントリ jsdom + jQuery in 5 lines with node.js node.jsでスクレイピング jsdom使うと取得したhtmlへDOMが使えるようになる 慣れ親しんだjqueryのセレクターapi使ってスクレイピング request/http-agentモジュール使って標準モジュール（=http）だけで書くよりもコードすっきり という内容のエントリ サンプルコード修正しないと動かない 以下斜め読んだ内容 スクレイピング たいていの言語がライブラリ色々用意されてる Ruby hpricot nokogiri Python beautiful-soup scrapy Perl pQuery PHP PHP DOM バグなくhtml/css/javascriptをハンドリングするのが難しい サーバーサイドjsにおけるスクレ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Webクローリング＆スクレイピングの最前線 公開用
Nokogiri
GitHub - node-js-libs/node.io
Dablegeek