javascriptが有効なサイトでsoupを取得 - Qiita
# -*- coding:utf-8 -*- from bs4 import BeautifulSoup def get_soup_uulib2(url): import urllib2 opener = urllib2.build_opener() opener.addheaders = [('User-agent', 'Mozilla/5.0')] page = opener.open(url) soup = BeautifulSoup(page,"lxml") return soup def get_soup_urequests(url): import requests s = requests.Session() r = s.get(url) soup = BeautifulSoup(r.text,"lxml") print soup def get_soup_uselenium
[Python]ヘッドレスブラウザSplashと共にスクレイピングをしたメモ - Qiita
FAQにも記されていますが、 non-working localStorage in Private Mode. This is a common issue e.g. for websites based on AngularJS. If rendering doesn’t work, try disabling Private mode (see How do I disable Private mode?). Splashはデフォルトでプライベートモードで立ち上がるらしく、プライベートモードだとlocalStrorageが正常に動作しない場合があるよと、、 私は後述するサイトのレンダリングが当初一向にされなかった（＝JavaScriptのコードが未解釈だった）ので--disable-private-modeオプション付でdocker runを行ったところ、キチンとレンダリングされる様
![[Python]ヘッドレスブラウザSplashと共にスクレイピングをしたメモ - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/c277ac0e33ed0c5a2414822d9e940ba7a1679d5d/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-1150d8b18a7c15795b701a55ae908f94.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTg0MCZoPTM4MCZ0eHQ2ND1XMUI1ZEdodmJsM2pnNWpqZzRQamc0bmpnNnpqZ3Juamc1YmpnNm5qZ3FiamdyWlRjR3hoYzJqamdhamxoYkhqZ2F2amdybmpncV9qZzZ6amdxVGpnNVRqZzdQamdyRGpncExqZ1pmamdaX2pnNkhqZzZJJnR4dC1jb2xvcj0lMjMzMzMmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTQmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWNlbnRlciUyQ21pZGRsZSZzPTQ1OTFhNDEwZDJmMmI2MzMxZWZmYjQ3NDVmNzI4MmZm%26mark-align%3Dcenter%252Cmiddle%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTg0MCZoPTUwMCZ0eHQ2ND1RSEJ5Y3kxM1lYUmphQSZ0eHQtY29sb3I9JTIzMzMzJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTQ1JnR4dC1hbGlnbj1yaWdodCUyQ2JvdHRvbSZzPTg4OGJjYThhMDY4MTZkNmY4OGIyYzFkZGJkNTlhZmEw%26blend-align%3Dcenter%252Cmiddle%26blend-mode%3Dnormal%26s%3D3b57bb249b18f203e45b54d9fdecc0e7)
scrapy-splashを使ってJavaScript利用ページを簡単スクレイピング - amacbee's blog
これは，クローラー／Webスクレイピング Advent Calendar 2016の1日目の記事です． JavaScriptを利用したページをスクレイピングするためには，スクリプトを実行し，ページを適切にレンダリングする必要があります． 本記事では，そのようなケースに便利なPythonライブラリscrapy-splashを紹介します． 前置き ScrapyやSplashを既にご存知の方は読み飛ばして下さい． Scrapyとは？ Scrapyとは，Python製のクローリング・スクレイピングフレームワークです．フレームワークというだけあって，Scrapyにはクローリング・スクレイピングに便利なオプションがあらかじめ用意されています． Scrapyに用意されている便利なオプション例 サイトクローリング間隔を設定 robots.txtを解釈したクローリングを自動的に実行可能 Scrapyを利用す
Google Apps ScriptでスクレイピングしてSlackに定期ポストするbotを瞬殺で作った - Qiita
お金とかソース管理とか何も考えなくていいスクレイピングbotを作りたい 「SlackにStackShare.ioからトレンドランキング拾って投稿するbot作って」「ほいきた」 Slackのbotってhubotとかいう奴の事でしょ？皆作ってるし余裕だろ、と何も考えずに引き受けたら何やらサーバが必要だわyo hubotしたらファイルが2000個自動生成されるわ、で速攻ぶん投げたくなりました。目的が単純ならその実装も運用も管理も可能な限りシンプルにしたいものです。探してみたところ、Google Apps Scriptが一番手軽そうだったので早速やってみました。 Google Apps Script PaaSやIaaS系のサービスとかでは全然無いです。ざっくり言えばGoogleドライブにスクリプトをアップしておくだけ。 新規⇢アプリを追加⇢Apps Scriptを検索、追加しておきます。 プログラ
Google Drive: Sign-in
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
Protractorでスクレイピングしてみた
Railsでスクレイピングが必要な時は Nokogiri を使っていたけれど、普通のサイトはJavascriptを使っているわけで、Nokogiriだけではスクレイピングが難しいこともある。そんな時にどうしようかと。 Nokogiri 鋸 Protractorなら、実際にユーザーがブラウザーを立ち上げて、ボタンをクリックして、テキストを読んで… みたいなことを再現できるのですごい便利。ほんとはAngular.jsのためのテストフレームワークだけど、スクレイピングにも使える。 Protractor - end to end testing for AngularJS nvmのイントール 手元のMacOSにインストールして使ってみる。 Ruby使っているならお馴染みのrvm（Ruby Version Manager）。 nvmはNode.jsのバージョン管理ツール。 nvmを入手 $ git
まだmechanizeで消耗してるの? WebDriverで銀行をスクレイピング（ProtractorとWebdriverIOを例に） - 詩と創作・思索のひろば
今日はスクレイピングの話をします。 今回のターゲットは三菱東京UFJダイレクト。金融機関もウェブサービスを提供するようになり、金にまつわる情報を電子化しやすくなりましたが、かれらが API を提供しているわけではないので、私たちのほうで取得・加工をしてやる必要があります。今やウェブサイトであれば当然のように JavaScript を使っているわけなので、いわゆる mechanize、つまり HTML の解釈をおこない、リンクのクリックやフォームの送信をシンプルに実装するようなやり方でのスクレイピングはすでに無理筋だといえます。 もちろん今日においてはブラウザオートメーションという方法がすでにありますので、これを利用してやれば、なんの憂いもなく実際に人間が使うようなブラウザをプログラマティックに操作することができます。現在は Selenium WebDriver がデファクトで、これが使用す
PhantomJS - Scriptable Headless Browser
Important: PhantomJS development is suspended until further notice (more details). PhantomJS is a headless web browser scriptable with JavaScript. It runs on Windows, macOS, Linux, and FreeBSD. Using QtWebKit as the back-end, it offers fast and native support for various web standards: DOM handling, CSS selector, JSON, Canvas, and SVG. The following simple script for PhantomJS loads Google homepag
Charlie Robbins「jsdom.jsとjquery使ったスクレピング」 - 以下斜め読んだ内容
nodejitsu.com 2010.9.24のエントリ jsdom + jQuery in 5 lines with node.js node.jsでスクレイピング jsdom使うと取得したhtmlへDOMが使えるようになる 慣れ親しんだjqueryのセレクターapi使ってスクレイピング request/http-agentモジュール使って標準モジュール（=http）だけで書くよりもコードすっきり という内容のエントリ サンプルコード修正しないと動かない 以下斜め読んだ内容 スクレイピング たいていの言語がライブラリ色々用意されてる Ruby hpricot nokogiri Python beautiful-soup scrapy Perl pQuery PHP PHP DOM バグなくhtml/css/javascriptをハンドリングするのが難しい サーバーサイドjsにおけるスクレ
John Resig - Bringing the Browser to the Server
This weekend I took a big step in upping the ante for JavaScript as a Language. At some point last Friday evening I started coding and didn’t stop until sometime mid-Monday. The result is a good-enough browser/DOM environment, written in JavaScript, that runs on top of Rhino; capable of running jQuery, Prototype, and MochiKit (at the very least). The implications of this are phenomenal, and I’m no
WSHでCSSセレクタのWEBのスクレーピング - それマグで！
ここまでのまとめ。 WEBスクレーピングをCSSセレクタで遣るためにPerl入れますか？Ruby入れますか？PerlでWeb::ScraperやRubyでScrapiと同じ事をWSHでやればいいじゃん。わざわざWSHで？うん、わざわざ、してみた。 ActivePerlでCPANモジュール使うの面倒じゃん*1 WindowsにRubyいれてパッケージ入れるのすら面倒（笑 WSHならJSだけで動くじゃん JScriptでWeb.Scraperを作ればいいじゃん。 休日を返上してうんうん唸って捻って考えた結果。どうしてもWSHからIEを使いたかった。 スクレーピングのテストとしてYahooから株価を取得することを考えた。 株価取得コード これを動作させるのが目標 //株価取得 var stocks = {}; stocks.NIKKEI = Utena.Scraper.YahooStock("9
Web::Scraperのjavascriptバージョンwebscraper.js - bits and bytes
perlのWeb::Scraperみたいな記述で、ページの中からデータを取り出すwebscraper.jsという小さなjavascriptのライブラリを書きました。 ブックマークレット データを取り出したいページでブックマークレットでwebscraper.jsを読み込んでFirebugコンソールで使います。 ブックマークレット webscraper コードwebscraper.js つかいかた Web::ScraperのSYNOPSISで例としてあげられているebayでapple ipod nanoを検索した結果からデータを取り出すときは 検索結果ページで上のブックマークレットを呼び出してFirebugコンソールで取り出す部分を記述します。 こんなかんじ。 SYNOPSISのperlのコードで変数$ebay_auctionに一度代入されている部分をそのままインラインで書き直すと my $e
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
