Python3 + Selenium + BeautifulSoup4 - Chromeドライバを利用した実装例 - Qiita
Python3でSeleniumのChromeドライバを利用したBeautifulSoupの作成例。 JavaScriptによる動的コンテンツのパースも可能。 from bs4 import BeautifulSoup from selenium import webdriver from selenium.webdriver.chrome.options import Options def create_soup(url, timeout=30): """ urlのコンテンツからBeautifulSoupを作成する。 @return {BeautifulSoup} """ options = Options() options.add_argument('--headless') options.add_argument('--disable-gpu') driver = webdri
javascriptが有効なサイトでsoupを取得 - Qiita
# -*- coding:utf-8 -*- from bs4 import BeautifulSoup def get_soup_uulib2(url): import urllib2 opener = urllib2.build_opener() opener.addheaders = [('User-agent', 'Mozilla/5.0')] page = opener.open(url) soup = BeautifulSoup(page,"lxml") return soup def get_soup_urequests(url): import requests s = requests.Session() r = s.get(url) soup = BeautifulSoup(r.text,"lxml") print soup def get_soup_uselenium
PythonでJavaScriptを使ったWebサイトをスクレイピングする - Qiita
概要 JavaScriptでDOMを作ってるサイトをPythonを使ってスクレイピングしたので、手順をメモ。 大雑把には、ScrapyとSeleniumを組み合わせてやった。 Scrapy Scrapyは、クローラーを実装するためのフレームワーク。 クローラーをSpiderのサブクラス、スクレイピングした情報をItemのサブクラス、スクレイピングした情報に対する処理をPipelineのサブクラス、という風にフレームワークが決めたインターフェースを満たすクラスとしてクローラーを実装する。 scrapyというコマンドが提供されてて、このコマンドを使って、作ったクローラーの一覧を見たり、クローラーを起動したりできる。 Selenium Seleniumは、ブラウザをプログラムから制御するためのツール（でいいのかな？）。Pythonも含めたいろんな言語で使える。 よくWebサイト/アプリの自動テス
GitHub - codeceptjs/CodeceptJS: Supercharged End 2 End Testing Framework for NodeJS
CodeceptJS tests are: Synchronous. You don't need to care about callbacks or promises or test scenarios which are linear. But, your tests should be linear. Written from user's perspective. Every action is a method of I. That makes test easy to read, write and maintain even for non-tech persons. Backend API agnostic. We don't know which WebDriver implementation is running this test. CodeceptJS uses
Selenium with WebDriverJS - Qiita
起動時指定していないと↓なエラーが出る WARN - Exception: The path to the driver executable must be set by the webdriver.ie.driver system property; IEは、オプションのセキュリティ設定で「保護モード」を同じにしておく 保護モードが違っていると↓のエラーが出る WARN - Exception: Unexpected error launching Internet Explorer. Protected Mode settings are not the same for all zones. Enable Protected Mode must be set to the same value (enabled or disabled) for all zones. (WARNIN
まだmechanizeで消耗してるの? WebDriverで銀行をスクレイピング（ProtractorとWebdriverIOを例に） - 詩と創作・思索のひろば
今日はスクレイピングの話をします。 今回のターゲットは三菱東京UFJダイレクト。金融機関もウェブサービスを提供するようになり、金にまつわる情報を電子化しやすくなりましたが、かれらが API を提供しているわけではないので、私たちのほうで取得・加工をしてやる必要があります。今やウェブサイトであれば当然のように JavaScript を使っているわけなので、いわゆる mechanize、つまり HTML の解釈をおこない、リンクのクリックやフォームの送信をシンプルに実装するようなやり方でのスクレイピングはすでに無理筋だといえます。 もちろん今日においてはブラウザオートメーションという方法がすでにありますので、これを利用してやれば、なんの憂いもなく実際に人間が使うようなブラウザをプログラマティックに操作することができます。現在は Selenium WebDriver がデファクトで、これが使用す
GitHub - neard/neard: 🎲 Portable WAMP software stack
Adminer: a full-featured database management tool written in PHP. Apache: the world's most used web server software. Composer: a dependency manager for PHP. ConsoleZ: modified version of Console 2 for a better experience. Filezilla: a FTP server application. Ghostscript: an interpreter for the PostScript language and for PDF. Git: a widely used version control system for software development. GitL
Selenium2.x で Ajax なWebアプリケーションをテストしよう 〜 Facebook の自動あいさつ返答機能を実装 〜 - Yamashiro0217の日記
この記事では、Facebook のあいさつ(Poke)機能への返信を題材に、沢山たまるとウザい嬉しいあいさつを自動で返すスクリプトを書くことで、Selenium2.x の使い方、特に Ajax アプリをテストする方法について学べるようにする。 Ajax がからんだWebアプリケーションのエンドツーエンドの最近のテスト手法についてのまとめにもなっていると思う。 最初の3節ぐらいは「Seleniumとは〜」とか「テストってのはさー」とかゴタクをごたごた書いているので、Seleniumの実際のコード見た方がはえぇよ。って言う人はコードが出てくるまで記事を飛ばすと良い。 こんな記事を気合入れて書いて公開した当日に…FacebookのUIが変わって…作ってたスクリプト動かなくなってしまった…orz。俺が何かやったり買うと事件が起きるんや・・「なにか買うとその直後に安くなったり、新機種がでたりするとい
Selenium 中級者になろう （変数＋XPath＋JavaScriptを，テストケース中で利用する方法） - 主に言語とシステム開発に関して
回帰テストツール「Selenium」の中級 Tips。 初級の使い方については 今から３分で selenium の使い方を身に付ける (回帰テスト自動化) http://language-and-engineering.hatenablog.jp/entry/20081016/1224080409 selenium 主なコマンド一覧 http://language-and-engineering.hatenablog.jp/entry/20081016/1224123118 で入門のこと。 Seleniumのより便利な使い方として，下記で （１）変数の使い方 （２）XPathの使い方 （３）テストケース中へのjavascriptの埋め込み （４）Ajaxアプリのテスト方法 を学ぶ。 まず，まとめを掲載。そのあとで，実際のテストでどう役立つのか詳しく解説する。 まとめ 要素の指定方法まとめ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Twill Javascript
Twill in Javascript