Python+Selenium+Phantom.js+Beautifulsoupでスクレイピングする - ひよこになりたい
※【2018/04/17追記】 Phantom.jsはメンテナンスが終了したようです。今後はGoogle Chromeを使用してJavascriptの処理を行っていくことになります。以下の記事で解説していますので合わせてご覧ください。 zipsan.hatenablog.jp 【追記終わり】 最近スクレイピングのスクリプト書いて遊んでいるのでそれについてのメモがてらに。 Pythonでスクレイピングする方法は多々あるみたいなんですが，個人的に一番使いやすかった（慣れ？）のがこの組み合わせでした。 以前Pythonのurllib.request＋Beautifulsoupでレスポンスhtmlの解析をして次々とたどっていくようなスクリプトを書いていたんですが、これだとJavascriptで追加されたエレメントは受け取れなかったり、リダイレクト処理がめっちゃ大変だったり色々と面倒でしたが今回Se
大規模 Web サービスの ブラウザテスト自動化・高速化
https://atnd.org/events/66159 で実施したプレゼン資料
Selenium Gridで複数の実機ブラウザで自動テスト | TECHSCORE BLOG | TECHSCORE BLOG
はじめに こんにちは、白川です。 Webアプリケーションは概ね、複数のブラウザに対応する必要があります。 Internet Explorer、Firefox、ChromeなどのPCブラウザだけでなく、 iPhoneやAndroidなどのモバイル/タブレットのブラウザにも対応しないといけなかったり、 同じブラウザでも複数のバージョンに対応する必要があったり、 OSのバージョンの違いにも対応する必要があったりします。 そうなってくると、テストが大変です。 検証が必要なOSとブラウザとバージョンの組合せが増えれば増えるほど、手動でテストを行なうことが大変になっていきます。 しかし、Selenium Gridを使えば、 一つのテストスクリプトで複数の実機のブラウザで自動にテストを実施することが可能となります。 Selenium Gridについて テストスクリプトを実行するサーバからSelenium
全国のSeleniumer必読 - Qiita
アナウンス Selenium 談話会 in Slack まだまだ活動続けています！！(2019/09/09追記) https://selenium-danwakai.connpass.com/ でアナウンスを出しています。 2015/春から「Selenium 談話会 in Slack」というものをはじめました Slack(チャット)を使って日々の困りごとなどを同士とリアルタイムで情報交換することができます 登録されたユーザは2015/06/25時点で35名 => 2019/09/09時点で596名 半年に１回程度でチャット上に集まってテーマを決めて話をしています Ex) 「第３回Selenium談話会 in Slack」 のまとめ 詳細、参加方法などは上記リンク先に書いています 2018/09/18時点で13回開催しています。ご興味のある方はお気軽にご参加ください https://sele
Java+Seleniumな自動テストプロジェクトをJenkinsさんにお願いする - Qiita
TDD is dead. Long live testing.あたりにすごく考えさせられたりしつつ、Java+SeleniumなWebアプリケーションの自動テストプロジェクト構築 を書いたわけなんですが、これだけだとテストは自分が手でやらなければならなくて、寝ている時間に障害発生したらどうするんだとかそんなことを思ってしまいやっぱり睡眠の質があんまり上がらないわけです。朝起きて、おそるおそるテストを走らせて、くずおれるみたいな展開は健康によくありません。 そんなときはJenkinsさんの出番です。頼れる執事に定期的にテストを実行しておいてもらえれば、障害の起き始めた時間が明確に特定でき、ごめんなさいの報告や問題解決のためのログ解析など色々なものの精度が上がって捗ります。 やりたいこと JenkinsからSeleniumのテストを含むプロジェクトを自動的に実行したい 対象WebDriverは
Python で Selenium WebDriver を使ったブラウザテストをする方法 - akiyoko blog
ブラウザテストツールの代表格と言えば「Selenium」ですが、実は、6年前にも一度調査したことがあったのです。しかしながらその当時は結局、業務で採用されることはありませんでした。 現在の「Selenium2」は、「WebDriver」というツールが統合されるなど、当時の「Selenium1」から大きく進化をしているわけですが、それでもツールの利用方法などは6年前からあまり変わっていないようです。 Selenium導入にあたって最初につまずくのは、やり方が何通りかあって「結局どれがいいの？」と迷ってしまうことかな？と思います。使い方としては大きく3通りあると思うのですが、それを簡単にまとめたのが↓の表です。（「○○向け」というのは個人的な印象です。） 概要 テストの書き方 実行ブラウザ Selenium IDE Selenium-RC Selenium WebDriver 初心者向け GU
Selenium Web DriverのPythonバインディングを使ってブラウザを操作する - Qiita
この記事は Selenium/Appium Advent Calendar 2014 の11日目の記事です。 昨日の記事は @totutiteta さんのRobot drives on the web: Robot Framework & Selenium2Library でした。 今日はSeleniumのPythonバインディングのライブラリ selenium を使ってFirefoxを操作する方法をまとめて見ました。 またseleniumを使って操作するためのライブラリを作ってみました。 SeleniumのPythonバインディングのライブラリ selenium でFirefoxを操作してみる この記事を書いた時点での selenium のversionは 2.44.0 が最新の用です。(おそらく2.35未満のversionでは以下のcodeは動作しないと思います) 起動 まずはブラウザ
JenkinsとSeleniumを使ってWebコンテンツの自動UIテスト環境を作ろう！ - ICS MEDIA
先日公開した「UIテストの自動化！Node.jsとSeleniumでWebアプリのUIテスト環境構築」では、手動で行っていたWebアプリのUIテストをSeleniumを使って自動化する手法についてご説明しました。 SeleniumでUIテストを自動化することにより、リグレッションテスト（改修により既存機能への影響がないかを確認する回帰テスト）が簡単にでき、バグの早期発見に繋げることができますが、実際にはこのテストを運用でしっかりと行っていかないとプロジェクトとしての品質向上にはつながりません。また、コマンドラインの扱いに慣れていない方は、コマンドラインからのテストの実行に抵抗があり、テスト結果もコンソールに出力されるため見づらいと思う方も多いと思います。 そこで今回はCI（継続的インテグレーション）ツールであるJenkinsとSeleniumを連携することで、定期的にテストを実行し、テスト
UIテストの自動化！Node.jsとSeleniumでWebアプリのUIテスト環境構築 – ICS MEDIA
Webアプリケーションを開発する際、みなさんはどのようにテストを行っていますか？ Webアプリケーションは、ユーザーごとに異なるブラウザを使用しており、ユーザー操作も必要となるため、手作業でテストをされている方も多いと思います。また、機能改修やバグフィクス後に、リグレッションテスト（改修により既存機能への影響がないかを確認する回帰テスト）が必要となりますが、時間が取れずしっかりとテストができていない方も多いのではないでしょうか。 本記事では、これらのテストを自動化することのできる「Selenium Webdriver」（セレニウム ウェブドライバー）について紹介します。 入力フォームのバリデーション機能をチェックするデモ 簡単な入力フォームのバリデーション機能をチェックするデモを動画で紹介しましょう。入力値に対して期待するエラー文言が表示されているかのテストを実施しています。Seleniu
20140118 selenium勉強会 - Jenkins×Selenium 最初の一歩-
2. 自己紹介 名前：玉川 紘子（たまがわ ひろこ） 所属：株式会社SHIFT ソフトウェアテスト事業部 CI/自動テスト導入担当として活動 コミュニティ：STAR（テスト自動化研究会） 日本Jenkinsユーザ会 2 5. Seleniumのテストを補助してくれる 様々なプラグイン • • • • • • • • • Selenium AES plugin（549） Seleniumhq plugin（1712） Selenium Builder plugin（251） TestingBot Selenium plugin（105） seleniumhtmlreport plugin（1404） Selenium RC plugin（643） Selenium plugin（1118） Selenium Axis plugin（33） Selenium Grails plugin（不明）
【技術】mechanizeに変わる方法を考えてみた - エンジニアリングとお金の話
webサイトをスクレイピングする際はmechanizeを使用しているが、ログイン処理等にjavascriptを使用してゴニョゴニョしているサイトの場合は、行き詰ってしまう事が多い。 今までその様なサイトは諦めていたが、どうにかスクレイピングする方法が無いかと調べた結果、以下の２つで実現出来る事がわかった。 ① seleniumを使用する ② Phantom JSを使用する どちらの方法も擬似的なブラウザオブジェクトを使用してjavascriptの処理を行う事が可能である。今回は操作が簡単なseleniumを使用した方法について説明する。 １.seleniumとは Webアプリケーション用テストツール。ブラウザの操作をシミュレートして、Webアプリケーションの画面周り操作を行う事が可能である。 要は、人が手でWebブラウザを操作する代わりにSeleniumがWebブラウザを操作して、作業の自
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Sign in - Google Accounts