ブラウザの自動操作で手軽さを追求したらAWS LambdaとPhantomJSの組み合わせにたどり着いた - Qiita
はじめに 2018/07/31追記 PhantomJSについて こちらで紹介したPhantomJSは現在、リポジトリがアーカイブされて利用は非推奨です。 手軽に実装すらなら現在は以下とpuppeteerの組み合わせがオススメです。 https://www.npmjs.com/package/@serverless-chrome/lambda こちらの組み合わせの記事ついては別途紹介記事を書きます。 DMM.com #1 Advent Calendar 2017 の14日目を担当します、 @mesh1neko です。 普段はAWSやNode.jsをメインに扱っています 今日はブラウザ操作を極力お手軽にやる組み合わせについて書きます。 ▼このAdvent Calendar について 前日の記事は、 @canacel さんの ReduxにImmutable.JSを適用してみた でした。 これは
PhantomJSからHeadless Chromeに移行したときにハマったポイント - Qiita
祝！Chrome Headless移行完了 私が担当しているプロジェクトのFeatureSpecで、Headless Chromeに移行が完了しました。なかなか大変だったので、ハマったポイントを覚えている限り書いておこうと思います。 Capybara.register_driver周辺 画像をダウンロードしない設定など テーブルに行がなくなるとテーブルごとvisibleがfalse扱いになる DatePickerを使用している箇所にfill_inでデータを入れると、DatePickerが表示されっぱなしになり、被っているボタンが押せなくなる driver依存の操作ができなくなる trigger('click')など driver.network_trafficなど alert, confirm, promptなどのダイアログ系が自動でOKを押されなくなる register_driverでH
CasperJS,PhantomJSのアプリケーションを即起動できる状態で相手に渡す方法 - Qiita
batで環境変数を設定するというごく当たり前の方法ですが、忘れそうなのでメモ。 何がしたいか 社内のWEBシステムが使い辛く、本質的じゃない作業に小一時間かかるので、操作を自動化したい！とリーダーからHELP 要件は以下の通り。 WEB操作を自動化したい ソフトのインストールはしない もらったらexeかbatを叩くだけ 1はCasperJSで作って解決しました。 問題は2と3。とにかくすぐ動かせる状態で欲しいとのこと！ 結論：バッチファイルを用意し、環境変数をセットするだけ DLしたcasperjsとphantomjsを適当に配置します。（今回はbin配下にした） アプリケーション名/ ├ bin/ │ ├ casperjs/ │ │ ├ casperjs.exe │ │ └ casperjs.js │ └ phantomjs/ │ └ phantomjs.exe ├ // some f
もう毎日の打刻めんどいからSlack botにやってもらおう ―― その２ - Qiita
class MessageHandler(Handler): '''メッセージハンドリングクラス''' (中略） def run_crawler(self): ''' クロール共通処理 ''' # ユーザー名を取得 send_user = self.get_send_user() user_info = super().get_user_info(send_user) # チャンネル名を取得 channel_info = self.get_channel_info() # ユーザー情報が存在すれば打刻処理を行う if user_info: if not super().is_all_fields_filled(send_user): self.message.reply('設定されていない項目があるため打刻処理を実行できません。') else: # クロール img_path = self
GhostbustersはSeleniumの塔に登るか？ - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? こんにちは！ 皆さん映画見てますか！！ 映画ってほんとうに良いものですよね！！！ 私は昨年ついに、立川シネマシティの会員になってしまいました！！！！ 突然ですが映画の話を差し込みます ゴーストバスターズ という1984年の大ヒット映画があります。科学兵器で幽霊退治をする映画です。 最近になってあらためて観ますと、劇中の最終目的地となるビルが呪術的な構造をしていて純度の高いSelenium（セレン）を含んでいる、なんて感じの説明があってニヤリとするわけです。 Seleniumの構造体に巣食うPhantomを退治してしまうのね... という
Capybaraでheadless chromeと戯れるための覚書。spider on ruby - Qiita
# !/usr/bin/env ruby require 'capybara' require 'capybara/dsl' require 'selenium-webdriver' chrome_option_arg = ['headless', 'disable-gpu', 'window-size=1680,1050'] Capybara.register_driver(:selenium) do |x| Capybara::Selenium::Driver.new( x, browser: :chrome, desired_capabilities: Selenium::WebDriver::Remote::Capabilities.chrome(chrome_options: { args: chrome_option_arg }) ); end Capybara.javascr
[memo] Install phantomjs into Ubuntu - Qiita
sudo apt-get update sudo apt-get install build-essential chrpath libssl-dev libxft-dev -y sudo apt-get install libfreetype6 libfreetype6-dev -y sudo apt-get install libfontconfig1 libfontconfig1-dev -y cd ~ export PHANTOM_JS="phantomjs-2.1.1-linux-x86_64" wget https://github.com/Medium/phantomjs/releases/download/v2.1.1/$PHANTOM_JS.tar.bz2 sudo tar xvjf $PHANTOM_JS.tar.bz2 sudo mv $PHANTOM_JS /usr
![[memo] Install phantomjs into Ubuntu - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/12e0eda238c45c8bc2ec3b206276c3d6ba3d19c2/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCbWVtbyU1RCUyMEluc3RhbGwlMjBwaGFudG9tanMlMjBpbnRvJTIwVWJ1bnR1JTIwJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz1mM2VkMmFkMWQyZTlhMmRjMGQ0YmQ4MzFjYTM4YTM2NQ%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDAxMDAwMTAmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPThhZDZiZGQ2MGM4MzNjYWQzYWQxYzExOTE1OWYwNjM4%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D49e215bbfd6bd584d32ef3b5f5d8ecd7)
phantomjsの昔のバージョンがほしい場合（未解決） - Qiita
brew install phantomjs だと2018年2月時点でv2.1.1しか手に入らず、古いRailsでのテストのため昔のバージョンがほしいので色々調べてみた。 注意！！ 解決できてません。素直に最新版で使えるように、poltergeist等の依存ライブラリをアップデートした方が良いです 結論 macだとインストールできなかった。 npmでインストールできるので、してみる。バージョンを調べる。 $ npm view phantomjs versions $ npm install -g phantomjs@1.9.9 インストールはできたが、起動時にエラー。 child_process.js:380 throw new TypeError('"file" argument must be a non-empty string'); ^ TypeError: "file" argu
phantomjsでscroll後の画像がrenderできない - Qiita
問題 表題の通り。 会社のメンバーから質問きたので、解決方法を調査して答えました。 そのときの知見として残しておきます。 phantomjsの準備 ここで書くことじゃないけども、一応こんな感じ echo '{"scripts": {"start": "phantomjs script.js"}}' >> package.json echo 'console.log("Hello, World!"); phantom.exit()' >> script.js npm install --save-dev phantom phantomjs npm start var page = require('webpage').create(); page.viewportSize = { width: 320, height: 480 }; page.clipRect = { top: 0, lef
jasmineでcsvからテストデータを読み込み、ロジックテスト。 - Qiita
Javascriptのロジックテストが必要になったのですが、大仰な環境を作るコストも時間もなく、要件的に他のライブラリを組み込む事も難しかったので、普通のChromeのみで出来るテスト環境を構築してみました。 1. 前提条件 Javascriptのみのロジックテスト(画面操作等は行わない) 他ライブラリは使わない インストールは行わない(テスト用の環境構築不要) WindowsとMacで動く事 ブラウザはChrome テストデータと回答はCSVで用意する 2. 選定 上記条件を満たせそうなものとして、JasmineとQUnitが候補にあがりました。 Jasmine vs QUnit detailed comparison as of 2017 - Slant Qunitの方が学習コストが少なそうでしたが、今後の拡張性を考えてJasmineを選択しました。 3. Jasminの導入 Jasm
AtomのSpecをjasmine2で動かす - Qiita
package.jsonを上記のように更新したら、一度Atomを終了して再度Dev modeで開きなおしてください。 一度終了させるのは、atom-jasmine2-test-runnerのドキュメントにもあるようにpackage.jsonの内容がキャッシュされていて反映されない場合があるからです。 また、Dev modeで開くのは"devDependencies"を更新するためです。 Dev modeで開きなおしたらCommand PaletteからUpdate Package Dependencies: Updateを実行し、外部依存関係を更新します。 これでjasmine2が動くようになります。 動作テスト 動作テストとして、specフォルダに以下のようなファイルを作ってやります。 (jasmineのintroduction.jsから取ってきましたが、ちょっと実行時間が長いです) 作
jasmineとselenium-webdriverでシンプルにE2Eテストする - Qiita
用意するもの npm で以下のモジュールをインストールする jasmine selenium-webdriver どうにかしてchromedriverを入手する(Chromeで試したい場合) chromedriverという名前で(windowsだとchromedriver.exeかな？)カレントフォルダに置いておく(ほかにいい感じに管理する方法があれば教えてください・・・！) こう書く シンプルに書いています。(ほんとはasync/awaitで書きたいけど) var wd = require("selenium-webdriver"); describe("e2e test", function() { var driver; beforeAll(function () { // デフォルトだと、5秒しか待ってくれないので、20秒くらい待たせる jasmine.DEFAULT_TIMEOU
Angular jasmine 使い方メモ - Qiita
はじめに Angularでユニットテストを作成したときに使用したjasmineの使い方をメモしていきます。 alertが表示されることをテスト beforeEach(() => { // アラートの監視 spyOn(window, 'alert'); }); it('〇〇な場合、対応するアラートを表示するべきである', () => { // テストを実行 component.testSample(); // テスト結果検証 expect(window.alert).toHaveBeenCalledWith('エラー'); }); it('〇〇な場合、アラートを表示するべきでない', () => { // テストを実行 component.testSample(); // テスト結果検証 expect(window.alert).not.toHaveBeenCalled(); }); let
Angularのテスト(ng test)で「このテストだけやりたい！/やりたくない！」を除外する - Qiita
ng test はとても便利ですが、「今はこのテストケースだけ実行したいのに！」ということや、逆に、「このテストケースはうまく動かないけどしばらく無視しておきたいのに！」ということがあります。 その辺の機能が用意されています！ まぁAngularというかJasmineの機能なんですけど…。 このテストだけ実行 describe そして it の代わりに fdescribe そして fit を使います。 "f" は "focused" の意味です。 focused_specs.js コード例 fdescribe(() => { // このテストスイートだけを実行 fit(() => { // このテストケースだけを実行 }); it(() => { // このテストケースは(特記ないので)スキップ }); }); このテストだだけは実行しない describe そして it の代わりに xd
Node.jsでサクッとテストしたい人のためのJasmine - Qiita
ラクス Advent Calendar 2017の17日目です。 昨日は @Black-Spider さんの「Spring Batch + MyBatisでテーブルパーティション毎に並列処理を行う方法」でした。 こんにちは。@morihirokです。HR事業部でビアバッシュの幹事をするなどしています。 仲良くしてください！ JavaScriptのテスト概論 まずはじめにこちらの記事をご覧ください。 2017年JavaScriptのテスト概論 お時間の無い方向けに上記記事を一部引用いたします。 テストツールの種類 テストツールは次の2つの機能に分けられます。単一の機能を提供するツールもあれば、複数の機能の組み合わせを提供するツールもあります。 理論的には単一のツールで同じ成果を出せるとしても、よりニーズに合った機能を入手するために、複数のツールを組み合わせて使用するのが一般的です。 テストの
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
selene 1.0aで「ModuleNotFoundError: No module named 'webdriver_manager.phantomjs'」と出て起動しない場合の対処 - Qiita
node.js で Phantom を使えるようにするまでの準備 - Qiita
PhantomJS × CasperJSによる初めてのブラウザテスト - Qiita
Pythonによるスクレイピング&機械学習のお勉強その2-2 - ブラウザーを経由したスクレイピング - Qiita
Jasmine-nodeでテスト実行までの手順メモ - Qiita
