[AWS CDK]Seleniumを動かすDockerイメージをLambdaで実行する | DevelopersIO
はじめに 最近 Lambda 上で Selenium を動かしていたのですが、Python3.12 へランタイムを上げたことで動作しなくなってしまいました。 これまでは Lambda レイヤーを使って chromedriver と headless-chromium をレイヤー化する方法を利用していました。 しかし Lambda のランタイムが変わると互換性の関係からうまくいかなくなります。 動作しなくなった原因は Selenium で利用するchromedriverやheadless-chromiumの互換性がないことです。ここが Lambda 上で Selenium を使う上で一番面倒なところで、新しいバージョンを使おうとしても、どのバージョンが正しく動作するのかが分かりません。 そこで、調べていたところdocker-selenium-lambdaという Lambda 上で Selen
![[AWS CDK]Seleniumを動かすDockerイメージをLambdaで実行する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/3f047ea142eff06ac03d91ff00ec5d6bf61e4284/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Faws-lambda.png)
Python3.9系でSelenium4を使ったスクレイピングアプリをlambdaで動かそうと試みたが、その結果は・・・ - Qiita
Python3.9系でSelenium4を使ったスクレイピングアプリをlambdaで動かそうと試みたが、その結果は・・・cloud9lambdachromedriverselenium4Python3.9 はじめに 定期的な情報収集をしたかったため、スクレイピングのアプリを作ったのだが、今回はクラウド上（AWS の lambda）への移植を試みた。 結局 Selenium の起動が上手くいかず完成できていないのだが、これまでの備忘としてメモを残しておく。 使ったサービス & 主要ソフト s3 lambda （lambda layer も利用） Cloud9 （lambda layer に登録するための、パッケージやドライバーの取得に使用） pytho3.9系 seleium 4.16.0 メモ内容 ⓪ まずは前提 今回は Selenium を使うアプリだったので、ブラウザ挙動を確認する必要
PythonとSeleniumでGoogle Chromeを動かしてみる - Qiita
PythonとSeleniumでGoogle Chromeを動かしてみる サマリ 公式のチュートリアルを見つつMacでやってみました。 少し詰まった部分があったのでメモ。 試した環境 OS: macOS Catalina 10.15.5 Python:3.8.0 Google Chrome:83.0.4103.116 webdriver:ChromeDriver 83.0.4103.39 インストール Pythonのライブラリをインストール ブラウザドライバーをインストール ドライバーは使っているブラウザバージョンに合わせて必要なものをDLします。 ブラウザをアップデートしていてもドライバーの最新版をインストールすればいいわけではありませんでした。 （よく見たらバージョンが違ったのでご注意を） わたしはプログラムを実行するディレクトリと同じ場所に置きました。 vaivailx@MacBoo
AWS Fargate使ってサーバーレスでSelenium+Headless Chromeを実行する - YOMON8.NET
この記事に行き着いた方でしたら、日々自動化を進めている中にも、ブラウザでのクリック、クリック、入力、クリック、みたいな作業が残っている人が多いと思います。 REST等でAPIが公開されていれば良いのですが、そういうAPIが提供されていないサービスもたくさんあります。 ブラウザの自動化でいつもお世話になっているSeleniumですが、一日数回の実行のためにサーバーを立てておくのももったいない。ということで、常時起動のサーバーを立てない方法としてFargateを使ってみることにしました。 やりたいこと シナリオ Dockerイメージ準備 プログラム ベースのイメージ Dockerイメージをビルド ECRへのデプロイ ECRログイン ECRにリポジトリ作成 ECRにイメージをデプロイ ECS(Fargate)へのタスク設定 CloudWatch Logsのグループ作成 クラスタ作成 タスク定義
GitHub Actions で Windows IE11 と Mac Safari を selenium-webdriver で動かす - Qiita
GitHub Actions で Windows IE11 と Mac Safari を selenium-webdriver で動かすSeleniumselenium-webdriver 最近得た天啓で、 「GitHub Actions はコンテナを windows / mac / ubuntu から選べるということは、 本物の safari と ie11 を selenium-webdriver で動かすことができるのでは？」 と思ってガチャガチャやってみたら、なんとできてしまったので、紹介します。 今回は node で。 name: xbrowser on: [push] jobs: e2e-ie: runs-on: windows-latest steps: - uses: actions/checkout@v1 - uses: warrenbuckley/Setup-Nuget@
ゼロからはじめるPython(49) Pythonでブラウザ自動操縦してカード明細を自動でダウンロードしよう(その1)
クレジットカードの利用明細はこまめにチェックする必要がある。なぜなら、カードの不正使用などの危険があるからだ。しかし、最近ではオンライン明細が推奨されており、カード会社のサイトにログインして、明細をダウンロードしなければならないことも多い。カードが複数枚あるなら、それはかなり面倒な作業となる。そこで、自動でカード明細をダウンロードするプログラムを作ってみよう。今回は、環境の構築をし、簡単なプログラムを作ってみよう。 Webブラウザを自動操縦しているところ Webブラウザを自動操作しよう PythonにはデータをWebから取得する命令がいろいろある。最も簡単なのは、Pythonに標準で用意されているurllib.requestだ。これを使うと任意のURLからデータを取得できる。しかし、最近のWebサイトは、セッションという仕組みを利用していたり、JavaScriptでページをレンダリングした
Docker上でSeleniumとHeadless ChromeとPython3を動かす - Qiita
自己紹介1 高橋 太郎 インターマン株式会社 社内エンジニア（FileMaker、インフラ周り、その他いろいろ） いま一番興味のある技術:Google Colaboratory 趣味でこんなもの作ってます。 500円で作る自転車用防犯カメラ お品書き MacでSeleniumを動かそう DockerでSeleniumを動かそう デモ 解説 MacでSeleniumを動かそう ある日、こんな依頼がありました 「ブラウザで毎日やっている作業があるんだけど自動化出来ない？」 「多分出来ますよ（SeleniumとPythonでやってみよう）」 MacでSeleniumを動かすのは結構簡単 前提としてHomebrewとPython3がインストール済みであること 動いたのでレビューしてもらおう 同僚の開発マシンはWindows 7 レビューのためにWindows用の手順書をつくるのはめんどくさい そう
Python: Selenium + Headless Chrome で Web ページ全体のスクリーンショットを撮る - CUBE SUGAR CONTAINER
スクレイピングした Web サイトからページ全体のスクリーンショットを撮影したい機会があった。 そこで Selenium の Python バインディングと Headless Chrome を使ったところ実現できたのでメモしておく。 ちなみに、ページ全体でなければ Headless Chrome 単体でも撮れる。 その方法についても末尾に補足として記載しておいた。 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.13.5 BuildVersion: 17F77 $ python -V Python 3.6.5 $ pip list --format=columns | grep -i selenium selenium 3.13.0 $ chromedriver --version ChromeDriver 2.
Seleniumでスクリプトを書くのに使える記録ツールあれこれ | MagicPod Tech Blog | MagicPod: AIテスト自動化プラットフォーム
Seleniumの記録・再生ツールといえばSelenium IDEやSelenium Builderが有名ですが、これらのツールはFirefox55以降動作しなくなっていました※1。そこでSeleniumプロジェクトチームによって新バージョンの開発が進められ、先日ついに、Chromeで動作する新しいSelenium IDEのバージョン1.0がリリースされました。 今日は、この新しいSelenium IDEをはじめとする、無料で使える様々なSeleniumスクリプトの記録ツールについてご紹介します。 なおこの記事では、プログラマー向けに、「プログラミング言語によるスクリプト作成の補助ツール」という観点から各種ツールを比較します。プログラミング言語でスクリプトを書く場合も、スクリプト記録ツールは下記のような用途に活用でき、非常に便利です。 ブラウザ上の要素のロケータ※2 を簡単に取得する テス
UIテストの最前線: SeleniumConf Berlin 2017参加レポート - DeNA Testing Blog
SWETグループの薦田です(@toshiya_komoda)。10月9、10日にドイツ・ベルリンで開催されたSelenium Conferenceに参加してきました。私もLightning Talksで、機械学習とUIテストに関する発表をさせていただきました(スライド)。 こちらの内容については、別の記事で書かせていただくこととし、この記事ではカンファレンスで聴講し、特に気になったトークについてレポートさせていただこうと思います。 ウェブ・アプリケーションにおけるUIテストの最前線の状況が少しでも伝われば幸いです。 Seleniumについておさらい Selenium WebDriverは、ウェブ・ブラウザをプログラムから操作するためのソフトウェアツールです。OSSとして開発されており、主な用途としてウェブ・アプリケーションのテスト自動化に用いられています。現バージョンは3.6.0（2017
How to write reliable browser tests using Selenium and Node.js
by Todd Chaffee How to write reliable browser tests using Selenium and Node.jsThere are many good articles on how to get started with automated browser testing using the NodeJS version of Selenium. Some wrap the tests in Mocha or Jasmine, and some automate everything with npm or Grunt or Gulp. All of them describe how to install what you need, along with giving a basic working code example. This i
Awesome Selenium : 素晴しい Selenium ライブラリの数々 - Qiita
元記事： Awesome Selenium Awesome List in Qiita Awesome Ruby Awesome Java Awesome JavaScript Awesome Node.js Awesome Python Awesome Go Awesome Appium Tools JavaScript selenium-webdriver - Selenium プロジェクトの公式 WebDriver バインディング. WD - WebDriver/Selenium 2 の node.js クライアント. WebdriverIO - WebDriver に 50 以上のアクションを追加したより良い実装. CasperJS - オープンソースナビゲーションスクリプティング & テスティングユーティリティ. Zombie.js - めちゃくちゃ早い, ヘッドレスフルスタック
E2Eテスト基盤開発を担当して - Qiita
freee Engineers Advent Calendar 2016 12月17日担当の @futoase です。 現在、E2Eテスト基盤構築の担当をしています。1 Capybara、SitePrism および Selenium に触れていく中で自分や弊社メンバーから得た知見について記載します。 4点の内容となります。 Capybara + SitePrism Selenium E2Eの目的 E2E基盤構築を担当してみて思ったこと Capybara + SitePrism 同僚の @kompiro が Capybara + SitePrism を使うことを提案、フレームワーク化を行ってくれたのでテストケース作成に利用しています。2 Selenium/Appium Advent Calendar 2016にてSitePrismを利用したPageObjectsパターンを使ったテスト作成につ
kintoneチームを支えるSeleniumテスト
2015/10/20のSelenium勉強会＠サイボウズの発表資料その2です。 http://connpass.com/event/20779/Read less
Seleniumをサポートするツールの紹介
Seleniumを使ってテストを行う際に役立つツール群を紹介します。これらを使うことでテストコードを書く手間が大幅に軽減されるはずです。 Selenium Builder Selenium IDEと並ぶレコーディングツールです。Firefoxのプラグインとして動作しますが、最新のバージョンでは再生にSelenium Serverを利用するため、IEやChromeでも再生可能になりました。 次に、簡単に操作方法をご紹介します。 操作方法 対象のページを開き、FireFoxのオプションから、開発ツール「Launch Selenium Builder」を選択します。 記録ボタンをクリックして記録が開始されます。なお、左下より言語を選択できますので、好きな言語を選べます。 記録しているウィンドウは、タブのバックグラウンドカラーがグリーンに変わっています。 記録画面ではリアルタイムで、動作が表示され
ブラウザ操作の自動化: selenium と ruby - momota.txt
selenium と ruby を使ってブラウザ GUI 操作を自動化する。 selenium は、Web アプリケーションの自動テストのためのツール。 レグレッションテストによく使われているようだ。 selenium は、ブラウザ操作シナリオを事前に設定して、シナリオ通りに実行してくれる。 シナリオ設定といっても、Firefoxプラグインの Selenium IDE などを使うと操作を 記録してくれる機能があるのでそこまで大変ではない。 詳細は、Ruby アソシエーション – selenium の “1.2 テストの作成” あたりを参照してほしい selenium は、クロスブラウザのツールで、IE を使って IE限定みたいなサイトでも使える。 IE や Chrome で使うには各 Selenium WebDriver が必要となる。 テスト用と言いつつ、使い道はいろいろとある。 社内の
Selenium WebDriverで、新規会員登録フローのE2Eブラウザテストを自動化してみた。 - ハウテレビジョンブログ
どうも。エンジニアの@bumcruです。 Qiitaの「Selenium/Appium」アドベントカレンダー9日目の記事です。 去る10月に行われた開発合宿、今年のテーマは「自動化」でした。 テーマの範囲内で、個々人が自由に好きなものを作るわけですが、 僕が選んだお題は「Seleniumでのブラウザテスト自動化」です。 今回は、Selenium WebDriver *1 の知識がほとんど無い状態から、 2泊3日で弊社の外資就活ドットコムの会員登録フローを自動化するまでの顛末と、 ハマりやすいポイント、その解決法をご紹介します。 基本的には「せれにうむ？」な人に向けた記事なので、すでにSeleniumを十分使いこなせている人は、 「あるあるw」とか「そこはこうした方がいいよ」などのコメントを頂けると幸いですm(_ _)m Webサービスこそ E2Eテストを自動化すべき パッケージ開発や受託開
Java製SeleniumラッパーのSelenideを使ってみた - Qiita
Selenium勉強会＠サイボウズに行ってきました #selenium_cybozu の記事で Selenideの話 Selenide == Javaで書かれたSeleniumクライアントラッパー というのを見つけてGroovy製のGebと比較したいなと思い、使ってみました。 Selenideについて 公式はここ。http://selenide.org/ Selenide is a wrapper for Selenium WebDriver that brings the following advantages: Concise API for tests Ajax support True Page Objects jQuery-style selectors You don't need to think how to shutdown browser, handle timeou
WebdriverIOならyieldでテストが書けるぞ！！！！！！！！ - マルシテイア
先日、JavaScript用E2EテストツールWebdriverIOの新バージョンがリリースされました！ webdriver.io WebdriverIO E2Eテスト用WebDriverのラッパーです 僕は↓の記事で知りました motemen.hatenablog.com Protractorとかと比べて比較的シンプルだった印象だが今回は……？？？ 新機能 今回のバージョンの目玉機能はこちら テストランナー wdio yieldでテストが書ける テストランナー wdio WebDriverIO の略ですね karmaと同じく、wdiio.conf.jsでブラウザ、フレームワーク等を指定する感じです wdio.conf.jsにSauce Labs, Browserstackのアクセスキーを書くことでこれらのサービスを簡単に使えるみたいです あとmochaのオプションも埋め込める（mocha
SeleniumでChromeのデベロッパーツール相当の機能を使ってみよう - Qiita
この記事はSelenium/Appium Advent Calendar 2014の12日目の記事です。誰も書かなさそうなので小ネタを引っ張りだしてきました。 chromedriverのアーキテクチャ chromedriverはJSON Wire Protocolを受けるSelenium ServerとChromeの間の通信をRemote debugging protocolで行っています。これは、Chromeに標準で内蔵されているDeveloper Toolsでも利用しているものです。 chromedriverを使ったプログラムを途中で止めて、Developer Toolsでデバッグしてみて、そのDeveloper Toolsを閉じずに、プログラムを再開したら、Seleniumのセッションが使えずに死ぬといった経験はわかる人にはわかるでしょう。これは、両者が同じAPIを利用していて、かつ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
