Python3.9系でSelenium4を使ったスクレイピングアプリをlambdaで動かそうと試みたが、その結果は・・・ - Qiita
Python3.9系でSelenium4を使ったスクレイピングアプリをlambdaで動かそうと試みたが、その結果は・・・cloud9lambdachromedriverselenium4Python3.9 はじめに 定期的な情報収集をしたかったため、スクレイピングのアプリを作ったのだが、今回はクラウド上（AWS の lambda）への移植を試みた。 結局 Selenium の起動が上手くいかず完成できていないのだが、これまでの備忘としてメモを残しておく。 使ったサービス & 主要ソフト s3 lambda （lambda layer も利用） Cloud9 （lambda layer に登録するための、パッケージやドライバーの取得に使用） pytho3.9系 seleium 4.16.0 メモ内容 ⓪ まずは前提 今回は Selenium を使うアプリだったので、ブラウザ挙動を確認する必要
PythonとSeleniumでGoogle Chromeを動かしてみる - Qiita
PythonとSeleniumでGoogle Chromeを動かしてみる サマリ 公式のチュートリアルを見つつMacでやってみました。 少し詰まった部分があったのでメモ。 試した環境 OS: macOS Catalina 10.15.5 Python:3.8.0 Google Chrome:83.0.4103.116 webdriver:ChromeDriver 83.0.4103.39 インストール Pythonのライブラリをインストール ブラウザドライバーをインストール ドライバーは使っているブラウザバージョンに合わせて必要なものをDLします。 ブラウザをアップデートしていてもドライバーの最新版をインストールすればいいわけではありませんでした。 （よく見たらバージョンが違ったのでご注意を） わたしはプログラムを実行するディレクトリと同じ場所に置きました。 vaivailx@MacBoo
ゼロからはじめるPython(49) Pythonでブラウザ自動操縦してカード明細を自動でダウンロードしよう(その1)
クレジットカードの利用明細はこまめにチェックする必要がある。なぜなら、カードの不正使用などの危険があるからだ。しかし、最近ではオンライン明細が推奨されており、カード会社のサイトにログインして、明細をダウンロードしなければならないことも多い。カードが複数枚あるなら、それはかなり面倒な作業となる。そこで、自動でカード明細をダウンロードするプログラムを作ってみよう。今回は、環境の構築をし、簡単なプログラムを作ってみよう。 Webブラウザを自動操縦しているところ Webブラウザを自動操作しよう PythonにはデータをWebから取得する命令がいろいろある。最も簡単なのは、Pythonに標準で用意されているurllib.requestだ。これを使うと任意のURLからデータを取得できる。しかし、最近のWebサイトは、セッションという仕組みを利用していたり、JavaScriptでページをレンダリングした
Docker上でSeleniumとHeadless ChromeとPython3を動かす - Qiita
自己紹介1 高橋 太郎 インターマン株式会社 社内エンジニア（FileMaker、インフラ周り、その他いろいろ） いま一番興味のある技術:Google Colaboratory 趣味でこんなもの作ってます。 500円で作る自転車用防犯カメラ お品書き MacでSeleniumを動かそう DockerでSeleniumを動かそう デモ 解説 MacでSeleniumを動かそう ある日、こんな依頼がありました 「ブラウザで毎日やっている作業があるんだけど自動化出来ない？」 「多分出来ますよ（SeleniumとPythonでやってみよう）」 MacでSeleniumを動かすのは結構簡単 前提としてHomebrewとPython3がインストール済みであること 動いたのでレビューしてもらおう 同僚の開発マシンはWindows 7 レビューのためにWindows用の手順書をつくるのはめんどくさい そう
Python: Selenium + Headless Chrome で Web ページ全体のスクリーンショットを撮る - CUBE SUGAR CONTAINER
スクレイピングした Web サイトからページ全体のスクリーンショットを撮影したい機会があった。 そこで Selenium の Python バインディングと Headless Chrome を使ったところ実現できたのでメモしておく。 ちなみに、ページ全体でなければ Headless Chrome 単体でも撮れる。 その方法についても末尾に補足として記載しておいた。 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.13.5 BuildVersion: 17F77 $ python -V Python 3.6.5 $ pip list --format=columns | grep -i selenium selenium 3.13.0 $ chromedriver --version ChromeDriver 2.
Robot Framework + Selenium2Libraryで簡単受け入れテスト | Ryuzee.com
Robot Frameworkは受け入れテストや受け入れテスト駆動開発(ATDD)に使えるテスティングフレームワーク。 http://code.google.com/p/robotframework/で開発が進められている。 プレインテキストやHTML形式でテストケースを記述できること、pythonまたはjavaによってテストライブラリを作って拡張できることが特徴だ。 ここではRobot FrameworkとSelenium2(WebDriver)を組み合わせて、受け入れテストを自動化する方法について説明する。 WebDriverを単独で使ってWebアプリケーションのエンドツーエンドテストを作る場合、どうしても画面ができてからしかテストケースが作れないというのが大きな問題だ。そのため例えばPHPであればBeHatと組み合わせしたりするのだが、今回の方法は更に簡単だ。 例えば、アジャイルな開
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
