今回は、Selenium ServerによるWebブラウザ自動操作環境を、Ubuntu上にDockerを使って簡単に構築する方法を紹介します。 Webブラウザの自動操作を可能にするSelenium Seleniumは、Webアプリケーションのテストを、人が操作することなく自動で行うために開発されているソフトウェアです。本来は「テストの自動化」のために開発されたソフトなのですが、Webブラウザを用いて行っている業務の自動化や、Webサイトの情報を自動収集するスクレイピングなどにも使われています。 今回、主に紹介するのは「Selenium Server」を使う方法ですが、他に「Selenium IDE」というFirefoxおよびGoogle Chrome用の拡張機能も開発・配布されています。Selenium IDEを使えば、デスクトップ環境でWebブラウザの操作を記録し、簡単に再実行させること
今や大人気のスクリプト言語「Python」は、PC内の処理はもちろんインターネットやクラウドとの親和性も高いという特徴を持つ。Pythonを使ってExcelファイルの変換などPC内で完結する処理から、クラウドを活用した各種自動化処理まで便利なスクリプトの数々を紹介する。 Pythonを使って任意のWebサイトからデータを取得するのは比較的簡単です。しかし、最近ではJavaScriptなどを利用して動的に画面を構成したりデータを取得したりすることによって構成されるWebサイトが増えています。このようなサイトからデータを取得するのは骨が折れる作業となります。そこで試したいのがWebブラウザーをPythonから操縦するフレームワーク「Selenium」です。Seleniumを使うとFirefox/Chromeといった主要なブラウザーをPythonなどのプログラミング言語から自動操縦できます。 こ
GitHub Actionsを利用したE2E自動化テストの実現 ～ Achieving E2E Automated Testing with GitHub Actions ～ 利用GitHub Actions实现E2E自动化测试 - スタディサプリ Product Team Blog
こんにちは。スタディサプリのQAチームです。 今回のBlogではスタディサプリで実施している自動化テストの一部の取り組みについて紹介させていただきます。 なお、スタディサプリQAチームの特性を活かし、本記事については日英中３言語で記載します。より多くのオーディエンスに読んで頂ければ嬉しいです。 自動化する動機 まず、なぜ自動化テストを導入するのでしょうか。 1. 新規機能が追加される度に、既存機能への影響を確認するための回帰テストをしなければなりません。 2. 繰り返し同じテストを手動実行することにより、テストコストが増加します。 3. 人間が実施すると、人為的ミスによる不具合の検出漏れが発生してしまう可能性が否定できません。 そのため、品質を担保した上でより早くリリースすることを目的とし自動化を導入しました。 現在の開発およびテストフロー QAが回帰テストの自動化テストスクリプトをGit
データアナリティクス事業本部のueharaです。 今回はGoogle ColaboratoryでPythonからSeleniumを使うための設定方法を紹介したいと思います。 はじめに 2023年5月時点では、Google Colaboratory上で単純に!apt install chromium-chromedriverでchromedriverをインストールした後、Seleniumを実行しようとしても以下のようなエラーが発生し強制終了してしまいます。 WebDriverException: Message: Service /usr/bin/chromedriver unexpectedly exited. Status code was: 1 これは、今年の1/18にColabのデフォルトのランタイムが（数年ぶりに）Ubuntu 18.04 LTSからUbuntu 20.04 LTS
When I tried to use Selenium on RaspberryPi whose OS is Ubuntu, I couldn't do it because any image of SeleniumHQ/docker-selenium doesn't support arm64. I tried another way, which is downloading chromedriver from https://chromedriver.chromium.org/downloads, but it didn't work. I was completely exhausted. That's why I'm writing how to manage to do Selenium on the device . Seleniarm Run a container I
GitHub - taishi-i/awesome-ChatGPT-repositories: A curated list of resources dedicated to open source GitHub repositories related to ChatGPT and OpenAI API
awesome-chatgpt-api - Curated list of apps and tools that not only use the new ChatGPT API, but also allow users to configure their own API keys, enabling free and on-demand usage of their own quota. awesome-chatgpt-prompts - This repo includes ChatGPT prompt curation to use ChatGPT better. awesome-chatgpt - Curated list of awesome tools, demos, docs for ChatGPT and GPT-3 awesome-totally-open-chat
【WSL2, Debian, Ubuntu】システムテスト等でChromeを立ち上げた際にWSL2側の問題で文字化けしてしまう問題を解決する方法 - LEFログ
文字化けしたChromeの例 結論 Debianの場合 sudo apt install task-japanese sudo apt install fonts-ipafont sudo apt install fonts-ipaexfont fc-cache -fv でOK Ubuntuの場合は、 sudo apt install language-pack-ja sudo apt install fonts-ipafont sudo apt install fonts-ipaexfont fc-cache -fv でOK ※Debianの場合は、task-japaneseにする必要があるので注意が必要です（ネット上にあまり情報がない）。 経緯 WSL2のたび重なるアップデートのおかげで、WSL2へとインストールしたChromeがGUIとして操作できるようになりました。 そのおかげで、
Pythonでスクレイピングを実装する機会があったので、その中で利用した（もしくは技術検証した）ライブラリについて、特徴やどういう時に利用するかについて個人的な見解を書いていこうと思います。 requests 特徴 インストール 実装サンプル 単純にリクエスト リトライありでリクエスト Beautiful Soup 特徴 インストール 実装サンプル pyppeteer 特徴 詳細 requests-html 特徴 実装サンプル ヘッドレスブラウザを使わないケース ヘッドレスブラウザを使うケース scrapy 特徴 詳細 参考リポジトリ 結局どれを使う？ requests 指定したURLに対してリクエストを投げて、レスポンスを取得することができるシンプルなライブラリです。 JavaScript実行を必要としないような静的なサイトからResponseを取得する目的であればこれで十分です。 特徴
Python (417) Ruby (281) docker (199) gitlab (135) 機械学習 (84) Mac (74) Swift (72) golang (65) emacs (63) sinatra (58) JavaScript (54) Minecraft (52) kubernetes (52) VMware (47) Ubuntu (44) RaspberryPi (43) flask (42) Google Cloud Platform (37) Xcode (32) celery (32) Linux (31) Windows (31) Arduino (26) Prometheus (25) FastAPI (24) MySQL (24) SQLAlchemy (24) Slack (24) AWS (23) StableDiffusion (23) J
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
第662回 Docker+Selenium ServerでWebブラウザ自動操作環境を作る | gihyo.jp
Pythonでブラウザーを自動操縦してデータを収集したい
Google ColaboratoryでSeleniumを使うための設定方法 | DevelopersIO
Docker + Selenium + arm64 - Just a Note for Hobby
pythonでスクレイピングする際に利用するライブラリ比較 - rinoguchiのメモブログ
blender 2.82 で簡単にネジを作成する