今回は、Selenium ServerによるWebブラウザ自動操作環境を、Ubuntu上にDockerを使って簡単に構築する方法を紹介します。 Webブラウザの自動操作を可能にするSelenium Seleniumは、Webアプリケーションのテストを、人が操作することなく自動で行うために開発されているソフトウェアです。本来は「テストの自動化」のために開発されたソフトなのですが、Webブラウザを用いて行っている業務の自動化や、Webサイトの情報を自動収集するスクレイピングなどにも使われています。 今回、主に紹介するのは「Selenium Server」を使う方法ですが、他に「Selenium IDE」というFirefoxおよびGoogle Chrome用の拡張機能も開発・配布されています。Selenium IDEを使えば、デスクトップ環境でWebブラウザの操作を記録し、簡単に再実行させること
アソビュー！ Advent Calendar 2022の2日目（裏面）の記事です。 アソビューでQAをしている渡辺です。 前職ではエンジニア、およびQAをしておりましたが、10月よりアソビューにQAとして入社しました。 今回は、API呼び出しを含むE2Eテストの自動化を、他社ウェブサイトに仕様記載の無料公開APIで試してみた話となります。 アソビューのQAでは、開発スピードと品質向上の両立を図ることを重視しています。 そのためにも、シフトレフトやテスト自動化推進の取り組みは重要です。 現在QAとして参画中のプロジェクトでAPIの外部公開があり、E2EテストとしてAPIを含むテストの自動化はこれまでしていないので、APIを含むテストについて、Seleniumで簡単に自動化できないか試してみました。 なぜSeleniumか？ なぜPythonか？ 試してみるテストケース 天気予報APIの仕様
chatGPT-4に「ウェブスクレイピング→情報をPDF保存の自動化ツール開発」で作ってと頼んだら・・・コード１行も書かずに出来た😅｜hantani
chatGPT-4に「ウェブスクレイピング→情報をPDF保存の自動化ツール開発」で作ってと頼んだら・・・コード１行も書かずに出来た😅 ある所で、「ウェブスクレイピング→情報をPDF保存の自動化ツール開発」は案件定義で３日かかりますよと書いてありました。 chatGPT-4使ったらどうなるんだろうと思ってやってみました。 結論をいうと「余裕で案件定義もプログラムもコードを一行も書かずに出来ました」 以下、「Q.」が質問（プロンプト）です。「A.」がchatGPT-4からの回答です。 プロンプタ(魔術師)とchatGPTとのリアルなやり取りです。長いですよ😅 Q.あなたはプログラマです。ウェブスクレイピング→情報をPDF保存の自動化ツール開発はどのような案件がひつようでしょうか？ A.ウェブスクレイピングと情報をPDF保存の自動化ツールを開発するには、以下の要件が必要です。 プロジェクトの
はじめにエンジニアの@biosugar0です。 皆さんは2020年のre:Inventで発表されたLambdaのコンテナサポートを使っていますか？ この機能、個人的にはこれまでのZIPで固めてやる方法があまり好きではなかったのでとても嬉しい発表でした。 さて、今回はLambdaコンテナ内でplaywright-pythonを使う方法を紹介します。(playwright自体の使い方の説明はしません) PlaywrightPlaywrightは、マイクロソフトが開発しているブラウザ操作を自動化するためのライブラリおよびCLIツールです。このようなライブラリはpuppeteerやseleniumも有名ですね。 主にNode.jsライブラリとして開発されていますが、python用のplaywright-pythonもあり、今回はこちらを使います。 Lambda コンテナの準備使用したbaseイメー
GitHub Actionsを利用したE2E自動化テストの実現 ～ Achieving E2E Automated Testing with GitHub Actions ～ 利用GitHub Actions实现E2E自动化测试 - スタディサプリ Product Team Blog
こんにちは。スタディサプリのQAチームです。 今回のBlogではスタディサプリで実施している自動化テストの一部の取り組みについて紹介させていただきます。 なお、スタディサプリQAチームの特性を活かし、本記事については日英中３言語で記載します。より多くのオーディエンスに読んで頂ければ嬉しいです。 自動化する動機 まず、なぜ自動化テストを導入するのでしょうか。 1. 新規機能が追加される度に、既存機能への影響を確認するための回帰テストをしなければなりません。 2. 繰り返し同じテストを手動実行することにより、テストコストが増加します。 3. 人間が実施すると、人為的ミスによる不具合の検出漏れが発生してしまう可能性が否定できません。 そのため、品質を担保した上でより早くリリースすることを目的とし自動化を導入しました。 現在の開発およびテストフロー QAが回帰テストの自動化テストスクリプトをGit
[Browser Use] 触ってみた結果と感想
# 必要なライブラリをインポート from langchain_openai import ChatOpenAI # OpenAIのチャットモデルを利用するためのライブラリ from browser_use import Agent # エージェント機能を提供するライブラリ import asyncio # 非同期処理を使うためのライブラリ # 非同期関数mainを定義 async def main(): # Agentのインスタンスを作成 agent = Agent( task="Zennで小倉さんというユーザーの最新記事を教えて", # エージェントに対するタスク（質問） llm=ChatOpenAI(model="gpt-4o", api_key="xxxxxxxxxxxxxx"), # GPT-4oモデルを使う（APIキーは仮の値） ) # エージェントにタスクを実行させ、その結果
![[Browser Use] 触ってみた結果と感想](https://cdn-ak-scissors.b.st-hatena.com/image/square/2d460bdf240183e5fab90b48c628ebae17ad0140/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--41ff8_pi--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BBrowser%252520Use%25255D%252520%2525E8%2525A7%2525A6%2525E3%252581%2525A3%2525E3%252581%2525A6%2525E3%252581%2525BF%2525E3%252581%25259F%2525E7%2525B5%252590%2525E6%25259E%25259C%2525E3%252581%2525A8%2525E6%252584%25259F%2525E6%252583%2525B3%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3A%2525E5%2525B0%25258F%2525E5%252580%252589%2525E3%252581%252582%2525E3%252582%252593%252520%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2FhZTc3ZDA0MzcuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
When I tried to use Selenium on RaspberryPi whose OS is Ubuntu, I couldn't do it because any image of SeleniumHQ/docker-selenium doesn't support arm64. I tried another way, which is downloading chromedriver from https://chromedriver.chromium.org/downloads, but it didn't work. I was completely exhausted. That's why I'm writing how to manage to do Selenium on the device . Seleniarm Run a container I
This is an python API which allows you to get the transcripts/subtitles for a given YouTube video. It also works for automatically generated subtitles, supports translating subtitles and it does not require a headless browser, like other selenium based solutions do! Unverified details These details have not been verified by PyPI Project links Homepage Repository Meta License: MIT License (MIT) Aut
GitHub - taishi-i/awesome-ChatGPT-repositories: A curated list of resources dedicated to open source GitHub repositories related to ChatGPT and OpenAI API
awesome-chatgpt-api - Curated list of apps and tools that not only use the new ChatGPT API, but also allow users to configure their own API keys, enabling free and on-demand usage of their own quota. awesome-chatgpt-prompts - This repo includes ChatGPT prompt curation to use ChatGPT better. awesome-chatgpt - Curated list of awesome tools, demos, docs for ChatGPT and GPT-3 awesome-totally-open-chat
An AI-native software engineer is one who deeply integrates AI into their daily workflow, treating it as a partner to amplify their abilities. This requires a fundamental mindset shift. Instead of thinking “AI might replace me” an AI-native engineer asks for every task: “Could AI help me do this faster, better, or differently?”. The mindset is optimistic and proactive - you see AI as a multiplier
Web scraping, or crawling, is the process of fetching data from a third-party website by downloading and parsing the HTML code to extract the data you need. "But why don't you use the API for this?" Not every website offers an API, and those that do might not expose all the information you need. Therefore, scraping often becomes the only viable solution to extract website data. There are numerous
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
第662回 Docker+Selenium ServerでWebブラウザ自動操作環境を作る | gihyo.jp
SeleniumによるAPI呼び出しを含むE2Eテスト自動化 - asoview! Tech Blog
AWS Lambda with Container ImageでPlaywrightを動かす | エスマット
Docker + Selenium + arm64 - Just a Note for Hobby
youtube-transcript-api
The AI-Native Software Engineer
Web Scraping without getting blocked (2025 Solutions)