はじめに こんにちは、IT 戦略部システム基盤グループの井戸です。 当グループは社内向けに様々なサービス（GitHub、Jira、Confluence など）を提供し、それらの運用を担当しています。最近では社内向けサービスに SaaS を活用する機会が増え、その数も増加しています。 SaaS を利用することは、従来のオンプレミスのサービスと比較していくつかのメリットがあると言われており、概ねその通りだと思います。 物理サーバーを購入する必要がないため、導入コストが低い 月額利用が一般的なため、利用開始や解約のハードルが低い ベンダーがセキュリティ対策を担当するため、ユーザーはセキュリティを意識する必要がない クラウド上でサーバーの管理が行われるため、物理的なスペースを確保する必要がない 障害時の対応はベンダーが行うため、自ら対応する必要がない ただし、「障害時の対応はベンダーが行うため、自
はじめに こんにちは、Selenium 4の正式版がなかなかリリースされなく、ソワソワしている品質管理部・自動化推進ブロックの木村です。 私が所属する品質管理部は、ZOZOTOWNやWEARなどの開発プロジェクトに対してテスト・検証を行い、完成品がユーザーの手に届いても問題ないかを確認する部署です。その品質管理部では、先日、部署で開発運用しているSeleniumによる自動テストのシステムをオンプレからAWSに移行しました。自動テストの書き方や、個々のAWSサービスの使い方の記事は多く存在するので、本記事では自動テスト全体の概要を紹介します。単純な移行だけでなく、サーバレスやマネージドサービスを活用しているので、部分的にでも参考になる点があれば幸いです。 背景 品質管理部が行っていたリグレッションテストやシステムテストを部分的に自動化するために、Seleniumによる自動テストのシステムを開
今回は、Selenium ServerによるWebブラウザ自動操作環境を、Ubuntu上にDockerを使って簡単に構築する方法を紹介します。 Webブラウザの自動操作を可能にするSelenium Seleniumは、Webアプリケーションのテストを、人が操作することなく自動で行うために開発されているソフトウェアです。本来は「テストの自動化」のために開発されたソフトなのですが、Webブラウザを用いて行っている業務の自動化や、Webサイトの情報を自動収集するスクレイピングなどにも使われています。 今回、主に紹介するのは「Selenium Server」を使う方法ですが、他に「Selenium IDE」というFirefoxおよびGoogle Chrome用の拡張機能も開発・配布されています。Selenium IDEを使えば、デスクトップ環境でWebブラウザの操作を記録し、簡単に再実行させること
2020年は、突如Playwrightが現れ、Seleniumを置き換えるほどの勢いでいろいろなツールが現れました。 Puppeteerは、Playwrightが出てからもTypeScript化をしたりカスタムクエリハンドラ機能が実装されたりと、Chrome DevToolsプロトコルを利用するライブラリとして改善が続いています。 今年１年の Puppeteerのリリースページ https://github.com/puppeteer/puppeteer/releases Playwrightのリリースページ https://github.com/microsoft/playwright/releases を時系列にまとめてみます。 2020年1月。 PuppeteerとPlaywrightの15日間の演劇 https://speakerdeck.com/taminif/relation-
【機械学習】機械学習を用いたin silico screening【AI創薬】~第2/5章 スクレイピングによる公共データベース（PDB)からの機械学習データを収集~ - LabCode
AI創薬とは？ AI創薬は、人工知能（AI）技術を利用して新しい薬物を発見、開発するプロセスです。AIは大量のデータを高速に処理し、薬物の候補を予測したり、薬物相互作用を評価したりします。また、AIは薬物の効果や安全性をシミュレートすることも可能で、臨床試験の前の段階でリスクを評価することができます。これにより、薬物開発のコストと時間を大幅に削減することが期待されています。AI創薬は、薬物開発の新しいパラダイムとして注目を集め、製薬企業や研究機関で積極的に研究、導入が進められています。また、バイオインフォマティクス、ケモインフォマティクス、機械学習、ディープラーニングなどの技術が組み合わされ、薬物開発のプロセスを革新しています。さらに、AI創薬は個人化医療の推進にも寄与し、患者にとって最適な治療法を提供する可能性を秘めています。 今回はAI創薬の中でも、in silico screeeni
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? この記事はQiitaトレンドランキングで2位を獲得しました。 【作ったもの】 カテゴリやランキングからYoutuberを探せるサイト：YOUTUBERランキング 【アクセスレポート】 アクセスリアルタイムレポート 概要 今回はリモートで通勤がなくなり自由時間が多くなったということで、個人開発をしてみたので、備忘がてらやったことを振り返ってみました。 WEB系に興味がある方などには、参考になる部分があるかもしれないので共有しますので、興味がありましたらLGTM、ストックお願いします。 対象読者 Webサイトの立ち上げ方を知りたい人 書いて
はじめに メイン機以外で定期実行されるクローラを作りたいと思ったわけですが、その場合ローカル環境に全く依存しない形が取れれば最高だということで、Docker環境の構築に乗り出しました。 全体図 Python実行環境とSeleniumHQ/docker-seleniumはDocker Composeを利用して別のコンテナとして立てます。 そしてSeleniumHQ/docker-seleniumを通じてVNC接続することで、簡単にクローラの挙動をチェックできます。 ちなみに、SeleniumHQ/docker-seleniumがあれば、ChromeやChromeDriverのセットアップは不要です。 環境構築 Docker 最近はWindows10 Homeでも簡単にインストールできるようになったようです。 Dockerのインストーラの指示に従っていれば使える状態になります。 VSCode(
Python × Selenium × Cloud Runで手軽にブラウザ操作botを作ってみよう！ - asoview! Tech Blog
アソビューでふるさと納税事業・ギフト事業の開発責任者をしております、川又です。 アソビューでは「アソビュー！」「ウラカタ」に次ぐ第3の主要サービスを目指し、 新規事業として「アソビュー！ふるさと納税」「アソビュー！ギフト」を展開しております。 furusato.asoview.com store.asoview.com これら新規事業の開発責任者とは名ばかりで、少数精鋭な開発チームなので私も第一線で様々なシステムの開発を行っています。 学生の頃からパソコンを駆使して身の回りの課題を解決することが好きだったため、これからも開発を続けて行きたいものです。 さて、今回はそんな私がプライベートで「とあるサイトでの予約を自動化したい」という怠惰願望から 自動でブラウザを操作し予約ボタンをポチッと押してくれるbotを開発しましたので、botを構築・デプロイするまでの流れをご紹介したいと思います。 ※今
Python: Selenium: Dockerで、Chromeブラウザ最新版が動く仮想環境を立てて、24時間自動WEBサーフィンさせる環境の基礎を作る - Qiita
Selenium は、プログラムコードでWEBブラウザを自動操縦できるソフトウェアです。 ただSeleniumを使ってWEBブラウザを自動操縦するにしても、そのままでは、実行するのにPCやMacが必要です。あなたが寝てる間もPCやMacを起動しっぱなしにするのは不毛ですよね。 そこで有用なのが docker-selenium です。 ブラウザが動く仮想環境をDockerで好きなように立てられる便利なOSSです。 docker-selenium を使えば、AWSなどクラウド環境を利用して24時間自動WEB巡回や自動テストを実行させる環境を構築できます。 ところで、WEBブラウザは色々ありますよね。 その中でもメジャーなのはやはりGoogle Chrome。 Chromeを使いたい。 ただそのままでは、最新版Chromeが動くDockerイメージ selenium/node-chrome（v4
VS Code の拡張機能「Dev Containers」を使いこなす！おすすめ設定10選 - 虎の穴ラボ技術ブログ
こんにちは。虎の穴ラボのサカガミです。 今回は Visual Studio Code (以下 VS Code) で利用できる 拡張機能「Dev Containers」のおすすめ設定を紹介します。 Dev Containers とは？ Dev Containers は、VS Code の拡張機能で、開発環境をコンテナ化することで、 開発者が統一された環境で作業できるようにするものです。 これにより、異なるマシンでの環境設定のばらつきを防ぎ、 プロジェクトの依存関係を一元管理できます。 Dev Containers を使用することで、開発者は簡単に環境を共有し、 プロジェクトに必要なツールやライブラリを容易に設定できます。 marketplace.visualstudio.com Dev Containers のメリット Dev Containers を利用することで得られる主なメリットは以下
はじめに Cloud Functions上でheadless-chrome を Python で動かす方法を紹介します。 Cloud FunctionとDocker Desktopを導入してあるものとします。 今回書いたコードは、Gitにアップしてあります https://github.com/hayashikengo/python-selenium-gcf-template Cloud Functionsへのデプロイは、Mac OSで実行しています。 crawler ディレクトリを作って、その中で作業しています。 背景 GCPのserverless環境で、クローラー（Python）を動かしたいという要件があった。 データクレンジング処理に使うライブラリは、Pythonが充実しているので、Pythonを使いたい。 インフラ構成 CloudSchedulerで Pub/Sub を使用して C
JetBrains は約 1 年半前にテスト自動化用 JetBrains IDE である Aqua のプレビューバージョンをリリースし、それから Aqua は大きく進化しています。 Cypress と Playwright のサポートなどの重要な機能を追加し、 Selenium をサポートすることで、Aqua はテスト自動化プロジェクトに最適なツールとなりました。 今回、その Aqua が一般公開されました！ 特に EAP 参加者の皆さんからの信頼、サポート、そして貴重なフィードバックには感謝しています。おかげさまでほとんどの重大な問題を一般リリース前に解決することができました。 皆さんへの感謝とテストコミュニティ内の成長促進への取り組みのしるしとして、Aqua の個人用非商用利用の無料ライセンスを提供いたします。 商用ライセンスもご利用可能です。 詳細については、この記事を引き続き読み進
はじめに 前回の記事でDockerコンテナでPython環境を作成しSeleniumを操作してみました。 今回はWebページのフォームで値を入力し、その結果の表示確認をしてみます。 SeleniumでWebページを操作する基本のような部分を備忘録として残すために記載したので見づらいかもしれませんが、そこはご了承ください。 実施すること 今回は下記の項目を実施してみようと思います。 Seleniumを使用しChromeを起動する。 Webページを表示する。 ページ内のボタン要素をクリックし、ページ遷移する。 遷移後のページで必要な要素が表示されるまで待機する。 ページのp要素からテキストを取得する。 ページ内のボタン要素をクリックし、ダイアログボックスを表示させる。 ダイアログボックス内のinput要素に値を入力する。 ダイアログボックス内のdropdownメニューから値をセレクトする。 ダ
![[Python] Docker+Python+Seleniumでスクレイピング - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/19bb9a9c6d4294c8e88456437cc51778fe1c373a/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnBicy50d2ltZy5jb20lMkZwcm9maWxlX2ltYWdlcyUyRjExNzAzMjk0OTMyMzc0MjgyMjQlMkZYbEhTdVRRbF9iaWdnZXIuanBnP2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZiZz1GRkZGRkYmZm09cG5nMzImcz1iYTYyZjY5NmRkYWNhZjQ1Y2E2ZDNhMzZhYTdjNTMxMg%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D7abb2f75bf5e692007e4081095744e83%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCUHl0aG9uJTVEJTIwRG9ja2VyJTJCUHl0aG9uJTJCU2VsZW5pdW0lRTMlODElQTclRTMlODIlQjklRTMlODIlQUYlRTMlODMlQUMlRTMlODIlQTQlRTMlODMlOTQlRTMlODMlQjMlRTMlODIlQjAmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtcGFkPTAmcz0xYmMxNTMzMmQ2NmUyMGJiZTJjMDAwYmQ0MGMwMzhjYg%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDB5X2tpdGNoZW5zJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LXBhZD0wJnM9YmVlZWE0NjA1NzNiMDk0OTNiMzc0MGJiNzBmZWNmNDY%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3Dd76239ba0bf787548793f52a24999e85)
FROM python:3.8.8-buster WORKDIR /usr/src/app # Webブラウザ「google-chrome」をインストールする。 # 当然 google-chrome のバージョンに応じて手順は異なるので、随時手順を確認すること. RUN wget --no-check-certificate https://dl-ssl.google.com/linux/linux_signing_key.pub RUN apt-key add linux_signing_key.pub RUN sh -c 'echo "deb http://dl.google.com/linux/chrome/deb/ stable main " >> /etc/apt/sources.list' RUN apt-get update -y RUN apt-get install go
When I tried to use Selenium on RaspberryPi whose OS is Ubuntu, I couldn't do it because any image of SeleniumHQ/docker-selenium doesn't support arm64. I tried another way, which is downloading chromedriver from https://chromedriver.chromium.org/downloads, but it didn't work. I was completely exhausted. That's why I'm writing how to manage to do Selenium on the device . Seleniarm Run a container I
GitHub - taishi-i/awesome-ChatGPT-repositories: A curated list of resources dedicated to open source GitHub repositories related to ChatGPT and OpenAI API
awesome-chatgpt-api - Curated list of apps and tools that not only use the new ChatGPT API, but also allow users to configure their own API keys, enabling free and on-demand usage of their own quota. awesome-chatgpt-prompts - This repo includes ChatGPT prompt curation to use ChatGPT better. awesome-chatgpt - Curated list of awesome tools, demos, docs for ChatGPT and GPT-3 awesome-totally-open-chat
LambdaにてSeleniumを実行するためには、Headlessモードで実行する必要があります。 前提 AWSアカウントにアクセスできる AWS CLIが利用可能 SAM CLIが利用可能 やること ① LambdaにてSeleniumをHeadlessモードで実行できるようにする ② AWS SAMを利用したIaC (Infrastructure as Code) ③ ローカルでテストしやすいようにする(Headfulモード) ① LambdaにてSeleniumをHeadlessモードで実行できるようにする LambdaのPythonスクリプトでSeleniumをHeadlessモードで実行できるようにします。 SeleniumなどのライブラリはLambdaレイヤーにする必要があるため、その作成も必要になります。 後述しますが、Selenium関連パッケージのバージョンの互換性がと
【WSL2, Debian, Ubuntu】システムテスト等でChromeを立ち上げた際にWSL2側の問題で文字化けしてしまう問題を解決する方法 - LEFログ
文字化けしたChromeの例 結論 Debianの場合 sudo apt install task-japanese sudo apt install fonts-ipafont sudo apt install fonts-ipaexfont fc-cache -fv でOK Ubuntuの場合は、 sudo apt install language-pack-ja sudo apt install fonts-ipafont sudo apt install fonts-ipaexfont fc-cache -fv でOK ※Debianの場合は、task-japaneseにする必要があるので注意が必要です（ネット上にあまり情報がない）。 経緯 WSL2のたび重なるアップデートのおかげで、WSL2へとインストールしたChromeがGUIとして操作できるようになりました。 そのおかげで、
Web scraping, or crawling, is the process of fetching data from a third-party website by downloading and parsing the HTML code to extract the data you need. "But why don't you use the API for this?" Not every website offers an API, and those that do might not expose all the information you need. Therefore, scraping often becomes the only viable solution to extract website data. There are numerous
Track Awesome List Updates DailyWe track over 500 awesome list updates, and you can also subscribe to daily or weekly updates via RSS or News Letter. This repo is generated by trackawesomelist-source, visit it Online or with Github. 📅 Weekly · 🔍 Search · 🔥 Feed · 📮 Subscribe · ❤️ Sponsor · 😺 Github · 🌐 Website · 📝 07/29 · ✅ 07/29 Table of Contents Recently Updated Top 50 Awesome List All Tr
Python (417) Ruby (281) docker (199) gitlab (135) 機械学習 (84) Mac (74) Swift (72) golang (65) emacs (63) sinatra (58) JavaScript (54) Minecraft (52) kubernetes (52) VMware (47) Ubuntu (44) RaspberryPi (43) flask (42) Google Cloud Platform (37) Xcode (32) celery (32) Linux (31) Windows (31) Arduino (26) Prometheus (25) FastAPI (24) MySQL (24) SQLAlchemy (24) Slack (24) AWS (23) StableDiffusion (23) J
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DeNA 流 SaaS の外形監視手法 | BLOG - DeNA Engineering
AWSで構築するSelenium自動テスト環境とその運用 - ZOZO TECH BLOG
第662回 Docker+Selenium ServerでWebブラウザ自動操作環境を作る | gihyo.jp
2020年: PuppeteerとPlaywrightの激動の１年。 - Qiita
【Vue/Firebase】ユーチューバー関連のサイトを立ち上げた話【個人開発】 - Qiita
DockerでPython-Seleniumスクレイピング環境を立てた - Qiita
Cloud Functions上でheadress-chromeをPythonで動かす
テスト自動化用 IDE の Aqua が一般公開！ | The Quality Assurance Blog
[Python] Docker+Python+Seleniumでスクレイピング - Qiita
Docker を活用して即座に Python Selenium 実行環境を作る - Qiita
Docker + Selenium + arm64 - Just a Note for Hobby
SeleniumをLambdaで実行する(快適な)環境を作る - Qiita
Web Scraping without getting blocked (2025 Solutions)
Track Awesome List Updates Daily
blender 2.82 で簡単にネジを作成する