OpenInterpreter / ついにAIがガチのアシスタントに!これは凄い、というか凄すぎる｜shi3z
凄いものが出てきてしまった。 ChatGPTの「Code Interpreter」が話題になったが、あれはあくまでクラウド上で動いているだけ。それを模してローカルで動作するようになった「Open Interpreter」は、衝撃的な成果である。 Open Interpreterのインストールは簡単。コマンド一発だ $ pip install open-interpreter起動も簡単 $ interpreter -yこれだけでOK。 あとはなんでもやってくれる。 たとえばどんなことができるのかというと、「AppleとMetaの株価の推移をグラフ化してくれ」と言うとネットから自動的に情報をとってきてPythonコード書いてグラフをプロットしてくれる。 凄いのは、ローカルで動くのでたとえばApplescriptを使ってmacOSで動いているアプリを直接起動したり操作したりできる。「Keynot
ChatGPT(GPT-4) で一撃でスクレイピングするコードを生成出来たので感想とコツ - Qiita
今回やりたかったこと 目標：ChatGPT(GPT-4) で一撃でスクレイピングするコードを生成 するにはどうしたらいいのか、ChatGPT のハードルとかコツとかを知りたい。 ※最終的なプロンプトの入力と出力の全文は本ページ下部に貼り付けてます。 作ったもの概要 保険組合のウォーキングイベントの会社内の3チームの歩数進捗の slack への自動投稿 bot を作成しました。 処理は大きく2つに分かれています。 ウォーキングイベントサイトから歩数をスクレイピング＆スプシへアップロード スプシの GAS で投稿文字列作成＆ slack へ自動投稿 今回 ChatGPT でやったのは1の方です。 2は前回半年前開催分のコードをほぼそのまま流用しました。 運良く（？）今回のタイミングでウォーキングイベントのサービスサイトが変わり、 HTML がまるっと変わり1のスクレイピングコードは作り直しが必
今回は、Selenium ServerによるWebブラウザ自動操作環境を、Ubuntu上にDockerを使って簡単に構築する方法を紹介します。 Webブラウザの自動操作を可能にするSelenium Seleniumは、Webアプリケーションのテストを、人が操作することなく自動で行うために開発されているソフトウェアです。本来は「テストの自動化」のために開発されたソフトなのですが、Webブラウザを用いて行っている業務の自動化や、Webサイトの情報を自動収集するスクレイピングなどにも使われています。 今回、主に紹介するのは「Selenium Server」を使う方法ですが、他に「Selenium IDE」というFirefoxおよびGoogle Chrome用の拡張機能も開発・配布されています。Selenium IDEを使えば、デスクトップ環境でWebブラウザの操作を記録し、簡単に再実行させること
アソビュー！ Advent Calendar 2022の2日目（裏面）の記事です。 アソビューでQAをしている渡辺です。 前職ではエンジニア、およびQAをしておりましたが、10月よりアソビューにQAとして入社しました。 今回は、API呼び出しを含むE2Eテストの自動化を、他社ウェブサイトに仕様記載の無料公開APIで試してみた話となります。 アソビューのQAでは、開発スピードと品質向上の両立を図ることを重視しています。 そのためにも、シフトレフトやテスト自動化推進の取り組みは重要です。 現在QAとして参画中のプロジェクトでAPIの外部公開があり、E2EテストとしてAPIを含むテストの自動化はこれまでしていないので、APIを含むテストについて、Seleniumで簡単に自動化できないか試してみました。 なぜSeleniumか？ なぜPythonか？ 試してみるテストケース 天気予報APIの仕様
SeleniumとChromeDriver SeleniumはWebブラウザで行うクリック操作やキーボード入力などをプログラム上から自動で操作できるようにしたライブラリで ChromeDriverはChromeブラウザをプログラムで動かす為のドライバーです。 この2つを使うことで、SeleniumでChromeブラウザを操作してログインすることが可能です。 またこの2つを組み合わせて使うことで、次のことが可能になります。 ・スクレイピング ・ブラウザの自動操作(次へボタンや購入ボタンなどを自動で押すなど） ・システムの自動テスト ・非同期サイトのスクレイピング Seleniumのインストールは次のようにターミナルおよびコマンドプロントで打ち込み実行することで、インストール出来ます。 pip install selenium Chrome Driverのインストールは下記リンクから飛べます。
For web automation/testing, Selenium has been the de facto "standard" since forever. It's simple to get started with and supports almost every programming language. My problem with it has been: It's good enough, but nothing more. It doesn't work that well with modern, Javascript framework heavy sites (Angular, React etc). I'm not saying it doesn't work-- just not too well. Another issue: While Sel
GitHub Actionsを利用したE2E自動化テストの実現 ～ Achieving E2E Automated Testing with GitHub Actions ～ 利用GitHub Actions实现E2E自动化测试 - スタディサプリ Product Team Blog
こんにちは。スタディサプリのQAチームです。 今回のBlogではスタディサプリで実施している自動化テストの一部の取り組みについて紹介させていただきます。 なお、スタディサプリQAチームの特性を活かし、本記事については日英中３言語で記載します。より多くのオーディエンスに読んで頂ければ嬉しいです。 自動化する動機 まず、なぜ自動化テストを導入するのでしょうか。 1. 新規機能が追加される度に、既存機能への影響を確認するための回帰テストをしなければなりません。 2. 繰り返し同じテストを手動実行することにより、テストコストが増加します。 3. 人間が実施すると、人為的ミスによる不具合の検出漏れが発生してしまう可能性が否定できません。 そのため、品質を担保した上でより早くリリースすることを目的とし自動化を導入しました。 現在の開発およびテストフロー QAが回帰テストの自動化テストスクリプトをGit
はじめに みなさんIPOへの申し込みは行っていますか？ 私はSBI証券で数年前からポチポチしていたんですが、まぁこの確認が非常に面倒・・・。 通常は以下を定期的に確認する必要があります。 1.WEBブラウザを開く 2.IDとPWを入力する 3.国内株式＞IPO・PO をクリック 4.新規上場ブックビルディング/購入意思表示 をクリック 5.[申込]ボタンがあるか確認 これを自動化したい！という記事です。 事前準備や1〜2までの手順は以下の記事にまとめましたので今回は3-5を中心に記載します。 環境 Python3.9 macOS Catalina10.15.7 Chrome 93.0.4577.63 プログラム 前半は前の記事をご確認ください。 後半はLineの通知先だけ変えれば使えると思います。 from selenium import webdriver ID = open('/Use
python×selenium！つい勢いでbenefit stationの自動ログインスクリプトを作ってしまった！ - かずきち。の日記
benefit stationとは？ 知っている方も多いと思いますが、企業が導入している福利厚生サイトです。 飲食店やレジャー施設の割引情報が掲載されている。 がしかし、ログインが必要なのである。 引用：https://bs.benefit-one.co.jp/bs/pages/bs/top/top.faces こんなインターフェースでトップ画面にログイン画面がある。 人間がIDとパスワードを入力しないといけないわけだ。 大問題である。 ここのログインを突破して、中の福利厚生情報を全部抜きたい。 このログイン、スクリプトで突破しましょう。 使ったライブラリなどは import time # スリープを使うために必要 from selenium import webdriver # Webブラウザを自動操作する（python -m pip install selenium) import c
TwitterAPIが死んだので、Yahoo!リアルタイム検索をPythonでスクレイピングしてツイート数のデータを取得する｜シマ
TwitterAPIが死んだので、Yahoo!リアルタイム検索をPythonでスクレイピングしてツイート数のデータを取得する かつて無料で提供されていたTwitter APIは、イーロン・マスクによる買収などなんやかんやあって有料化されました。有料プランもあるにはありますが、そこそこの価格とそこそこの制限がかかっており、趣味レベルで手を出すのはちょっと憚られる感じのプランになっています。 そこで、TwitterAPIの代替手段として、Yahoo!リアルタイム検索をPythonでスクレイピングすることでツイート推移のデータを取得することにしました。この記事では、その手法（とコード）について書いていこうと思います。 Yahoo!リアルタイム検索とはYahoo!リアルタイム検索は、Yahoo!が提供しているTwitterの検索サービスです。ツイート検索やトレンドなどを確認することができます。とて
はじめに 前回の記事でDockerコンテナでPython環境を作成しSeleniumを操作してみました。 今回はWebページのフォームで値を入力し、その結果の表示確認をしてみます。 SeleniumでWebページを操作する基本のような部分を備忘録として残すために記載したので見づらいかもしれませんが、そこはご了承ください。 実施すること 今回は下記の項目を実施してみようと思います。 Seleniumを使用しChromeを起動する。 Webページを表示する。 ページ内のボタン要素をクリックし、ページ遷移する。 遷移後のページで必要な要素が表示されるまで待機する。 ページのp要素からテキストを取得する。 ページ内のボタン要素をクリックし、ダイアログボックスを表示させる。 ダイアログボックス内のinput要素に値を入力する。 ダイアログボックス内のdropdownメニューから値をセレクトする。 ダ
![[Python] Docker+Python+Seleniumでスクレイピング - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/19bb9a9c6d4294c8e88456437cc51778fe1c373a/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnBicy50d2ltZy5jb20lMkZwcm9maWxlX2ltYWdlcyUyRjExNzAzMjk0OTMyMzc0MjgyMjQlMkZYbEhTdVRRbF9iaWdnZXIuanBnP2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZiZz1GRkZGRkYmZm09cG5nMzImcz1iYTYyZjY5NmRkYWNhZjQ1Y2E2ZDNhMzZhYTdjNTMxMg%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D7abb2f75bf5e692007e4081095744e83%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCUHl0aG9uJTVEJTIwRG9ja2VyJTJCUHl0aG9uJTJCU2VsZW5pdW0lRTMlODElQTclRTMlODIlQjklRTMlODIlQUYlRTMlODMlQUMlRTMlODIlQTQlRTMlODMlOTQlRTMlODMlQjMlRTMlODIlQjAmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtcGFkPTAmcz0xYmMxNTMzMmQ2NmUyMGJiZTJjMDAwYmQ0MGMwMzhjYg%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDB5X2tpdGNoZW5zJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LXBhZD0wJnM9YmVlZWE0NjA1NzNiMDk0OTNiMzc0MGJiNzBmZWNmNDY%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3Dd76239ba0bf787548793f52a24999e85)
Python × Selenium × ChromeDriverで、select/optionタグで構成されるドロップダウン(プルダウン)リストを選択状態にしたり・値を取得する方法をまとめました。 SeleniumのSelectモジュールを使うと簡単に操作できます。 こんなHTMLを前提として書いていきます。 HTML<!DOCTYPE html> <html> <select name="test" id="dropdown"> <option value="1">1番目</option> <option value="2">2番目</option> <option value="3">3番目</option> <option value="4">4番目</option> <option value="5">5番目</option> <option value="6">6番目</opti
【Network pharmacology】PubChemを用いた漢方成分の抽出【In silico創薬】 - LabCode
4. ChromeDriverのインストール（Macユーザー向け） brew install chromedriver このコマンドは Mac のユーザーが selenium を使うために必要なドライバ chromedriver をインストールします。 brew はMac用のパッケージ管理ソフトです。 chromedriver は、SeleniumがGoogle Chromeを操作するために必要な「仲介役」です。 注意：Chrome本体のバージョンとドライバのバージョンを合わせる必要があります。 Windowsの場合は、公式サイトからChromeDriverをダウンロードしてパスを通す必要があります。 5. 必要なライブラリのインストール② pip install selenium pandas tqdm 一部重複していますが問題ありません（すでに入っていればスキップされます）。ここでは
TL;DR seleniumの使い方 Chromeで起動方法 WebDriverインストール chromeの設定画面でchromeのバージョンを確認します。 こちらからChromeのWebDriverをダウンロードします。 先程確認したバージョンを同じものを選びます。 OSで選ぶ。 プログラミング ライブラリインストール from time import sleep from selenium import webdriver def main(): options = webdriver.ChromeOptions() driver_path = "./chromedriver" driver = webdriver.Chrome(executable_path=driver_path, options=options) driver.get("https://www.yahoo.co.
WEB+DB PRESS という雑誌はご存知かと思います。 WEB+DB PRESSは2021年7月にvol.120を記念し、それまでの全号をダウンロードできる特典がついた総集編が刊行されました。 WEB+DB PRESS総集編[Vol.1~120] (WEB+DB PRESSプラスシリーズ) これまでの全ての記事が3000円で読めるならばと思い、私も先日Amazonでポチってしまいましたが、有効な使い方いまいち分からず放置してしまっています。 そこで最近勉強し始めたSeleniumを使って記事タイトルを取得してExcelで表にしちゃおう！というのが今回の記事内容です。 環境 Python 3.9 selenium 4.2.0 openpyxl 3.0.9 コード to_excel 関数内のExcel の出力先ディレクトリと、CHROMEDRIVERを変えれば動くと思います。 import
Using GPT-4o for web scraping
tl;dr; show me the demo and source code! I’m pretty excited about the new structured outputs feature in OpenAI’s API so I took it for a spin and developed an AI-assisted web scraper. This post summarizes my learnings. Asking GPT-4o to scrape data The first experiment was to straight ask GPT-4o to extract the data from an HTML string, so I used the new structured outputs feature with the following
この記事について 最近iOSアプリで20円ばかり儲けた凄腕プログラマー（自称）がサラリーマンしている仕事の一部がめんどくさかったり、誰かの人的ミスのせいでなんか怒られたりと嫌になりそうなことを、プログラムを作ってサクッと解決★ 今回は送迎の有無をpythonを使って判別し、slackに放り投げて通知を送ることで、見落としミスがなくなるようにしました。 背景には、今時宿泊者名簿をイチイチ紙に出力して、今日の送迎の有無を確認しているのですが、その出力するシステムがツギハギだらけのもので、予期せぬ動作をすることがあります。 今回は、送迎あり・なしのラジオボタンがあるのですが、ありのボタンを押しても、その下にある備考欄が空欄だと、紙に出力されないというわけわかんない不具合がありました。 何言ってるのかわからないかと思いますが、私にもわかりません。 何をした？ １．pythonを使います。 ２．se
import logging import os import sys import time import chromedriver_binary from selenium import webdriver from selenium.common.exceptions import TimeoutException from selenium.webdriver.common.by import By from selenium.webdriver.support import expected_conditions as EC from selenium.webdriver.support.ui import WebDriverWait SLIDE_URL = "test-auto-upload" FILE_PATH = "/home/user/Downloads/test-aut
Firefox で selenium を実行しながら JavaScript を on/off する方法 - Qiita
selenium 実行中に about:config の状態を変更する 環境 Windows 10 Pro Firefox 108.0.2 64bit Python 3.9.13 (Anaconda) selenium 4.7.2 あるいは Python 3.7.15 selenium 3.141.0 概要 selenium の実行中に about:config を開いて javascript.enabled の値を変更する。 具体的には、次のようなコードを実行する。 from selenium import webdriver from selenium.webdriver.common.by import By options = Options() options.binary_location = r'C:/Program Files/Mozilla Firefox/firefox
PythonでSeleniumのActionchainsのmove_by_offsetを使って画面の左上からの座標を指定してクリックしようとする際に、2回目以降だと現在の座標からの位置になってしまいうまくいきませんでした。 また、move_to_elementも要素の中央への移動しかできず苦戦していました。 今回その解決策を見つけたので共有します。 from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.action_chains import ActionChains html = driver.find_element(By.XPATH,'/html') ActionChains(driver).move_to_element(ht
はじめに お久しぶりです。プロコン間に合いませんでした。次はきっと間に合わせます（次があったら）。 今回の記事は、Teamsの個人チャットへ、メッセージを自動送信するプログラムの作成について書いたものです。バイト先で必要になったので、作りました。 意外と躓きポイントがあったので大変でした。躓いたのは、ログイン（2段階認証）と、seleniumの要素の取得（classでfindする時に空白を含んではいけない）です。一応、githubにプログラムを公開しておきます。使う人がいればですが、好きに使ってください。 概要 本記事で解説する手法は、「Teamsの個人チャットへメッセージを自動送信する」ものである。 従来のTeasmへ自動送信する手段としてIncoming Webhook[1]というツールがあるが、チーム単位でしか操作できない特徴があり、自動送信される相手はそのチームに参加する必要がある
自動操作を行う場合、id、name、classなどを利用して要素を指定することになるので、属性値をメモしておきましょう。 ５．同様にボタンについても属性を調べます。その結果は以下のようになります。 <input class="gNO89b" value="Google 検索" aria-label="Google 検索" name="btnK" type="submit" data-ved="0ahUKEwiC0u6iu4nlAhXwyIsBHWwTBHcQ4dUDCAo"> 属性 値 ここで調べた属性を利用して要素を特定して自動操作を行うことになります。。 また、今回はChromeでのやり方を紹介しましたが、他のブラウザでも同様のことが可能です。同じWebアプリケーションを使用していてもブラウザによって出力される内容が異なる可能性もあるので、自動操作を行うブラウザを使用して要素を調べるよ
2023年9月28日: Recruiting Opsをやっていく 2を公開しました。 はじめに 自己紹介 株式会社エクサウィザーズでエンジニア・デザイナーポジションの採用をしている者です マーケティング/PRがバックグラウンドで、現在は採用人事をメインにしています 技術者だったことはありません (予防線) Recruiting Opsってなに なんでしょうね... 要約 レポーティングを自動化した その結果どういうことができるようになったか 今後やっていきたいこと(ダッシュボード化、より高次のインサイトの抽出etc) 課題 1.採用は自動化されていないオペレーションだらけ オペレーションの重要性が高い一方で、よりよい活動のためには個別化(パーソナライズ)が必須という状況。モチベーションとしては適切なオペレーションの自動化を通して、個別化を限界までしたいわけです。 2.エクサウィザーズは採用
レンタル掲示板 teacup.のデータを救出する
レンタル掲示板のteacup.が8月1日で終了 90年代からインターネットを始めた人なら見かけたことはあると思う掲示板。 様々なサービスの黎明期にあって、残っていた老舗がサービス終了になるようです。 お知らせはわかったけど、バックアップは？ 【重要なお知らせ】teacup. byGMOのサービス終了につきまして※追記あり（2022/3/25）(3月01日 14時00分) いつもteacup.をご利用いただき、誠にありがとうございます。 長年にわたりご愛顧いただきましたteacup.ですが、2022年8月1日（月）13:00をもちまして、サービスを終了させていただくこととなりました。 昔からある掲示板に書き込んだログと送信した写真を取得するツールや方法は、特に用意されていないようで、自力で行うようですね。 掲示版の記事を他のサイトに移行したい 誠に恐れ入りますが、掲示板記事のデータ移行する機
from bs4 import BeautifulSoup from selenium import webdriver import pandas as pd import csv import time #作成したExcel/Csvを保存するフォルダを指定 export_file_path="**********" #ブラウザの立ち上げ browser=webdriver.Chrome("**********") browser.implicitly_wait(1) url="**********" #指定したURLへ遷移する browser.get(url) #検索ボックスを指定 elem=browser.find_element_by_name("**********") elem.clear() #任意のキーワードをinput()関数にて入力 elem.send_keys(inp
ツイート収集用の各ライブラリ ほぼ使えなくなったので自力で収集する方がいいです。 事前準備 Google Colaboratory で ツイートを収集してみます。 Google Colaboratory でTwitterの画像をダウンロード の通りにGoogle Colaboratory に chrome, selenium をインストールしてください。 ツイート収集 ツイートを収集したいアカウントにアクセスして、下までスクロールします。 from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys from selenium.webdriver.support.ui import WebDriverWait
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
第662回 Docker+Selenium ServerでWebブラウザ自動操作環境を作る | gihyo.jp
SeleniumによるAPI呼び出しを含むE2Eテスト自動化 - asoview! Tech Blog
Selenium入門 Pythonでブラウザを自動化したい方必読！ - AI Academy Media
Web Automation: Don't Use Selenium, Use Playwright
【Python】SBI証券でIPOの申し込みがある場合にLine通知してみた - Qiita
[Python] Docker+Python+Seleniumでスクレイピング - Qiita
【Selenium】ドロップダウン/selectタグ選択,取得方法まとめ - ゆうきのせかい
Pythonでseleniumを使う！ - Qiita
WEB+DB PRESS 総集編を有効活用するためのPythonスクレイピング - Qiita
【python】メンドクサイを自動にさせてみた３【SlackBot編】 - Qiita
Speaker Deckのスライド更新はPythonにやらせよう - Qiita
Seleniumで座標を0,0に移す方法 - Qiita
Teamsの個人チャットへ自動送信する（２段階認証回避） - Qiita
Webアプリケーションを自動で操作してみよう | へっぽこ実験ブログ
Recruiting Opsをやっていく - Qiita
任意の単語で検索しタイトルとURLを抽出するスクレイピング - Qiita
Python Twitter APIを使わずにツイートを収集 2023年最新版 - Qiita