OpenInterpreter / ついにAIがガチのアシスタントに!これは凄い、というか凄すぎる｜shi3z
凄いものが出てきてしまった。 ChatGPTの「Code Interpreter」が話題になったが、あれはあくまでクラウド上で動いているだけ。それを模してローカルで動作するようになった「Open Interpreter」は、衝撃的な成果である。 Open Interpreterのインストールは簡単。コマンド一発だ $ pip install open-interpreter起動も簡単 $ interpreter -yこれだけでOK。 あとはなんでもやってくれる。 たとえばどんなことができるのかというと、「AppleとMetaの株価の推移をグラフ化してくれ」と言うとネットから自動的に情報をとってきてPythonコード書いてグラフをプロットしてくれる。 凄いのは、ローカルで動くのでたとえばApplescriptを使ってmacOSで動いているアプリを直接起動したり操作したりできる。「Keynot
ChatGPT(GPT-4) で一撃でスクレイピングするコードを生成出来たので感想とコツ - Qiita
今回やりたかったこと 目標：ChatGPT(GPT-4) で一撃でスクレイピングするコードを生成 するにはどうしたらいいのか、ChatGPT のハードルとかコツとかを知りたい。 ※最終的なプロンプトの入力と出力の全文は本ページ下部に貼り付けてます。 作ったもの概要 保険組合のウォーキングイベントの会社内の3チームの歩数進捗の slack への自動投稿 bot を作成しました。 処理は大きく2つに分かれています。 ウォーキングイベントサイトから歩数をスクレイピング＆スプシへアップロード スプシの GAS で投稿文字列作成＆ slack へ自動投稿 今回 ChatGPT でやったのは1の方です。 2は前回半年前開催分のコードをほぼそのまま流用しました。 運良く（？）今回のタイミングでウォーキングイベントのサービスサイトが変わり、 HTML がまるっと変わり1のスクレイピングコードは作り直しが必
都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト 仕事で、いろんな会社でデータサイエンスってどう使われているのですか？と聞かれることがあり、自分としてはなんとなくしか掴めていないな、知ったかぶりしたくないなと思うところがあったので、やや手厚くリサーチをしてみようと思いました。 2022/3/6の段階では11つの市場しかないですが、最終的には30市場を目指します。 【2021/11/27追記】 公開したところ、それなりにこの記事に関心を持ってくださった方が多かったようなので、少しずつ事例を埋めていこうと思います。 業界
E2Eテストを Playwright で作り直して開発プロセスに組み込む話 - SmartHR Tech Blog
こんにちは。SmartHR プロダクトエンジニアの sasaki (@s_sasaki_0529) です。 今回は、私が開発に携わっている届出書類機能における E2E テストを、Capybara + Selenium の構成から Playwright に移行し、開発プロセスに組み込んだお話をします。 扱う話題 E2Eテスト基盤を移行する具体的な背景と理由 移行における提案から、合意形成までの流れ 移行後の開発プロセスがどう変わったか 扱わない話題 Playwright など、記事内で扱う技術要素自体の詳細説明 移行作業自体の詳細 テストコードの設計・実装に関する具体的なテクニック なお、本記事では便宜上、移行前の E2E テストを「旧テスト基盤」移行後を「新テスト基盤」と呼称します。 届出書類機能について E2Eテストに限らず、テストというのはプロダクトの特性によって最適な手法は大きく変わ
Selenium, AWS Lambda, AWS Fargate, AWS Developer Tools を使ったサーバーレスなUIテスト | Amazon Web Services
Amazon Web Services ブログ Selenium, AWS Lambda, AWS Fargate, AWS Developer Tools を使ったサーバーレスなUIテスト (この記事は、 Serverless UI testing using Selenium, AWS Lambda, AWS Fargate, and AWS Developer Tools を翻訳したものです。) 以前、Using AWS CodePipeline, AWS CodeBuild, and AWS Lambda for Serverless Automated UI Testing (日本語版 ) を公開してから、Chrome headless とFirefox headless が各ブラウザでネイティブにサポートされるようになったことで、事態は大きく変わりました。 AWS Lambda
アソビュー！ Advent Calendar 2022の2日目（裏面）の記事です。 アソビューでQAをしている渡辺です。 前職ではエンジニア、およびQAをしておりましたが、10月よりアソビューにQAとして入社しました。 今回は、API呼び出しを含むE2Eテストの自動化を、他社ウェブサイトに仕様記載の無料公開APIで試してみた話となります。 アソビューのQAでは、開発スピードと品質向上の両立を図ることを重視しています。 そのためにも、シフトレフトやテスト自動化推進の取り組みは重要です。 現在QAとして参画中のプロジェクトでAPIの外部公開があり、E2EテストとしてAPIを含むテストの自動化はこれまでしていないので、APIを含むテストについて、Seleniumで簡単に自動化できないか試してみました。 なぜSeleniumか？ なぜPythonか？ 試してみるテストケース 天気予報APIの仕様
【機械学習】機械学習を用いたin silico screening【AI創薬】~第2/5章 スクレイピングによる公共データベース（PDB)からの機械学習データを収集~ - LabCode
AI創薬とは？AI創薬は、人工知能（AI）技術を利用して新しい薬物を発見、開発するプロセスです。AIは大量のデータを高速に処理し、薬物の候補を予測したり、薬物相互作用を評価したりします。また、AIは薬物の効果や安全性をシミュレートすることも可能で、臨床試験の前の段階でリスクを評価することができます。これにより、薬物開発のコストと時間を大幅に削減することが期待されています。AI創薬は、薬物開発の新しいパラダイムとして注目を集め、製薬企業や研究機関で積極的に研究、導入が進められています。また、バイオインフォマティクス、ケモインフォマティクス、機械学習、ディープラーニングなどの技術が組み合わされ、薬物開発のプロセスを革新しています。さらに、AI創薬は個人化医療の推進にも寄与し、患者にとって最適な治療法を提供する可能性を秘めています。 今回はAI創薬の中でも、in silico screeenin
Software Design連載 2021年11月号 Robot FrameworkでE2Eテストを自動化する - MonotaRO Tech Blog
最初に少しイベントの宣伝 こんにちは。金谷です。 Software Designに連載させていただいております「Pythonモダン化計画」は、前半の4回で、それぞれの局面に合ったテスト手法を用いることで変更容易性を確保する話をしてきました。 前半の4回すべてに出てきたツールにJenkinsさんがいて、何らかのかたちで自動化されています。 モノタロウにおけるモダン化計画に不可欠な存在のJenkinsさん。 なんとこのたび、Jenkins Day Japan 2021というイベントで、Jenkinsの活用事例を発表させていただくことになりました。 「モノタロウの開発・リリースサイクルを支えるJenkinsの活用事例」という内容で金谷が発表させていただきます。 詳細とお申込みは、下記のURLからご覧ください。 cloudbees.techmatrix.jp では本題に入ります。 本記事の初出は、
以前、本連載ではSeleniumを使ってブラウザを自動操縦する方法を紹介した。とても便利だがブラウザごとのドライバが必要でセットアップが面倒という側面もあった。しかし最近では自動インストールの方法が確立されて便利になった。そこで改めてブラウザの自動操縦を試してみよう。 ブラウザを自動操縦して画像をダウンロードしたところ Seleniumについて SeleniumとはWebブラウザを自動操縦するためのライブラリだ。もともとブラウザを使って自動テストを行うためのライブラリだが、今ではWeb巡回(クローリング)からデータ抽出(スクレイピング)までいろいろな自動処理に使われている。 Seleniumで可能なのは次のような処理だ。 ブラウザを自動操縦して任意のページを表示する ページ内の任意の要素を抽出する(id属性やclass属性、CSSセレクタで抽出できる) ページのスクリーンショットが取得でき
_ = all([x for x in os.listdir(f"{os.getenv('USERPROFILE')}\\Downloads") if x.endswith(("crdownload", "tmp"))] and not time.sleep(1) and not print(f"{f'{datetime.datetime.now()}'[:-4]} download in progress...") and i for i in itertools.repeat(1)) ※importを必要に応じて記述ください。 ※C:\Users\USERNAME\Downloadsがダウンロードフォルダの場合のコードです。 ※C:\Users\USERNAME\Downloadsにfoo.crdownloadやbar.tmpがあるとループ処理状態になります。 tmp ⇒ crdown
データアナリティクス事業本部のueharaです。 今回はAWS Lambda (Python)で、WebアプリケーションをテストするためのポータブルフレームワークであるSeleniumを使える環境を構築してみたいと思います。 バケットの準備 今回はLambda Layerを構築することになりますが、その資材をS3に配置するため、まずバケットを用意します。 AWSコンソールでサービスからS3を検索します。 「バケットを作成」から作業用のバケット「selenium-work」という名前のバケットを作成します。 その他の設定はデフォルトのままとします。 パッケージの用意 まず、Lambda (Python)でSeleniumを利用できるようにするために、各パッケージの用意を行います。 パッケージの用意には、無料で使えるサービスであるAWS CloudShellを利用します。 Seleniumのダ
最近趣味でPython のSeleniumを使ってスクレイピングしているんだが なぜか要素が取得できないことがある。 技術的な原因としては 以下2点のことがあるみたい。 取得したい要素にiframeが使われている 取得したい要素がshadow-rootで囲まれている この内、「1.iframeが含まれている場合のスクレイピング」については ネットでググれば大抵のこと書いてあるから割愛したい。 ここでは「2. shadow-rootが使われた場合のスクレイピング」についてまとめる。 ちなみに私自身、ITエンジニアでもないタダのド素人だから 素人目にみてわかるように書きたいと思う。 ※玄人の人は許してね ちなみにshadow-root攻略に3日かかった そのくらい希少価値があるものだと思いたい。 1. shadow-rootについて 2.shadow-root内のスクレイピング方法 下準備 3
from selenium import webdriver from selenium.webdriver.common.by import By from webdriver_manager.chrome import ChromeDriverManager from selenium.webdriver.chrome.service import Service options = webdriver.ChromeOptions() options.add_argument("start-maximized") # 画面表示を最大にする options.add_experimental_option("excludeSwitches", ["enable-logging"]) # よくわからん長文をコンソールに表示させない s = Service(ChromeDriverManage
Python × Selenium × Cloud Runで手軽にブラウザ操作botを作ってみよう！ - asoview! Tech Blog
アソビューでふるさと納税事業・ギフト事業の開発責任者をしております、川又です。 アソビューでは「アソビュー！」「ウラカタ」に次ぐ第3の主要サービスを目指し、 新規事業として「アソビュー！ふるさと納税」「アソビュー！ギフト」を展開しております。 furusato.asoview.com store.asoview.com これら新規事業の開発責任者とは名ばかりで、少数精鋭な開発チームなので私も第一線で様々なシステムの開発を行っています。 学生の頃からパソコンを駆使して身の回りの課題を解決することが好きだったため、これからも開発を続けて行きたいものです。 さて、今回はそんな私がプライベートで「とあるサイトでの予約を自動化したい」という怠惰願望から 自動でブラウザを操作し予約ボタンをポチッと押してくれるbotを開発しましたので、botを構築・デプロイするまでの流れをご紹介したいと思います。 ※今
はじめに Pythonプログラムで即業務に役立つサンプルプログラムとして、Webブラウザーの操作をPythonのSeleniumライブラリーを使って自動化する方法をご紹介します。 これによって、いわゆるRPA(Robotics Process Automation)を無料で構築できます。 動作環境 Visual Studio Code Python3.8.8 各種利用ライブラリー Selenium 3.141.0 chromedriver.exe ※ ※実行環境のパソコンにインストールされているGoogleChromeのバージョンにマッチしたchromedriver.exeをダウンロードしてPythonプログラムと同一フォルダに保存する必要があります。（詳しくはYouTube動画で解説しています） 処理概要: PythonでSeleniumを使って、YahooのホームページやGoogle検
はじめに 処理の流れ スクレイピングのコード スクレイピングプログラムが動作している様子 取得したcsvファイルの可視化 最後に はじめに この記事ではPythonによるスクレイピングを使って、メルカリでの特定の商品の取引相場を調べるツールを作成する方法を書いていきます。 メルカリで出品されている商品の価格帯を知りたいときは、メルカリのページの検索ボックスにキーワードを入れて検索しますよね。 試しに「iphone se simフリー」で検索してみます。 するとこんな感じで商品の画像と値段が表示されてきます。 この検索結果を見ていって大体の値段相場を把握する感じが通常だと思います。 ここでは既に売り切れたものにしぼって商品価格を調べる想定とします。 販売状況のところで「売り切れ」にチェックが入っている状態ですね。 手作業で簡単に実施できるとはいえ、出品されている数が多い商品だったりすると検索
GitHub Actionsを利用したE2E自動化テストの実現 ～ Achieving E2E Automated Testing with GitHub Actions ～ 利用GitHub Actions实现E2E自动化测试 - スタディサプリ Product Team Blog
こんにちは。スタディサプリのQAチームです。 今回のBlogではスタディサプリで実施している自動化テストの一部の取り組みについて紹介させていただきます。 なお、スタディサプリQAチームの特性を活かし、本記事については日英中３言語で記載します。より多くのオーディエンスに読んで頂ければ嬉しいです。 自動化する動機 まず、なぜ自動化テストを導入するのでしょうか。 1. 新規機能が追加される度に、既存機能への影響を確認するための回帰テストをしなければなりません。 2. 繰り返し同じテストを手動実行することにより、テストコストが増加します。 3. 人間が実施すると、人為的ミスによる不具合の検出漏れが発生してしまう可能性が否定できません。 そのため、品質を担保した上でより早くリリースすることを目的とし自動化を導入しました。 現在の開発およびテストフロー QAが回帰テストの自動化テストスクリプトをGit
こんにちは、開発本部のバックエンドエンジニアのThai（タイ）です。クローラ改善プロジェクトを行い、Puppeteerを使って新しいクローラを作りました。今回の記事ではPuppeteerで開発したクローラについて紹介したいと思います。 Puppeteerとは Googleで開発されて、DevToolsプロトコルを介してChromiumやChromeを制御するための高レベルなAPIを提供するNodeライブラリです。 参照: https://devdocs.io/puppeteer/ クローラとは インターネット上の様々なWebページをスクレイピングするツールです。 なぜPuppeteerを使ってクローラを作るのか？ これまでインターネット上の記事を収集するために、PHP-curlで開発したクローラを使ってきました。PHP-curlは静的なページを問題なくクロールできますが、SPAページ(Si
Chromeのユーザープロファイル Chromeのユーザー毎のデータ（履歴、ブックマーク、パスワード等）は、ユーザープロファイルに保存されます。 SeleniumでChromeDriverを動かす場合、デフォルトではユーザープロファイルは一時ディレクトリに作成され、終了後にクリアされます。ログイン情報を引き継ぎたい場合は、使用するユーザープロファイルを指定する必要があります。 ユーザープロファイルは、Chrome起動時のオプションで指定します。 –user-data-dirユーザープロファイルの保存先を指定–profile-directory使用するユーザープロファイルを指定 現在使用しているプロファイルは、chrome://versionで見ることができます。 上の画像では –user-data-dir：C:\Users\xxxxx\AppData\Local\Google\Chrome
一番手早く自社サービスの賢いサポートボットを作る方法(openai.Embedding+pinecone+SlashGPT)
一番手早く自社サービスの賢いサポートボットを作る方法(openai.Embedding+pinecone+SlashGPT) 自社サービスの最新情報にもとづくサポートボットを作りたいというのはよくある話だとおもいます。これを openai.embedding+pinecone+SlashGPTでサクッと実現する方法を紹介します。 準備 SlashGPT repo のclone https://github.com/snakajima/SlashGPT OpenAI API KEY open ai でアカウントを作成後下記でAPI-Keyを発行します https://platform.openai.com/account/api-keys 無料枠は5$までです https://openai.com/pricing pinecone API KEY vector DB SaaS をつかうととて
はじめに みなさんIPOへの申し込みは行っていますか？ 私はSBI証券で数年前からポチポチしていたんですが、まぁこの確認が非常に面倒・・・。 通常は以下を定期的に確認する必要があります。 1.WEBブラウザを開く 2.IDとPWを入力する 3.国内株式＞IPO・PO をクリック 4.新規上場ブックビルディング/購入意思表示 をクリック 5.[申込]ボタンがあるか確認 これを自動化したい！という記事です。 事前準備や1〜2までの手順は以下の記事にまとめましたので今回は3-5を中心に記載します。 環境 Python3.9 macOS Catalina10.15.7 Chrome 93.0.4577.63 プログラム 前半は前の記事をご確認ください。 後半はLineの通知先だけ変えれば使えると思います。 from selenium import webdriver ID = open('/Use
python×selenium！つい勢いでbenefit stationの自動ログインスクリプトを作ってしまった！ - かずきち。の日記
benefit stationとは？ 知っている方も多いと思いますが、企業が導入している福利厚生サイトです。 飲食店やレジャー施設の割引情報が掲載されている。 がしかし、ログインが必要なのである。 引用：https://bs.benefit-one.co.jp/bs/pages/bs/top/top.faces こんなインターフェースでトップ画面にログイン画面がある。 人間がIDとパスワードを入力しないといけないわけだ。 大問題である。 ここのログインを突破して、中の福利厚生情報を全部抜きたい。 このログイン、スクリプトで突破しましょう。 使ったライブラリなどは import time # スリープを使うために必要 from selenium import webdriver # Webブラウザを自動操作する（python -m pip install selenium) import c
Python/SeleniumでGoogle Chromeブラウザを自動操作したくてこんなふうにコードをかいて、 Pythonimport chromedriver_binary from selenium import webdriver driver = webdriver.Chrome() driver.get('https://google.com')動かしてみたら、4行目のwebdriver.Chrome()でこんな↓エラーが出た時の対処方です。 selenium.common.exceptions.SessionNotCreatedException: Message: session not created: This version of ChromeDriver only supports Chrome version 80 Current browser version
PythonとSeleniumとWebDriverとChrome拡張機能でDownload完了判定と待機 - Qiita
はじめに downloads.Stateを利用してのダウンロードの完了判定と待機が出来ないか検討してみた話です。 前半部分はChrome拡張機能でダウンロードに関する情報をPython側に伝達をする処理を構築していきます。 後半部分はPythonとSeleniumとWebDriverでダウンロードの完了判定と待機をする処理を構築していきます。 最終的なコードはこちらを参照くださいませ。 Chrome拡張機能の詳細な解説はしませんので、 Chrome拡張機能の詳細な解説は他のサイトなどで確認くださいませ。 本投稿は備忘録的な意味合いもあるので、 無駄な記載も含まれています。 ご了承ください。 環境 PythonとSeleniumは導入済み、および、 ChromeとChromeのWebDriverは導入済みである、 Windows11の環境として本投稿は記載します。
Pythonで作れる代表的なプログラムとしてWebスクレイピングが挙げられます。これは主にライブラリを活用して実行するので、Pythonを覚えたての初心者でも簡単に作ることが出来ます。 今回はPythonを使い、Googleの検索結果に表示された記事のタイトル・URLをExcelに書き出すプログラムの作り方を紹介します。 Webスクレイピングとは？ Webスクレイピングとは、Web上のサイトから任意の情報を自動で取得する技術のこと。出したデータを加工してファイルとして出力したり、データベース上にデータを溜めることもできます。 一般的にはホームページから大量の情報を取得したい時に使われますが、今回のように検索エンジンの結果一覧にもスクレイピングを実行することが可能です。 ブログやホームページを運営するうえで欠かせない作業が、ターゲットキーワードによる検索結果の把握です。上位表示されている競合
はじめに 前回の記事でDockerコンテナでPython環境を作成しSeleniumを操作してみました。 今回はWebページのフォームで値を入力し、その結果の表示確認をしてみます。 SeleniumでWebページを操作する基本のような部分を備忘録として残すために記載したので見づらいかもしれませんが、そこはご了承ください。 実施すること 今回は下記の項目を実施してみようと思います。 Seleniumを使用しChromeを起動する。 Webページを表示する。 ページ内のボタン要素をクリックし、ページ遷移する。 遷移後のページで必要な要素が表示されるまで待機する。 ページのp要素からテキストを取得する。 ページ内のボタン要素をクリックし、ダイアログボックスを表示させる。 ダイアログボックス内のinput要素に値を入力する。 ダイアログボックス内のdropdownメニューから値をセレクトする。 ダ
![[Python] Docker+Python+Seleniumでスクレイピング - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/6d356cf09d088a6e917dfcd858cb2c5ae8654042/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnBicy50d2ltZy5jb20lMkZwcm9maWxlX2ltYWdlcyUyRjExNzAzMjk0OTMyMzc0MjgyMjQlMkZYbEhTdVRRbF9iaWdnZXIuanBnP2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZiZz1GRkZGRkYmZm09cG5nMzImcz1iYTYyZjY5NmRkYWNhZjQ1Y2E2ZDNhMzZhYTdjNTMxMg%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D7abb2f75bf5e692007e4081095744e83%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCUHl0aG9uJTVEJTIwRG9ja2VyJTJCUHl0aG9uJTJCU2VsZW5pdW0lRTMlODElQTclRTMlODIlQjklRTMlODIlQUYlRTMlODMlQUMlRTMlODIlQTQlRTMlODMlOTQlRTMlODMlQjMlRTMlODIlQjAmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtcGFkPTAmcz0xYmMxNTMzMmQ2NmUyMGJiZTJjMDAwYmQ0MGMwMzhjYg%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDB5X2tpdGNoZW5zJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LXBhZD0wJnM9YmVlZWE0NjA1NzNiMDk0OTNiMzc0MGJiNzBmZWNmNDY%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3Dd76239ba0bf787548793f52a24999e85)
TwitterAPIが死んだので、Yahoo!リアルタイム検索をPythonでスクレイピングしてツイート数のデータを取得する｜シマ
TwitterAPIが死んだので、Yahoo!リアルタイム検索をPythonでスクレイピングしてツイート数のデータを取得する かつて無料で提供されていたTwitter APIは、イーロン・マスクによる買収などなんやかんやあって有料化されました。有料プランもあるにはありますが、そこそこの価格とそこそこの制限がかかっており、趣味レベルで手を出すのはちょっと憚られる感じのプランになっています。 そこで、TwitterAPIの代替手段として、Yahoo!リアルタイム検索をPythonでスクレイピングすることでツイート推移のデータを取得することにしました。この記事では、その手法（とコード）について書いていこうと思います。 Yahoo!リアルタイム検索とはYahoo!リアルタイム検索は、Yahoo!が提供しているTwitterの検索サービスです。ツイート検索やトレンドなどを確認することができます。とて
私はデータ収集やブラウザ自動操縦による業務効率化を担当することが多く、セレニウムを利用したクローラーを何度も開発してきた。 どのような用途のクローラーであっても、htmlの取得やページ遷移などの基礎的な処理はほぼ共通していて、 ユーザーエージェントなどchromeオプションの設定は毎度変わるものではないため、 これらを雛形化してコピーしながら使い回すというのが開発効率をと動作の信頼性高める上で効果的だった。 本記事ではその雛形の一部をシェアしたい。 selenium雛形 from selenium import webdriver from selenium.webdriver.support.ui import WebDriverWait from selenium.webdriver.chrome.options import Options from selenium.common.
Python × Selenium × ChromeDriverで、select/optionタグで構成されるドロップダウン(プルダウン)リストを選択状態にしたり・値を取得する方法をまとめました。 SeleniumのSelectモジュールを使うと簡単に操作できます。 こんなHTMLを前提として書いていきます。 HTML<!DOCTYPE html> <html> <select name="test" id="dropdown"> <option value="1">1番目</option> <option value="2">2番目</option> <option value="3">3番目</option> <option value="4">4番目</option> <option value="5">5番目</option> <option value="6">6番目</opti
データアナリティクス事業本部のueharaです。 今回はGoogle ColaboratoryでPythonからSeleniumを使うための設定方法を紹介したいと思います。 はじめに 2023年5月時点では、Google Colaboratory上で単純に!apt install chromium-chromedriverでchromedriverをインストールした後、Seleniumを実行しようとしても以下のようなエラーが発生し強制終了してしまいます。 WebDriverException: Message: Service /usr/bin/chromedriver unexpectedly exited. Status code was: 1 これは、今年の1/18にColabのデフォルトのランタイムが（数年ぶりに）Ubuntu 18.04 LTSからUbuntu 20.04 LTS
【Network pharmacology】PubChemを用いた漢方成分の抽出【In silico創薬】 - LabCode
4. ChromeDriverのインストール（Macユーザー向け） brew install chromedriverこのコマンドは Mac のユーザーが selenium を使うために必要なドライバ chromedriver をインストールします。 brew はMac用のパッケージ管理ソフトです。chromedriver は、SeleniumがGoogle Chromeを操作するために必要な「仲介役」です。注意：Chrome本体のバージョンとドライバのバージョンを合わせる必要があります。Windowsの場合は、公式サイトからChromeDriverをダウンロードしてパスを通す必要があります。 5. 必要なライブラリのインストール② pip install selenium pandas tqdm一部重複していますが問題ありません（すでに入っていればスキップされます）。ここでは tqdm
seleniumでサイトに一度だけログインしてセッションを保存してログイン状態を保ちながら使い続ける方法 - Qiita
はじめに seleniumを使ったら自動的にサイトにアクセスして色々できて本当に便利ですよね。 seleniumの基本的な使い方については色んな記事に書いてあります。 Python + Selenium で Chrome の自動操作を一通り 10分で理解する Selenium Selenium webdriverよく使う操作メソッドまとめ ただしログインする必要があるサイトを使う時に少し難易度が高くなりますね。 自動でログインする方法は意外とたくさんの記事に書いてあります。 Python + Selenium + Chrome で自動ログインいくつか 【Googleログイン自動化】Python×seleniumでGoogleにログインする SeleniumでSlackに自動でログインする selenium から Twitter にログインして投稿 PythonとSeleniumで自動ログイ
Testing web applications hosted in a private network using AWS Device Farm | Amazon Web Services
Front-End Web & Mobile Testing web applications hosted in a private network using AWS Device Farm AWS Device Farm offers an elastic Selenium Grid in the cloud that provides instant access to different versions of Chrome, Firefox, Internet Explorer, and Microsoft Edge browsers running on Windows servers. Today, thousands of web developers are leveraging Device Farm’s Grid to verify that their appli
週刊Railsウォッチ: Rails 7がRuby 3.1のClass#descendantsに対応、GitHub Issue風ファイルアップローダほか（20211115前編）｜TechRacho by BPS株式会社
こんにちは、hachi8833です。つっつきの後でこの番組見ました↓。 IIJでは何年かに一度「データセンターの中を撮影したい」と相談を受けています。ただ、今回の番組のように「ケーブルの配線美を撮影したい」というお話は初めてでした。 IIJ&ネットチャート撮影協力 NHK BS1「ケーブルアート～あなたの知らない美の世界～」 本日 22:40～22:50https://t.co/q1eByHiVuP pic.twitter.com/9ViXdmTTPs — 堂前@IIJ (@IIJ_doumae) November 11, 2021 週刊Railsウォッチについて 各記事冒頭には🔗でパーマリンクを置いてあります: 社内やTwitterでの議論などにどうぞ 「つっつきボイス」はRailsウォッチ公開前ドラフトを（鍋のように）社内有志でつっついたときの会話の再構成です👄 お気づきの点があり
Selenium Python クロームドライバー（chromedriver.exe）の自動インストール - Qiita
環境：WIndows10 pythonバージョン：3.8.32 chromedriver.exeの自動インストール(更新も自動) 以下の本にchromedriver.exeの自動インストールの方法があったので自分の環境に合わせてメモします。↓ chromedriver.exeにパスが通ってなくても、プログラムをexeファイル化しても、自動でインストールされました。 スクレイピング・ハッキングラボ：アマゾンのページ webdriver_manager webdriver_manager webdriver_managerを使うとchromedriver.exeを自動でインストールしてくれます。 chromedriver.exeを自動でインストールしてヤフーに接続するサンプル from selenium import webdriver from selenium.webdriver.chro
はじめに 本記事はSeleniumで私が個人的に使うためのスニペットのまとめです。 自分が使うためのスニペット集なので内容は偏っています。また一部Seleniumとは直接関係ないものも含まれています。 Seleniumの一通りの使い方を知りたい方は、以下のような素敵な記事がありますので、そちらをご参照ください。 Python + Selenium で Chrome の自動操作を一通り Selenium webdriverよく使う操作メソッドまとめ 環境 主に以下の環境向けの情報です。他の環境では一部動作しないものがあると思います。 ・macOS Catalina ・Python 3.8.3 ・selenium 3.141.0 ・Google Chrome 91.0.4472.19 目次（スニペット+α） タップで展開
TL;DR seleniumの使い方 Chromeで起動方法 WebDriverインストール chromeの設定画面でchromeのバージョンを確認します。 こちらからChromeのWebDriverをダウンロードします。 先程確認したバージョンを同じものを選びます。 OSで選ぶ。 プログラミング ライブラリインストール from time import sleep from selenium import webdriver def main(): options = webdriver.ChromeOptions() driver_path = "./chromedriver" driver = webdriver.Chrome(executable_path=driver_path, options=options) driver.get("https://www.yahoo.co.
WEB+DB PRESS という雑誌はご存知かと思います。 WEB+DB PRESSは2021年7月にvol.120を記念し、それまでの全号をダウンロードできる特典がついた総集編が刊行されました。 WEB+DB PRESS総集編[Vol.1~120] (WEB+DB PRESSプラスシリーズ) これまでの全ての記事が3000円で読めるならばと思い、私も先日Amazonでポチってしまいましたが、有効な使い方いまいち分からず放置してしまっています。 そこで最近勉強し始めたSeleniumを使って記事タイトルを取得してExcelで表にしちゃおう！というのが今回の記事内容です。 環境 Python 3.9 selenium 4.2.0 openpyxl 3.0.9 コード to_excel 関数内のExcel の出力先ディレクトリと、CHROMEDRIVERを変えれば動くと思います。 import
便利なPythonモジュールの一覧！おすすめ外部ライブラリも紹介 - アンドエンジニア - エンジニアのこと、エンジニアから。
この記事でわかること モジュールを使いこなすには、どのようなモジュールが存在するかを知ることが重要 標準モジュールはプリインストールされていて、すぐに使える汎用的な機能が多い 外部モジュールはPyPIからインストールが必要で、専門性が高い機能が多い 【関連記事】【Pythonのライブラリ管理ツール】pipインストールを徹底解説！Windowsでも簡単？ 【関連記事】PythonのコードをEXE化するには? PyInstallerやその他ツールの特徴や使い方 【関連記事】Pythonで自動化できること7選！面倒な作業を効率化してより便利に 目次 1. Pythonのモジュールとは 1-1. Pythonのモジュールを活用するには 2. Pythonの便利な標準モジュール一覧 2-1. datetime（日付・時刻） 2-2. calendar（カレンダー） 2-3. re（正規表現） 2-4
自動購入Bot完成まで
簡単な動作説明 取りたいチケットのURLを入力 開始時間を入力 PCとインターネット時報のズレを検出し修正 2分前にサイトにログイン 開始時間に購入 とまーざっくりですがこんな感じですね コード とりあえず完成したコードの一部を公開します。 作れたことを載せたいのであってこのコードを使えば誰でもできるって訳では無いです。 あくまでも参考程度になればと思ってます。 大半はコピペでいいですが、Amazonだったり楽天だったり自動購入する目的のサイトによってもコードは変わります。 自分は今回は地下アイドルのチケットの購入に使いました。 整理番号1番を取ることもできました ボタンをクリックや文字を入力などのサイトによって変わるようなものは1部端折ってます。 （載せてても結局サイトによって変わるため） 具体的に変える部分としてはdef()の中身です。 基本動作などほかの記事にしてるため参考にしてみて
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
各業界でのデータサイエンスの活用について調べてみた（随時追加） – かものはしの分析ブログ
SeleniumによるAPI呼び出しを含むE2Eテスト自動化 - asoview! Tech Blog
ゼロからはじめるPython(93) Pythonでブラウザ自動化 - 画像を丸ごとダウンロードしよう
PythonとSeleniumとWebDriverでDownload完了簡易判定と待機 - Qiita
AWS Lambda PythonでSeleniumを使える環境を構築する | DevelopersIO
【Python Selenium】#shadow-rootのスクレイピング方法 - まろブログ
PythonでSeleniumするときに書いておいたほうがいいコード - Qiita
PythonでSeleniumライブラリーを使って、Webブラウザー操作を自動化！ - Qiita
Pythonのスクレイピングでメルカリの価格相場を調べる方法 - 77Lifeworkベータ版
Puppeteerを使ってクローラを作った話 | PR TIMES 開発者ブログ
SeleniumでChromeのプロファイルを使う | Seleniumワールド
【Python】SBI証券でIPOの申し込みがある場合にLine通知してみた - Qiita
【Python/Selenium】ChromeDriverバージョンエラー対処法 - ゆうきのせかい
WebスクレイピングでGoogleの検索結果を取得しよう！（Python）
[Python] Docker+Python+Seleniumでスクレイピング - Qiita
Selenium-Pythonでクローラーを作るときの雛形 - Qiita
【Selenium】ドロップダウン/selectタグ選択,取得方法まとめ - ゆうきのせかい
Google ColaboratoryでSeleniumを使うための設定方法 | DevelopersIO
Selenium(Python)の個人的スニペット集 - Qiita
Pythonでseleniumを使う！ - Qiita
WEB+DB PRESS 総集編を有効活用するためのPythonスクレイピング - Qiita