並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 35 件 / 35件

新着順 人気順

python selenium webdriver google chromeの検索結果1 - 35 件 / 35件

  • ChatGPT(GPT-4) で一撃でスクレイピングするコードを生成出来たので感想とコツ - Qiita

    今回やりたかったこと 目標:ChatGPT(GPT-4) で一撃でスクレイピングするコードを生成 するにはどうしたらいいのか、ChatGPT のハードルとかコツとかを知りたい。 ※最終的なプロンプトの入力と出力の全文は本ページ下部に貼り付けてます。 作ったもの概要 保険組合のウォーキングイベントの会社内の3チームの歩数進捗の slack への自動投稿 bot を作成しました。 処理は大きく2つに分かれています。 ウォーキングイベントサイトから歩数をスクレイピング&スプシへアップロード スプシの GAS で投稿文字列作成& slack へ自動投稿 今回 ChatGPT でやったのは1の方です。 2は前回半年前開催分のコードをほぼそのまま流用しました。 運良く(?)今回のタイミングでウォーキングイベントのサービスサイトが変わり、 HTML がまるっと変わり1のスクレイピングコードは作り直しが必

      ChatGPT(GPT-4) で一撃でスクレイピングするコードを生成出来たので感想とコツ - Qiita
    • 各業界でのデータサイエンスの活用について調べてみた(随時追加) – かものはしの分析ブログ

      都内の事業会社で分析やWebマーケティングの仕事をしています。大学・大学院では経済学を通じて統計解析を行うなどしておりました。企業に勤めてからは、機械学習やテキストマイニング、クローリング技術などに関心を持っています。 Twitterアカウント Mr_Sakaue( SKUE ) GitHub 読書メーター ほしいものリスト 仕事で、いろんな会社でデータサイエンスってどう使われているのですか?と聞かれることがあり、自分としてはなんとなくしか掴めていないな、知ったかぶりしたくないなと思うところがあったので、やや手厚くリサーチをしてみようと思いました。 2022/3/6の段階では11つの市場しかないですが、最終的には30市場を目指します。 【2021/11/27追記】 公開したところ、それなりにこの記事に関心を持ってくださった方が多かったようなので、少しずつ事例を埋めていこうと思います。 業界

        各業界でのデータサイエンスの活用について調べてみた(随時追加) – かものはしの分析ブログ
      • SeleniumによるAPI呼び出しを含むE2Eテスト自動化 - asoview! Tech Blog

        アソビュー! Advent Calendar 2022の2日目(裏面)の記事です。 アソビューでQAをしている渡辺です。 前職ではエンジニア、およびQAをしておりましたが、10月よりアソビューにQAとして入社しました。 今回は、API呼び出しを含むE2Eテストの自動化を、他社ウェブサイトに仕様記載の無料公開APIで試してみた話となります。 アソビューのQAでは、開発スピードと品質向上の両立を図ることを重視しています。 そのためにも、シフトレフトやテスト自動化推進の取り組みは重要です。 現在QAとして参画中のプロジェクトでAPIの外部公開があり、E2EテストとしてAPIを含むテストの自動化はこれまでしていないので、APIを含むテストについて、Seleniumで簡単に自動化できないか試してみました。 なぜSeleniumか? なぜPythonか? 試してみるテストケース 天気予報APIの仕様

          SeleniumによるAPI呼び出しを含むE2Eテスト自動化 - asoview! Tech Blog
        • 【機械学習】機械学習を用いたin silico screening【AI創薬】~第2/5章 スクレイピングによる公共データベース(PDB)からの機械学習データを収集~ - LabCode

          AI創薬とは?AI創薬は、人工知能(AI)技術を利用して新しい薬物を発見、開発するプロセスです。AIは大量のデータを高速に処理し、薬物の候補を予測したり、薬物相互作用を評価したりします。また、AIは薬物の効果や安全性をシミュレートすることも可能で、臨床試験の前の段階でリスクを評価することができます。これにより、薬物開発のコストと時間を大幅に削減することが期待されています。AI創薬は、薬物開発の新しいパラダイムとして注目を集め、製薬企業や研究機関で積極的に研究、導入が進められています。また、バイオインフォマティクス、ケモインフォマティクス、機械学習、ディープラーニングなどの技術が組み合わされ、薬物開発のプロセスを革新しています。さらに、AI創薬は個人化医療の推進にも寄与し、患者にとって最適な治療法を提供する可能性を秘めています。 今回はAI創薬の中でも、in silico screeenin

          • ゼロからはじめるPython(93) Pythonでブラウザ自動化 - 画像を丸ごとダウンロードしよう

            以前、本連載ではSeleniumを使ってブラウザを自動操縦する方法を紹介した。とても便利だがブラウザごとのドライバが必要でセットアップが面倒という側面もあった。しかし最近では自動インストールの方法が確立されて便利になった。そこで改めてブラウザの自動操縦を試してみよう。 ブラウザを自動操縦して画像をダウンロードしたところ Seleniumについて SeleniumとはWebブラウザを自動操縦するためのライブラリだ。もともとブラウザを使って自動テストを行うためのライブラリだが、今ではWeb巡回(クローリング)からデータ抽出(スクレイピング)までいろいろな自動処理に使われている。 Seleniumで可能なのは次のような処理だ。 ブラウザを自動操縦して任意のページを表示する ページ内の任意の要素を抽出する(id属性やclass属性、CSSセレクタで抽出できる) ページのスクリーンショットが取得でき

              ゼロからはじめるPython(93) Pythonでブラウザ自動化 - 画像を丸ごとダウンロードしよう
            • Python × Selenium × Cloud Runで手軽にブラウザ操作botを作ってみよう! - asoview! Tech Blog

              アソビューでふるさと納税事業・ギフト事業の開発責任者をしております、川又です。 アソビューでは「アソビュー!」「ウラカタ」に次ぐ第3の主要サービスを目指し、 新規事業として「アソビュー!ふるさと納税」「アソビュー!ギフト」を展開しております。 furusato.asoview.com store.asoview.com これら新規事業の開発責任者とは名ばかりで、少数精鋭な開発チームなので私も第一線で様々なシステムの開発を行っています。 学生の頃からパソコンを駆使して身の回りの課題を解決することが好きだったため、これからも開発を続けて行きたいものです。 さて、今回はそんな私がプライベートで「とあるサイトでの予約を自動化したい」という怠惰願望から 自動でブラウザを操作し予約ボタンをポチッと押してくれるbotを開発しましたので、botを構築・デプロイするまでの流れをご紹介したいと思います。 ※今

                Python × Selenium × Cloud Runで手軽にブラウザ操作botを作ってみよう! - asoview! Tech Blog
              • PythonでSeleniumライブラリーを使って、Webブラウザー操作を自動化! - Qiita

                はじめに Pythonプログラムで即業務に役立つサンプルプログラムとして、Webブラウザーの操作をPythonのSeleniumライブラリーを使って自動化する方法をご紹介します。 これによって、いわゆるRPA(Robotics Process Automation)を無料で構築できます。 動作環境 Visual Studio Code Python3.8.8 各種利用ライブラリー Selenium 3.141.0 chromedriver.exe ※ ※実行環境のパソコンにインストールされているGoogleChromeのバージョンにマッチしたchromedriver.exeをダウンロードしてPythonプログラムと同一フォルダに保存する必要があります。(詳しくはYouTube動画で解説しています) 処理概要: PythonでSeleniumを使って、YahooのホームページやGoogle検

                  PythonでSeleniumライブラリーを使って、Webブラウザー操作を自動化! - Qiita
                • Pythonのスクレイピングでメルカリの価格相場を調べる方法 - 77Lifeworkベータ版

                  はじめに 処理の流れ スクレイピングのコード スクレイピングプログラムが動作している様子 取得したcsvファイルの可視化 最後に はじめに この記事ではPythonによるスクレイピングを使って、メルカリでの特定の商品の取引相場を調べるツールを作成する方法を書いていきます。 メルカリで出品されている商品の価格帯を知りたいときは、メルカリのページの検索ボックスにキーワードを入れて検索しますよね。 試しに「iphone se simフリー」で検索してみます。 するとこんな感じで商品の画像と値段が表示されてきます。 この検索結果を見ていって大体の値段相場を把握する感じが通常だと思います。 ここでは既に売り切れたものにしぼって商品価格を調べる想定とします。 販売状況のところで「売り切れ」にチェックが入っている状態ですね。 手作業で簡単に実施できるとはいえ、出品されている数が多い商品だったりすると検索

                    Pythonのスクレイピングでメルカリの価格相場を調べる方法 - 77Lifeworkベータ版
                  • Puppeteerを使ってクローラを作った話 | PR TIMES 開発者ブログ

                    こんにちは、開発本部のバックエンドエンジニアのThai(タイ)です。クローラ改善プロジェクトを行い、Puppeteerを使って新しいクローラを作りました。今回の記事ではPuppeteerで開発したクローラについて紹介したいと思います。 Puppeteerとは Googleで開発されて、DevToolsプロトコルを介してChromiumやChromeを制御するための高レベルなAPIを提供するNodeライブラリです。 参照: https://devdocs.io/puppeteer/ クローラとは インターネット上の様々なWebページをスクレイピングするツールです。 なぜPuppeteerを使ってクローラを作るのか? これまでインターネット上の記事を収集するために、PHP-curlで開発したクローラを使ってきました。PHP-curlは静的なページを問題なくクロールできますが、SPAページ(Si

                      Puppeteerを使ってクローラを作った話 | PR TIMES 開発者ブログ
                    • SeleniumでChromeのプロファイルを使う | Seleniumワールド

                      Chromeのユーザープロファイル Chromeのユーザー毎のデータ(履歴、ブックマーク、パスワード等)は、ユーザープロファイルに保存されます。 SeleniumでChromeDriverを動かす場合、デフォルトではユーザープロファイルは一時ディレクトリに作成され、終了後にクリアされます。ログイン情報を引き継ぎたい場合は、使用するユーザープロファイルを指定する必要があります。 ユーザープロファイルは、Chrome起動時のオプションで指定します。 –user-data-dirユーザープロファイルの保存先を指定–profile-directory使用するユーザープロファイルを指定 現在使用しているプロファイルは、chrome://versionで見ることができます。 上の画像では –user-data-dir:C:\Users\xxxxx\AppData\Local\Google\Chrome

                        SeleniumでChromeのプロファイルを使う | Seleniumワールド
                      • python×selenium!つい勢いでbenefit stationの自動ログインスクリプトを作ってしまった! - かずきち。の日記

                        benefit stationとは? 知っている方も多いと思いますが、企業が導入している福利厚生サイトです。 飲食店やレジャー施設の割引情報が掲載されている。 がしかし、ログインが必要なのである。 引用:https://bs.benefit-one.co.jp/bs/pages/bs/top/top.faces こんなインターフェースでトップ画面にログイン画面がある。 人間がIDとパスワードを入力しないといけないわけだ。 大問題である。 ここのログインを突破して、中の福利厚生情報を全部抜きたい。 このログイン、スクリプトで突破しましょう。 使ったライブラリなどは import time # スリープを使うために必要 from selenium import webdriver # Webブラウザを自動操作する(python -m pip install selenium) import c

                          python×selenium!つい勢いでbenefit stationの自動ログインスクリプトを作ってしまった! - かずきち。の日記
                        • 【Python/Selenium】ChromeDriverバージョンエラー対処法 - ゆうきのせかい

                          Python/SeleniumでGoogle Chromeブラウザを自動操作したくてこんなふうにコードをかいて、 Pythonimport chromedriver_binary from selenium import webdriver driver = webdriver.Chrome() driver.get('https://google.com')動かしてみたら、4行目のwebdriver.Chrome()でこんな↓エラーが出た時の対処方です。 selenium.common.exceptions.SessionNotCreatedException: Message: session not created: This version of ChromeDriver only supports Chrome version 80 Current browser version

                            【Python/Selenium】ChromeDriverバージョンエラー対処法 - ゆうきのせかい
                          • WebスクレイピングでGoogleの検索結果を取得しよう!(Python)

                            Pythonで作れる代表的なプログラムとしてWebスクレイピングが挙げられます。これは主にライブラリを活用して実行するので、Pythonを覚えたての初心者でも簡単に作ることが出来ます。 今回はPythonを使い、Googleの検索結果に表示された記事のタイトル・URLをExcelに書き出すプログラムの作り方を紹介します。 Webスクレイピングとは? Webスクレイピングとは、Web上のサイトから任意の情報を自動で取得する技術のこと。出したデータを加工してファイルとして出力したり、データベース上にデータを溜めることもできます。 一般的にはホームページから大量の情報を取得したい時に使われますが、今回のように検索エンジンの結果一覧にもスクレイピングを実行することが可能です。 ブログやホームページを運営するうえで欠かせない作業が、ターゲットキーワードによる検索結果の把握です。上位表示されている競合

                              WebスクレイピングでGoogleの検索結果を取得しよう!(Python)
                            • TwitterAPIが死んだので、Yahoo!リアルタイム検索をPythonでスクレイピングしてツイート数のデータを取得する|シマ

                              TwitterAPIが死んだので、Yahoo!リアルタイム検索をPythonでスクレイピングしてツイート数のデータを取得する かつて無料で提供されていたTwitter APIは、イーロン・マスクによる買収などなんやかんやあって有料化されました。有料プランもあるにはありますが、そこそこの価格とそこそこの制限がかかっており、趣味レベルで手を出すのはちょっと憚られる感じのプランになっています。 そこで、TwitterAPIの代替手段として、Yahoo!リアルタイム検索をPythonでスクレイピングすることでツイート推移のデータを取得することにしました。この記事では、その手法(とコード)について書いていこうと思います。 Yahoo!リアルタイム検索とはYahoo!リアルタイム検索は、Yahoo!が提供しているTwitterの検索サービスです。ツイート検索やトレンドなどを確認することができます。とて

                                TwitterAPIが死んだので、Yahoo!リアルタイム検索をPythonでスクレイピングしてツイート数のデータを取得する|シマ
                              • Google ColaboratoryでSeleniumを使うための設定方法 | DevelopersIO

                                データアナリティクス事業本部のueharaです。 今回はGoogle ColaboratoryでPythonからSeleniumを使うための設定方法を紹介したいと思います。 はじめに 2023年5月時点では、Google Colaboratory上で単純に!apt install chromium-chromedriverでchromedriverをインストールした後、Seleniumを実行しようとしても以下のようなエラーが発生し強制終了してしまいます。 WebDriverException: Message: Service /usr/bin/chromedriver unexpectedly exited. Status code was: 1 これは、今年の1/18にColabのデフォルトのランタイムが(数年ぶりに)Ubuntu 18.04 LTSからUbuntu 20.04 LTS

                                  Google ColaboratoryでSeleniumを使うための設定方法 | DevelopersIO
                                • 【Network pharmacology】PubChemを用いた漢方成分の抽出【In silico創薬】 - LabCode

                                  4. ChromeDriverのインストール(Macユーザー向け) brew install chromedriverこのコマンドは Mac のユーザーが selenium を使うために必要なドライバ chromedriver をインストールします。 brew はMac用のパッケージ管理ソフトです。chromedriver は、SeleniumがGoogle Chromeを操作するために必要な「仲介役」です。注意:Chrome本体のバージョンとドライバのバージョンを合わせる必要があります。Windowsの場合は、公式サイトからChromeDriverをダウンロードしてパスを通す必要があります。 5. 必要なライブラリのインストール② pip install selenium pandas tqdm一部重複していますが問題ありません(すでに入っていればスキップされます)。ここでは tqdm

                                  • seleniumでサイトに一度だけログインしてセッションを保存してログイン状態を保ちながら使い続ける方法 - Qiita

                                    はじめに seleniumを使ったら自動的にサイトにアクセスして色々できて本当に便利ですよね。 seleniumの基本的な使い方については色んな記事に書いてあります。 Python + Selenium で Chrome の自動操作を一通り 10分で理解する Selenium Selenium webdriverよく使う操作メソッドまとめ ただしログインする必要があるサイトを使う時に少し難易度が高くなりますね。 自動でログインする方法は意外とたくさんの記事に書いてあります。 Python + Selenium + Chrome で自動ログインいくつか 【Googleログイン自動化】Python×seleniumでGoogleにログインする SeleniumでSlackに自動でログインする selenium から Twitter にログインして投稿 PythonとSeleniumで自動ログイ

                                      seleniumでサイトに一度だけログインしてセッションを保存してログイン状態を保ちながら使い続ける方法 - Qiita
                                    • Selenium(Python)の個人的スニペット集 - Qiita

                                      はじめに 本記事はSeleniumで私が個人的に使うためのスニペットのまとめです。 自分が使うためのスニペット集なので内容は偏っています。また一部Seleniumとは直接関係ないものも含まれています。 Seleniumの一通りの使い方を知りたい方は、以下のような素敵な記事がありますので、そちらをご参照ください。 Python + Selenium で Chrome の自動操作を一通り Selenium webdriverよく使う操作メソッドまとめ 環境 主に以下の環境向けの情報です。他の環境では一部動作しないものがあると思います。 ・macOS Catalina ・Python 3.8.3 ・selenium 3.141.0 ・Google Chrome 91.0.4472.19 目次(スニペット+α) タップで展開

                                        Selenium(Python)の個人的スニペット集 - Qiita
                                      • 便利なPythonモジュールの一覧!おすすめ外部ライブラリも紹介 - アンドエンジニア - エンジニアのこと、エンジニアから。

                                        この記事でわかること モジュールを使いこなすには、どのようなモジュールが存在するかを知ることが重要 標準モジュールはプリインストールされていて、すぐに使える汎用的な機能が多い 外部モジュールはPyPIからインストールが必要で、専門性が高い機能が多い 【関連記事】【Pythonのライブラリ管理ツール】pipインストールを徹底解説!Windowsでも簡単? 【関連記事】PythonのコードをEXE化するには? PyInstallerやその他ツールの特徴や使い方 【関連記事】Pythonで自動化できること7選!面倒な作業を効率化してより便利に 目次 1. Pythonのモジュールとは 1-1. Pythonのモジュールを活用するには 2. Pythonの便利な標準モジュール一覧 2-1. datetime(日付・時刻) 2-2. calendar(カレンダー) 2-3. re(正規表現) 2-4

                                          便利なPythonモジュールの一覧!おすすめ外部ライブラリも紹介 - アンドエンジニア - エンジニアのこと、エンジニアから。
                                        • Linux の CUI 環境で Google Chromeを動かす - シナプス技術者ブログ

                                          株式会社シナプス技術部ネットワーク課の杉原です。 これから、Linux の CUI 環境で Google Chromeを動かす方法についてご説明いたします。 GUI と CUI について GUI(Graphical User Interface) GUIとは、画面上に視覚的な画像や図形が用いられているインターフェイスのことです。 キーボードとマウスを使って画面上のテキストフォームやボタンなどのパーツを動かすことで、プログラムを実行します。 普段、みなさんが使っているPCやスマートフォンの画面がGUIにあたります。 CUI(Character User Interface) CUIは画面上に文字情報のみが表示されるインターフェイスのことです。 マウスを使わずキーボードでコマンドラインを入力することで操作を行います。 現在、ネットワーク装置やUNIX系サーバーはCUIでの操作が主流になってます

                                            Linux の CUI 環境で Google Chromeを動かす - シナプス技術者ブログ
                                          • 【Selenium】Chromeの拡張機能を起動する方法(Python) - ゆうきのせかい

                                            Python × Selenium × ChromeDriverでGoogle Chromeを起動すると、通常だと拡張機能はまっさらな状態で起動してしまいます。 でも、↓こんなふうに「拡張機能も同時に起動したい」ということがあったので、方法をメモしておきます。 ChromeDriverに"拡張機能実行オプション"を与えることで、実現できました。 【Selenium】ChromeDriverを拡張機能あり状態で起動する起動する拡張機能のIDを調べる拡張機能が保存されているフォルダーパスを調べる"拡張機能起動オプション"を与えてコード実行この3ステップです。順番に説明していきます。 1. 起動する拡張機能のIDを調べるまず、chrome拡張機能のIDを確認しましょう。 chromeを開き、右上三点マーク > その他のツール > 拡張機能 をクリック。 拡張機能ページが開くので、右上の「デベロッ

                                              【Selenium】Chromeの拡張機能を起動する方法(Python) - ゆうきのせかい
                                            • Docker + Selenium + arm64 - Just a Note for Hobby

                                              When I tried to use Selenium on RaspberryPi whose OS is Ubuntu, I couldn't do it because any image of SeleniumHQ/docker-selenium doesn't support arm64. I tried another way, which is downloading chromedriver from https://chromedriver.chromium.org/downloads, but it didn't work. I was completely exhausted. That's why I'm writing how to manage to do Selenium on the device . Seleniarm Run a container I

                                                Docker + Selenium + arm64 - Just a Note for Hobby
                                              • selenium4 で スクレイピング - Qiita

                                                yum -y install libX11 GConf2 fontconfig yum -y install ipa-gothic-fonts ipa-mincho-fonts ipa-pgothic-fonts ipa-pmincho-fonts fc-cache -fv yum -y install google-chrome-stable libOSMesa python3 -m pip install selenium python3 -m pip install webdriver-manager from selenium import webdriver from selenium.webdriver import ChromeOptions from selenium.webdriver.support.ui import WebDriverWait from seleni

                                                  selenium4 で スクレイピング - Qiita
                                                • Chrome DevTools Protocolを用いるPlaywrightを活用した広告表示の監視について - MicroAd Developers Blog

                                                  京都研究所・TechLabの石浦です。マイクロアドでは、広告配信システムの監視の整備に取り組んでいます。 最近では、社内にある監視基盤を活用し、広告配信システムから実際に配信されている広告そのものを監視対象にしながら配信が正常かをチェックするようにしています。 なお、監視基盤については以前ブログで紹介していますので、ご参照ください*1 外形監視と広告実配信 広告が表示されるまでには様々な手続きが行われていますが、その詳細は伏せて最終的な広告表示が正常に表示されているかだけをチェックしたいことがあります。 このようにシステムの内部状態を直接確認するのではなく、システムの外部から入力と出力の関係性に焦点を当てて監視するアプローチを外形監視と言います。 去年、自社の広告配信システムに対して、外形監視を行う仕組みを導入しました。 本番の配信を経由しなければ見つけられない不具合があるという問題に取り

                                                    Chrome DevTools Protocolを用いるPlaywrightを活用した広告表示の監視について - MicroAd Developers Blog
                                                  • 初心者でも簡単にできるSeleniumのインストール【Python】

                                                    簡単に言うと、Seleniumはブラウザを操作するためのPythonライブラリです。 そして、PythonとブラウザをつなぐためにWebドライバーが必要となります。 この記事では、ブラウザはChrome前提で話を進めます。 Chromeの場合、WebドライバーはChromeDriverとなります。 以上、Seleniumについての説明でした。 次は、Seleniumのシステム要件を確認します。 Seleniumのシステム要件 現時点(2021年4月)でのSeleniumの最新バージョンは、3.141.0となります。 この最新バージョンは、2018年11月1日にリリースされています。 大前提として、実際にブラウザがインストールされている必要があります。 したがって、Chromeがインストールされていることは必須です。 それに伴って、ChromeDriverが必須となります。 ChromeDr

                                                      初心者でも簡単にできるSeleniumのインストール【Python】
                                                    • 【Selenium】webdriver-managerのおかげでChrome Driverのバージョンを気にしなくてよくなった話 - Qiita

                                                      #はじめに 私は現在コンテンツ制作の現場に所属しています。 日々コンテンツを制作または更新し、WordPressにアップしていきます。 基本は創作活動なのですが、たまに作業でしかないタスクが発生することがあります。 数百件の外部リンクをWordPressにアップする リンク先のサイト構成の変更に伴い数百件の外部リンクのURLを変更する 数百件のコンテンツのアクセスレベルを変更する これらは人間がやる必要のない仕事なので、Pythonで自動化してきました。 具体的には変更したい内容をcsvにまとめて、その内容をもとにSeleniumでChrome Driverを起動し、ブラウザ上でWordPressの内容を更新するといった流れです。 作成したツールはPythonがわからない人でも扱えるようにPyinstallerでexeファイル化してメンバーに配布していました。 しかし問題も抱えていました。

                                                        【Selenium】webdriver-managerのおかげでChrome Driverのバージョンを気にしなくてよくなった話 - Qiita
                                                      • Teamsの個人チャットへ自動送信する(2段階認証回避) - Qiita

                                                        はじめに お久しぶりです。プロコン間に合いませんでした。次はきっと間に合わせます(次があったら)。 今回の記事は、Teamsの個人チャットへ、メッセージを自動送信するプログラムの作成について書いたものです。バイト先で必要になったので、作りました。 意外と躓きポイントがあったので大変でした。躓いたのは、ログイン(2段階認証)と、seleniumの要素の取得(classでfindする時に空白を含んではいけない)です。一応、githubにプログラムを公開しておきます。使う人がいればですが、好きに使ってください。 概要 本記事で解説する手法は、「Teamsの個人チャットへメッセージを自動送信する」ものである。 従来のTeasmへ自動送信する手段としてIncoming Webhook[1]というツールがあるが、チーム単位でしか操作できない特徴があり、自動送信される相手はそのチームに参加する必要がある

                                                          Teamsの個人チャットへ自動送信する(2段階認証回避) - Qiita
                                                        • Web Scraping without getting blocked (2025 Solutions)

                                                          Web scraping, or crawling, is the process of fetching data from a third-party website by downloading and parsing the HTML code to extract the data you need. "But why don't you use the API for this?" Not every website offers an API, and those that do might not expose all the information you need. Therefore, scraping often becomes the only viable solution to extract website data. There are numerous

                                                            Web Scraping without getting blocked (2025 Solutions)
                                                          • Webアプリケーションを自動で操作してみよう | へっぽこ実験ブログ

                                                            自動操作を行う場合、id、name、classなどを利用して要素を指定することになるので、属性値をメモしておきましょう。 5.同様にボタンについても属性を調べます。その結果は以下のようになります。 <input class="gNO89b" value="Google 検索" aria-label="Google 検索" name="btnK" type="submit" data-ved="0ahUKEwiC0u6iu4nlAhXwyIsBHWwTBHcQ4dUDCAo"> 属性 値 ここで調べた属性を利用して要素を特定して自動操作を行うことになります。。 また、今回はChromeでのやり方を紹介しましたが、他のブラウザでも同様のことが可能です。同じWebアプリケーションを使用していてもブラウザによって出力される内容が異なる可能性もあるので、自動操作を行うブラウザを使用して要素を調べるよ

                                                              Webアプリケーションを自動で操作してみよう | へっぽこ実験ブログ
                                                            • python(パイソン)でSBI証券にログイン

                                                              python(パイソン)でSBI証券にログインするコードまずは結論から。 # coding: utf-8 #-------------------------------------------------------------------------------------------------- #SBI証券にアクセスしてログインする #-------------------------------------------------------------------------------------------------- from selenium import webdriver#seleniumをインポート #---------------------------------------------------------- #seleniumの設定 #-------

                                                                python(パイソン)でSBI証券にログイン
                                                              • Pythonで画像自動検索&規則ファイル名で自動保存 - Qiita

                                                                やろうとしてること 指定の検索ワードで、画像を検索し、規則ファイル名で自動保存 なぜこんなことをしようと思ったか 上記の学習のための素材集めのため 「ナルト」「ルフィー」それぞれの訓練用データを10枚ずつ集める必要がありました。 また、学習用データ10枚ずつだといずれにせよ少ないので、学習用データ収集の自動化は必須 書いたコード from selenium import webdriver from selenium.webdriver.common.keys import Keys import urllib.request import time # 検索ワード search_word = 'ルフィー 顔 画像' # 画像保存先のフォルダ save_dir = './luffy_faces/' # webdriverのパス webdriver_path = './chromedrive

                                                                  Pythonで画像自動検索&規則ファイル名で自動保存 - Qiita
                                                                • Python Twitter APIを使わずにツイートを収集 2023年最新版 - Qiita

                                                                  ツイート収集用の各ライブラリ ほぼ使えなくなったので自力で収集する方がいいです。 事前準備 Google Colaboratory で ツイートを収集してみます。 Google Colaboratory でTwitterの画像をダウンロード の通りにGoogle Colaboratory に chrome, selenium をインストールしてください。 ツイート収集 ツイートを収集したいアカウントにアクセスして、下までスクロールします。 from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.common.keys import Keys from selenium.webdriver.support.ui import WebDriverWait

                                                                    Python Twitter APIを使わずにツイートを収集 2023年最新版 - Qiita
                                                                  • 生成AI時代に考えるBot対策と自動化技術:効率化と迷惑行為の境界 - ラック・セキュリティごった煮ブログ

                                                                    どーも、bubobuboです。 APIの過剰利用から学ぶBot対策 最近、とある生成AIサービスのAPIを活用して、Pythonのスクリプトを組んで生成AIを回し続けたところ、実行頻度が高すぎてアカウントに恒久的な制限(要するにBAN)がかけられてしまった、という事例を耳にしました。 これはAPIを使い倒した経験のある人なら、一度はやってしまいそうな出来事ではないかと思います。 課金して正規のAPIキーを取得したのに、想定外の制限に引っかかってしまうのは、悔しいけれどもありがちです。公式にAPIが提供されているということは、スクリプトからサービスを呼び出されることを前提としていますが、その呼び出し頻度については別途規定されているものと見るべきでしょう。何事もやり過ぎは良くありません。 これはAPIの利用規約や、サーバー資源の観点からは避けられない問題です。 APIが提供されていないサービス

                                                                      生成AI時代に考えるBot対策と自動化技術:効率化と迷惑行為の境界 - ラック・セキュリティごった煮ブログ
                                                                    • Seleniumと比較したPlaywrightの強味

                                                                      PlaywrightとSeleniumはどちらもブラウザの自動化フレームワークであり、クロスブラウザ対応やUIテストの自動化、ブラウザ操作のスクリプト化など共通する機能や特徴があります。この記事はすでにSeleniumへの知識があり、Playwrightへの移行を検討している人に向けて、Seleniumと比較した時のPlaywrightの強みをまとめています。 1. 複数のブラウザエンジンに対応 Playwrightは、1つのAPIで以下の複数のブラウザエンジンに対応しているのが大きな特徴です。 Chromium(Google Chrome、Microsoft Edge) Firefox WebKit(Safari) Seleniumも複数のブラウザ(Chrome、Firefox、Edge、Safari)をサポートしていますが、PlaywrightはWebKitエンジンにも対応しているため

                                                                        Seleniumと比較したPlaywrightの強味
                                                                      • 【Python】Selenium WebDriver でIE11(windows10)を操作【2020年】

                                                                        【Python】Selenium WebDriver でIE11(windows10)を操作【2020年】投稿 : 2020-06-25更新 : 2022-01-24 追記:2020/09/12 Python(64bit版)でも確認しました。 この辺りは、Python(32bit版)と変わりなさそうです。 追記:2022/02/24 Python 3.10.2(64bit版)で確認しました。 Selenium WebDriver は(Selenese で、またはクライアントAPIを介して送信される)コマンドを受け入れ、それらをブラウザに送信する。これは、ブラウザにコマンドを送信して結果を取得するブラウザ固有のブラウザ・ドライバを介して実装される。ほとんどのブラウザ・ドライバは、実際にブラウザアプリケーション(Firefox、Google Chrome、Internet Explorer、S

                                                                          【Python】Selenium WebDriver でIE11(windows10)を操作【2020年】
                                                                        1