環境 MacOS : Catalina - 10.15.7 Python : Python 3.6.8 Selenium : 3.141.0 概要 業務で、競合他社のGoogle検索順位を調べるバッチ作成をしていたときのお話。 数個の「キーワード」をループでそれぞれ検索して、指定する他社のドメインが出てくるかをチェックするようなバッチだった。 以下、ソースコードに似たコード例を載せる。 from selenium import webdriver import chromedriver_binary from selenium.webdriver.chrome.options import Options # Chromeに接続して引数で検索する def search(driver, word): driver.get("https://www.google.com") search =

主要な検索エンジンがSEOスパムに席巻された中で、個人サイトや独立したウェブサイトを検索するためのオープンソースの検索エンジンが「searchmysite.net」です。searchmysite.netの公式ブログが、searchmysite.netのユーザーのうち、検索エンジン最適化(SEO)スパムのボットが100％を占めたと報告しています。 Almost all searches on my independent search engine are now from SEO spam bots https://blog.searchmysite.net/posts/almost-all-searches-on-my-independent-search-engine-are-now-from-seo-spam-bots/ searchmysite.netは2020年頃に立ち上げられた

Google Chromeの検索エンジン設定で、e を ?q=%s&lr=lang_en&hl=ja に、j を ?q=%s&lr=lang_ja&hl=ja に、デフォルトを ?q=%s&lr=lang_ja|lang_en&h… https://t.co/8p9hdK3V9f

はじめに 覚えてほしいこと - Selenium print option やりたいこと - Web Page もしくはhtmlをPDFに自動変換 きっかけ - 無料ブログのデメリットへのリスクヘッジ - Webページの自動バックアップ 使用環境 全体フロー Step1 - 必要モジュールのImport Step2 - 印刷オプションの設定 - Chrome Driver Print Option Step2.1 -appStateの定義 Step2.2 -prefの定義 - appStateを引数に格納する Step2.3 -chopt の定義 - Chromeのオプションとして格納 Step3 - Selenium スクレイピングの実行 Step 3.1 WebDriverの定義 Step 3.2 待機処理について Step 3.3 PDF印刷実行 Step4 - 関数の呼び出し コー

はじめに こんにちは。株式会社Flatt Securityセキュリティエンジニアの山川です。 多くのWebサービスにおいて、ブログ記事やドキュメントの公開・下書き共有のためにURLを発行する機能が存在していると思います。このようなURLに関して、第三者に知られたくない場合「推測不可能なURL」を発行するといったセキュリティ観点は広く知られているかと思いますが、それ以外にはどのような観点が存在しているでしょうか。 本稿では、Webサービス上で発行されるURLに関して「どういったセキュリティの観点があるか」や「脆弱性・リスクに対する対策」についていくつかのパターンを前提に解説します。 はじめに 前提 機能一覧 セキュリティ観点 パターン1: URLが推測可能かつアクセス制御に不備がある場合 連番になっている 日付が入っている 単純な値を用いて変換されたハッシュ値 パターン2: URLが推測不可

HOMEプログラムPython【Python・Selenium】stale element reference: element is not attached to the page documentエラー Seleniumを使ってWebページのリンクを取得した後、取得したリンクに移動したい場合があります。 リンクが1つだけの場合はいいのですが、複数のリンクを移動する場合は注意が必要です。 実行環境 Windows 10 ChromeDriver 84.0.4147.30 Python 3.7 エラーの場合 find_elements_by_css_selectorやfind_elements_by_tag_nameなどで複数の要素を見つけつます。 見つけて要素からリンクを取得して、リンク先に移動すると、1回目は遷移に成功しますが、2回目以降はエラーになります。 links = driv

概要 Seleniumでページの読み込みが終わらない現象が時々発生し、エラーとなってテスト実行が不安定となるため、リトライを試してみる。 ページの読み込み最大待ち時間の指定する とりあえず、読み込みを待つ最大の時間をセットして、 ページ読み込みが終わらない場合は終了させる。 from selenium import webdriver driver = webdriver.Chrome("D:\chromedriver") driver.set_page_load_timeout(10)　　# 10秒 try: driver.get("https://google.co.jp/") print("The page was loaded in time！") except: print("time out!") #!/usr/bin/python import unittest, time

原因はProxyの設定がないため。Proxy環境で動かす人が少ないのか、情報が少なくて困った。。 以下のようにオプションでProxyを設定すると直った。 なお、 --proxy-server=http://domain.com:8888 のようにdns名でProxyを設定すると「ERR_NO_SUPPORTED_PROXIES」エラーが出る。ProxyはIPアドレスで指定しないとだめ。色々罠が多い。。 options = Options() options.add_argument('--headless') options.add_argument('--remote-debugging-port=9222') options.add_argument('--proxy-server=xxx.xxx.xxx.xxx:8888') driver = webdriver.Chrome(f'{

はじめに Selenium (+ Chrome) でのファイル保存関係の方法をまとめます。 基本的操作: Python + Selenium で Chrome の自動操作を一通り 以下の説明の一部はChrome依存です（PDFのダウンロード、ヘッドレスモードでのダウンロードなど）。 注意事項 アクセス対象サイトの利用規約をよく読みます。 たとえばログインが絡むサイトなどは、機械的なダウンロードが禁止されていることもしばしばあります。（例：twitter） 自分だけでなく、自分の所属するグループごと大きなペナルティを食らうこともあります。（例：電子ジャーナル） 著作権をよく理解・考慮する必要があります。 サーバーの負荷もよく考えます。時間を十分空けながら処理をします。 並列にダウンロードをするのは避けたほうがよいでしょう。 URLリストだけ取得しておき、あとで順にダウンロードしていくのもあり

ファイルのダウンロードをするSeleniumのスクリプトを、docker上でheadlessモードのChromeDriverで動作させた際、ファイルのダウンロード処理に失敗する現象が起きたので、その対処方法のメモ書き 前準備 基本的なところは前回と同じ modalsoul.hatenablog.com ファイルのダウンロードをする処理を追加しています(と言っても、anchorをクリックするだけですが ダウンロード先ディレクトリを掘って > make scraping > docker-compose run scraping /bin/sh > python scraping.py のような感じで実行できます 現象その１ headlessモードで動作させると、ファイルのダウンロードがされない スクリプトが正常終了しても、保存先パスにファイルが存在しない dockerではなくローカルのmac

htmlファイルをpdfに変換する必要が生じたので、どうやってやろうかといろいろ調べた結果、最終的に使ったのはSeleniumだった。今回少し調べ物をしてまた忘れそうなので、メモしておく。 Google先生に聞くと、下記の記事が日本語だと見つかる。（いつも思うのだがPDF関連は日本語の記事が多い気がする） PythonのSeleniumでログインありのwebページをPDF保存する SeleniumとPythonを用いて複数のウェブサイトをPDF保存 pythonにてwebページをpdf化しての保存先と名前の変更 【Python入門】スクレイピングを使って自動的にWebページからたくさんファイルをダウンロードする方法 ヤフオクの購入した商品データを自動でPDFに保存する領収書ツールを作った。 Seleniumで印刷(print preview)を経てPDFを保存する方法 上記のように猫も杓子

Ubuntu＋Python＋Selenium ご質問の前提条件から外れてしまいますが、 Selenium ではなく Puppeteer であれば、直接ダウンロードするパスとファイル名を指定する方法があります。 → puppeteer でファイルをダウンロードするときに、任意のパスと名前で保存する | Aqua Ware つぶやきブログ 上記の記事は、 node.js + Puppeteer の例ですが、 pyppeteer を使うことで、以下のように Python でも同様の結果が得られます。 import os import asyncio # Fetch.enable に対応している Chromeimum リビジョンを指定 os.environ['PYPPETEER_CHROMIUM_REVISION'] = '884014' import pyppeteer event_loop =

Where can I find the documentation that describes the options I can use with Selenium and Chrome web browser? I want to open a link in a web browser (to get credential) but not to download the corresponding file (.pdf or .tiff or .jpeg). I am using Python 2.7, selenium 3.0.1 and Chrome version 54.0.2840.99 (and chromedriver.exe) on Windows 7 Laptop. # Chrome web browser. options = webdriver.Chrome

個人的にPythonの中でもぶっちぎりNo1レベルでヘビーユースな外部モジュールrequestsについての便利さをひたすらまとめていきます。 requests 概要 簡単に言うとPythonで行うHTTPリクエストを簡単に手軽にしてくれる神ライブラリです。 言語を跨いだHTTPインターフェイスのディファクトスタンダードといえばCURLコマンドが非常に有名ですが、ことPythonにおいてはCURLの出番はありません。 requestsが優秀すぎるためです。（CURLも一応あります。） requests 使い方 パッケージ管理モジュールで一発でインストールできます。 $ pip install requests pip以外でやってみた事はないんですが、多分condaとかeasy install とかでも普通に入ると思います。 スクリプト内で利用する際はimportする必要があります。 >>>i