Fast and reliable end-to-end testing for modern web apps | Playwright Python
Playwright enables reliable end-to-end testing for modern web apps. Cross-browser. Playwright supports all modern rendering engines including Chromium, WebKit, and Firefox. Cross-platform. Test on Windows, Linux, and macOS, locally or on CI, headless or headed. Cross-language. Use the Playwright API in TypeScript, JavaScript, Python, .NET, Java. Test Mobile Web. Native mobile emulation of Google C
Pythonで競馬のオッズを取得をしてみた。 - いものやま。
競馬でデータ分析をしていくためにまず必要となるのがデータの取得。 今回はPythonでオッズの取得をやってみた。 Playwright データの取得はいろいろ考えられて、Web APIが使えればそれが一番早いんだけど、残念ながら使えなさそう （公式でJRA-VANというのはあって、Web APIもあるっぽいんだけど、macだと動くか怪しい・・・）。 そこでスクレイピングでWebサイトから情報をとってくることにした。 オッズはJRA公式サイトから取得できて、一応スクレイピングは禁止されてないようだった （robots.txtでDisallowが空で、規約にも禁止の文言は見当たらない）。 もちろん、過度なアクセスは避けるべきだけど。 Pythonでスクレイピングする場合、SeleniumやPlaywrightを使うことが考えられて、今回はPlaywrightを使うことにした： Playwrig
GASでJavaScriptで動作するWebページをスクレイピングするPhantomJsとは
今回から、Google Apps Scriptを使ってのスクレイピングです。 Google Apps Scriptでは、VBAでInternet Explorerを操作したように、ブラウザ操作ができません。 そのため、ブラウザに変わってJavaScriptを実行する仕組みが必要です。 それを、解決してくれるのがPhantomJs Cloudです。 ということで、今回は「GASとPhantomJs CloudでJavaScriptで動作するWebページをスクレイピングする準備」部分をお伝えします。 ホントはChrome操作できたらべんりなんですけどね～ JavaScriptを考慮せずにスクレイピング まずは、JavaScriptを考慮せずにスクレイピングしてみます。 スクリプトは下記のようになります。 function scraping() { const URL = 'https://ww
チートシート【Python】 - Qiita
dt = datetime.datetime.now() dt_str = dt.strftime("%Y-%m-%d %H:%M:%S") dt_minutes = (dt + datetime.timedelta(minutes=-5)).strftime("%Y-%m-%d %H:%M:%S") dt_hours = (dt + datetime.timedelta(hours=-1)).strftime("%Y-%m-%d %H:%M:%S") dt_days = (dt + datetime.timedelta(days=-1)).strftime("%Y-%m-%d %H:%M:%S") dt_years = (dt + datetime.timedelta(years=-1)).strftime("%Y-%m-%d %H:%M:%S") petrn = re.compile(
【Python】楽天ショップのAPIを使用して商品のJAMコードを取得する
副業で楽天APIを使って商品のJAMコードを取得しようと思ったのですが、ググってできてたQitta記事はPython2で書かれたものなので、Python3に書き直してみました。コードのやっていることはリンク先と全く同じなのでコードだけ張っておきます。 該当記事：https://qiita.com/DisneyAladdin/items/d136a04b715de59ade57 元記事はコマンドラインでの実行を前提としていますが、 import re from time import sleep import requests app_id = [自分のID] # 自分のIDを文字列で入力してください shopname = 'dvdoutlet' #ショップID(任意に変更してください) url = 'https://app.rakuten.co.jp/services/api/Ichiba
【Python】楽天の商品情報を取得する． - Qiita
今回はショップIDを上の例に従いdvdoutletとした 実行すると以下のように３０件ほど商品情報が返ってくる 楽天APIにおいて一回のリクエストでゲットできる最大数は３０件 今回のリクエストの内容は簡単にいうと 「dvdoutletが扱う全商品のうち最初の１ページ目の３０商品の情報をちょうだい！」 ということになります． 【num of item】 4052 【num of page】 136 =================================== 【No.】1 【Name】B〉3D＆2D レディ・プレイヤー1 セット【Blu-ray... 【Price】¥6794 【URL】 https://item.rakuten.co.jp/dvdoutlet/4548967394702-1/ 【shop】 DVD-outlet タイトル B〉3D＆2D レディ・プレイヤー1 セッ
Pythonでバーコード読み込み～JANコードASINコード変換～
開発してみたシステム Teraの小型バーコードスキャナーを購入したので、このスキャナーを利用したシステムの開発したいと思います。 具体的には、日本の商品コードであるJANコードをAmazonの管理コードであるASINコードに自動で変換するシステムを作ってみます。 普段私たちが購入した商品についているバーコードは、JANコードと呼ばれる日本国内の商品管理コードです。 一方で、Amazonも商品の管理コードを独自に持っており、これをASINコードと呼びます。 私は、Amazonのヘビーユーザーなので、JANコードをASINコードに変換してくれるシステムを作ってみました。（興味本位です（笑）） 下記はデモ動画です。 開発の流れは、下のような感じです！ バーコードをスキャン Pythonで読み込み Seleniumでブラウザ検索（変換サイトを利用してJANコードをASINコードに変換） バーコード
BeautifulsoupでXMLからテキスト取得 - エイエイレトリック
前回記事 国立国会図書館サーチの検索API(SRU)を使うの続き。 PythonのBeautifulsoupを使って、国立国会図書館APIから取得したXMLからタイトル情報を取得する。 バージョン情報 Python 3.7.3 beautifulsoup4 4.8.0 lxml 4.4.1 requests 2.22.0 Pythonでapiの値を受け取る Pythonでapiの結果の受け取る方法は色々あるが、今回は簡単に使える requestsを利用する。 引数param でパラメータを渡してget()する。 前回に引き続き、ということで コードウェイナー・スミス の著作を検索してみる。 パラメータの意味などは前回のブログをみてください。 import requests base = 'http://iss.ndl.go.jp/api/sru' payload = { 'operatio
XMLを解析して要素を出力（Pythonによるスクレイピング＆機械学習テクニック） - 俺人〜OREGIN〜俺、バカだから人工知能に代わりに頑張ってもらうまでのお話
今回は、 Pythonによるスクレイピング＆機械学習開発テクニック増補改訂 Scrapy、BeautifulSoup、scik [ クジラ飛行机 ]の第３章を参考にさせていただきながら、urllib.request+BeautifulSoupで、Web上から、XMLファイルをダウンロードして解析後、要素を出力できるようになりました。 Docker上に構築した開発環境で実行しています。 Dockerでの開発環境の構築については、過去記事をご参照ください。 oregin-ai.hatenablog.com では、振り返っていきたいと思います。 XMLを解析して要素を出力する。 1.全体像 2.XMLファイルをダウンロード 3. BeautifulSoupで解析 4.種類ごとにデータを取得 5.区(ward)ごとに防災拠点を出力 5.コマンドラインから実行してみる。 XMLを解析して要素を出力す
SeleniumでTwitterをスクレイピングする【Python】
話を戦略に戻しましょう。 戦略は、「ブラウザを使ってTwitterを見るように、スクレイピングを行う」です。 よって、本当にブラウザを動かす必要があります。 そのためには、Seleniumが必須です。 Seleniumなしでは、Twitterをスクレイピングはできません。 技術的には可能かもしれませんが、かなり面倒になるでしょう。 なぜ、Seleniumが必須なのか？ それは、以下の理由です。 JavaScriptにより動的コンテンツを表示しているスクロールにより追加コンテンツを表示している（改ページの概念がない） 動的コンテンツは、Seleniumなしでも何とかなります。 でも、スクロール処理はSeleniumの力が必要です。 他には、Node.jsと言う手があるかもしれませんけどね。 では、Seleniumを使ってTwitterを攻略していきます。 上記であげた2点がポイントです。 J
Playwrightをpythonで使ってみた - Qiita
Playwrightとは？ E2E自動テストの作成を助けてくれるフレームワーク 公式：https://playwright.dev/ githug：https://github.com/microsoft/playwright TypeScriptやJavaScriptで扱うのが基本っぽい これ以外でも当記事で扱うPythonの他、Javaや.Netもサポートしている インストール 参考 環境 Windows10Pro Python3.8.8 公式の通りにコマンドを打ち込んでいったら動いた （から、公式を見た方が良い） # pytest(pythonのテストフレームワーク)のプラグインをインストール pip install pytest-playwright # 必要なブラウザのインストール playwright install from playwright.sync_api impor
最新自動テストツール『Playwright for Python』さわってみた - Qiita
JavaScript向けのE2E自動テストツールであった「Playwright」が、 Python向けに「Playwright for Python」としてプレビューリリースされたということで早速さわってみました。 Announcing Playwright for Python: Reliable end-to-end testing for the web Playwrightとは PlaywrightはChromium, Firefox, Webkitを単一のAPIで自動化するライブラリです。 これを利用することで高速で信頼性の高いクロスブラウザテストが実施できるようになります。 Playwrightの利点 公式ドキュメントでは以下の4点が述べられています。以下拙訳です。 1. 全てのブラウザをサポート Chromium, Firefox, Webkit(Safari)をサポートして
レッスン0：Octoparseの基本紹介 | ヘルプセンター
Octoparseのインターフェイスは二つのセクションに分かれています。ホームとサイドバーメニューです。
Using Selenium on PythonAnywhere
We recommend upgrading selenium for your account/virtualenv to this version. For example, if you're using Python 3.7, run this in a Bash console: pip3.7 install --user selenium==4.1.3 You can run Selenium with Chrome using code like this: from selenium import webdriver chrome_options = webdriver.ChromeOptions() chrome_options.add_argument("--no-sandbox") chrome_options.add_argument("--headless") c
【スクレイピングブロック対策】IPアドレスを分散・自動変更する方法まとめ
プランはいくつかありますが僕が使っているのは月額$0.5の激安なのに、日本のIPアドレスをアクセス毎に自動変更してくれるので大満足しています。 登録＆設定方法 ■ brightdataにアクセスして会員登録する ■ アカウントを作成するのでそれぞれ入力する first name：名前 last name：苗字 work email：メールアドレス campany size：従業員数（個人なら1人） vertical：業種的な（今回はスクレイピング） ■ アカウントのパスワードを設定する ■ 下記の画面に移行後、認証メールが届くので確認する ■ メールの認証ボタンを押す、迷惑メールに振り分けられる事もあるので要確認 ■ 使用プランを聞いてくるので一番安い「web unlocker」を選択 ■ さっそく使ってみよう、みたいに言ってくるけど無視する ■ クレジットカードかネット決済サービスで本人
seleniumとpyppeteerでブラウザ操作 - メモ
Selenium from selenium import webdriver driver = webdriver.Firefox() url = 'https://www.yahoo.co.jp/' driver.get("https://tool-taro.com/wget/") elem = driver.find_element_by_name("value") elem.clear() elem.send_keys(url) elem = driver.find_element_by_class_name("lockable") elem.click() elem = driver.find_element_by_name("title") title = elem.get_attribute("value") print(title) elem = driver.find_e
Pythonでの複雑なページをスクレイピングする（requests-html + pyppeteer） - shobylogy
Pythonでスクレイピングをする場合、requests-htmlが便利ですが、 JSで構築された複雑なページなどをスクレイピングしたい場合、物足りなくなるケースが出てきます。 今回は、requests-htmlが内部で使用しているpyppeteerと組み合わせて、 複雑なWebページをスクレイピングする方法をご紹介します。 requests-htmlとは pyppeteerとは pyppeteer + requests-html まとめ requests-htmlとは requests、pipenvの作者の方が開発したhtmlの取得・parse用のライブラリです。 HTML Parsing for Humans™と銘打っている通り、非常にhuman readableなコードを書くことができます。 基本的な使い方は以下の通りです。 from requests_html import HTM
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
JANコード検索＆バーコードリーダー – じゃん検索
https://www.web-development-kb-ja.site/ja/python/beautifulsoup%E3%82%92%E4%BD%BF%E7%94%A8%E3%81%97%E3%81%A6n%E7%95%AA%E7%9B%AE%E3%81%AE%E8%A6%81%E7%B4%A0%E3%82%92%E5%8F%96%E5%BE%97%E3%81%99%E3%82%8B/940807468/
webmage