Python と Playwright でブラウザを自動操作させるコードを自動生成したよ - Qiita
Playwright が昨年１年間で大幅パワーアップしていたので、使い方を確認したときの記録のまとめです。 ブラウザを自動操作できるということは、簡単なスクレイピングやブラウザ側のテスト自動化が簡単にできるようになります。 特に、Python での解説がまだまだ少なかったので、自分の学習を含めてまとめました。 今回は入門編ということで全体像をつかみつつ使用方法の流れを確認していただければありがたいです。 Selenium や Puppeteer を使っている方も、一度試す価値ありと思っています。 選定した理由 ブラウザのテストを Python で自動化したかったんです。 私なりの要件がありまして、非常にわがままな要件でしたが余裕ですべてクリアしました。 Python で書けること。社内で Python を使える方が多いので。pytest と連携してくれるとなおうれしい。 Docker コン
Puppeteer使いがPlaywrightを使ってみて感じた利点
ブラウザの自動操作にPuppeteerを利用しているが、試しにPlaywrightを使ってみたら良いと思う点が多かったのでまとめた。正直な感想を言うと、「ほぼ上位互換では？」と思うくらいには良い点が多かったし、悪い点は見つからなかった。同じ作者の後発なだけはある。 なお、Puppeteer歴1年、Playwright歴1日で書いているので、変な箇所があればご指摘ください。 利用バージョン Puppeteer : 5.5.0 5.4.1 Playwright : 1.8.0 便利だと思った点 とても柔軟なselector Puppeteerはpage.$x()など一部でXPath selector が利用できるものの、page.click()やpage.$eval()など多くの関数ではCSS selectorしか利用できなかった。 しかし、Playwrightでは、selectorを利用する
Power Automate DesktopでWebサイトからページングしながらデータを取得する。 | てじらぼ
リライブシャツすごすぎワロタｗｗｗｗｗｗ【リライブシャツを買ってみたらガチだった。】 リライブシャツ 着るだけで「身体機能をサポートする」怪しいシャツがガチだった。 YouTubeやSNSでバズってた「リライブ...
スクレイピング時に本文だけを抽出する最高精度ツールが優秀！【日本語版も公開】 - Qiita
n,pはそれぞれnegative(ノイズ),positive(本文)を基準とした時の評価を表します。 例としてノイズ部分をN,本文をPとし,正解をT(True)、間違いをF(False)とした時にPresicionはそれぞれ以下の式です。 $$ Presicion_{[n]} = \frac{TN}{TN + FN} $$ $$ Presicion_{[p]} = \frac{TP}{TP + FP} $$ nのf値はどれだけ正確にノイズを除去できているかを、pのf値はどれだけ正確に本文を抽出できているかを評価していると考えればよいでしょう。 元のデータでの再現学習も問題無く行えました。また日本語対応版もおおよそ元論文と同程度の精度が出ています。 要点2:軽量でCPUでも1ページ0.02s程度の時間で予測できる Core i7,8コアのCPU環境でも1ページ0.02s程度の時間で予測が可能
PHPでPocketの公式ボタンからストックされたカウント数だけを取得する | QWERTY.WORK
PocketのAPIが見当たらない 公式のSNSのシェアボタンをホームページやブログに設置すると重くてページの表示速度が遅くなるので、軽くて速く表示できるように自作のSNSボタンの作成にチャレンジしています。 それにPocketのストック数を表示させようと思っていいたのですが、Pocketのカウントを取得しようと公式APIを探しまくったのですが、ページをストックするためのAPIは存在するものの、特定のページがストックされたカウント数が取得できるAPIは現在存在していないみたいで見つかりませんでした。 公式ボタンからカウント数をを抜き出す カウント付のSNSシェアボタンを自作しようとしているのですが、Pocketについては唯一、公式シェアボタンのHTMLからカウント数をWEBスクレイピングで抜き出すという方法しかなさそうです。今回はこれをPHPでやってみたいと思います。 できれば非同期でJS
Node.jsで超簡単にスクレイピングを実装してみる - もやもやエンジニア
スクレイピングとは Webスクレイピングとは、WebサイトからWebページのHTMLデータを収集して、特定のデータを抽出、整形し直すことである。 http://www.sophia-it.com/content/Webスクレイピング よそ様のサイトのHTMLから情報を取得・解析して必要なデータを取得するという手法ですね。使用上の注意としてはページの内容をまるごと抽出してコピーサイトを作ったり、過剰にアクセスをして取得先のサーバーに負荷をかけるようなことはやめましょう。すんごい数のリクエストを投げたらDDoS攻撃と変わらなくなってしまいます。 Node.jsで実装してみる だいたいJavaでもRubyでもPHPでもスクレイピング用のライブラリが用意されているようですが、今回はNode.jsで実装します。 今回はサンプルなのでこのブログの去年の記事一覧から記事タイトルをひっぱってみます。 スク
スクレイピングでDMMのサイトに載っているAV女優一覧を取り出す |
早速ですが、DMMのサイトに載っているAV女優一覧を取り出すコード例を通してスクレイピングの楽しさを味わっていただければ幸いです。 def write_women(self): suffixes = [ "a","ka","sa","ta","na","ha","ma", "ya","ra","wa" ] res = "" for suffix in suffixes: base_url = "http://www.dmm.co.jp/digital/videoa/-/actress/=/keyword=" url = base_url + suffix + "/" r = requests.get(url) soup = BeautifulSoup(r.text) if soup.find("ul",{"class":"act-box-100"}) is None: continue r
Evernote Chrome拡張の本文抽出にはhatena-extract-contentが使われている | MemeTodo
2011年5月25日水曜日 Evernote Chrome拡張の本文抽出にはhatena-extract-contentが使われている 新しくなったEvernote Google Chrome エクステンション « Evernote日本語版ブログ で記事クリップ機能にページの本文の判定をするようになったとのことで、何のライブラリ使ってるのだろうと中身を見てみました。 Chrome拡張の保存場所は以下の通り Windows C:\Users\(ユーザ)\AppData\Local\Google\Chrome\User Data\Default\Extensions Mac ~/Library/Application Support/Google/Chrome/Default/Extensions 見て分かるようにlibフォルダにExtractContentJSが入ってたので、はてなのextr
Webスクレイピングライブラリ "Yasuri" をリリースしました - Qiita
はじめに こんにちは．私はWebスクレイピングが大好きなのですが、Rubyでもっと簡単にスクレイピングができればと思い、ライブラリを書いてみました． ようやくREADMEとUSAGEが書けたので公開しようと思います． ソースはGithubで公開しています． 特にドキュメントの英語が大変怪しいので、つっこみいただけると喜びます． tac0x2a/yasuri gemでも公開しているので、以下のコマンドで簡単にお試しできます． 簡単なサンプルと解説を書いてみました． Yasuriでお手軽スクレイピング よろしければ使ってみてください＞＜ Yasuri とは Yasuri (鑢) は簡単にWebスクレイピングを行うための、"Mechanize" をサポートするライブラリです． Yasuriは、スクレイピングにおける、よくある処理を簡単に記述することができます． 例えば、 ページ内の複数のリンクを
Ruby で Web ページの本文を抽出する方法 - present
ExtractContent を使えばいい。 Webページの本文抽出 (nakatani @ cybozu labs) ただ、上の記事の ExtractContent は Ruby1.9 以上では動かなかった。正規表現エンジンが変わったからね…。 無ければ自分で修正することを前提に、GitHub で探したら、案の定 1.9 対応版を発見した。 mono0x/extractcontent 試しにこれを使ってみよう。 Gemfile に gem "extractcontent", github: "mono0x/extractcontent" を追加し、bundle でインストール。 使い方は簡単で、本文を抽出したい HTML を ExtractContent.analyse メソッドに渡すだけ。タイトルと本文が返ってきた。 # coding: utf-8 require "open-uri"
NAL研卒業研究ノート:: Rubyモジュール ExtractContent をPythonに移植してみた
ExtractContent は、HTMLから本文を抽出するRubyモジュールです。 RubyForge: ExtractContent: Project Info Webページの本文抽出 (nakatani @ cybozu labs) Perl用の同名モジュールもありますが、今回はRubyモジュールを基にしてPythonへ移植してみました。 # -*- coding:utf-8 -*- import re import unicodedata class ExtractContent(object): # convert character to entity references CHARREF = { "nbsp" :" ", "lt" :"<", "gt" :">", "amp" :"&", "laquo":u"\xc2\xab", "raquo":u"\xc2\xbb", }
Webページの本文抽出 (nakatani @ cybozu labs)
Webページの自動カテゴライズ の続き。 前回書いたとおり、パストラックで行っている Web ページのカテゴライズでは、Web ページの本文抽出がひとつの鍵になっています。今回はその本文抽出モジュールを公開しつつ、使っている技法をざっくり解説などしてみます。 本モジュールの利用は至極簡単。require して analyse メソッドに解析したい html を与えるだけ。文字コードは UTF-8 です。 【追記】大事なこと書き忘れ。本モジュールは Ruby1.8.5 で動作確認していますが、特別なことはしていないので、1.8.x なら動くと思います。 $KCODE="u" # 文字コードは utf-8 require 'extractcontent.rb' # オプション値の指定 opt = {:waste_expressions => /お問い合わせ|会社概要/} ExtractCont
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SSSSLIDE
はてなブログ | 無料ブログを作成しよう