【Playwright × AI】自然言語でブラウザの自動操作ができるStagehandを試してみる
🎭 はじめに 🤖 Playwrightのコードを書く際、筆者は以下のようにAIを使って書いています。 hoge.page.tsといったファイルに、要素のロケーター（セレクタ）を返すメソッドをまとめたPageオブジェクトを定義（人間） hoge.step.tsといったファイルに、要素に対するアクションをまとめたStepオブジェクトを定義（ほぼAI。間違えない。） hoge.spec.tsに上記を組み合わせたテストケースを書く（AI => 人の手で手直し） PlaywrightのAPIが優秀なこともあって、stepに関してはほぼAIは実装を間違えません。あとは要素の位置を安定して間違えずに取ってくれれば、自然言語でAIに指示して、使い捨てのE2Eテストくらいは書けそうな気になってきます。 同じことを考える人はもちろん多くいて、Playwrightを自然言語で操るアプローチは、調べてみるとい
【🚨無職発生注意報🚨】ヒトはこうして仕事を奪われる~Browser Use Tutorial~ - Qiita
はじめに 2025年はAIエージェントの年です。注目されているAIエージェントの一つが『AIが自動で自分のPC画面を操作』するBrowser Useというツールです。 Browser Useの面白さ Browser Useを使うと、AIが自動で自身のPC画面を操作することであらかじめ決めた目的を達成をしてくれます。 簡単な指示を出すだけで、自動でAIが色々操作してくれるのはキャッチーで衝撃的ですよね。 例えば下記のように完全自動でAIが記事を検索して記事の情報を取得してくれます。 簡単な指示でAIが自分で考えて画面操作をしてくれるのは近未来感ありますよね。 しかし、現場でAIを使いこなすには「AIがすごい」のレベルではまだ足りません。 実際に触ってみて何ができるのか？逆に何が苦手なのか？という肌感覚を持つことが非常に重要です。 そこで本記事は、その肌感覚を養うために実際にBrowser U
【令和最新版】令和のWebスクレイピング(クロール)【ベストプラクティス】
こんにちは、株式会社FP16で結構コードを書いている二宮です。 最近Webスクレイピングのコードを色々な方法で書いているので、そこで得た知見をここに残しておこうと思います。 ほぼ毎日なにかのWebスクレイピングコードを書いています。 Webスクレイピング手段 Webスクレイピングには色々な方法があります。 私が最近主に使っているのはこの5つの手段です。 cheerioでHTMLを解析 Playwrightなどで要素指定でデータを取得する APIを見つけて叩く（バックエンドとの通信を再現してデータを取得） LLMでサイト構造を解析してデータを取得する Next.jsからのレスポンスに含まれているデータを解析して取得する これが令和のWebスクレイピングのベストプラクティスだと思っています。 これらの方法を、目標に合わせて使い分けています。 使い分け方 CheerioでHTML解析 JavaS
Playwright と GitHub Actions を活用したマネフォ家計簿自動通知 bot
はじめに ここ 3 年くらい Money Forward ME で家計簿をつけている。つけていると言ってもクレジットカードや銀行口座、電子決済アプリを登録しておいて、それら登録しているそれらの手段で普段決済することで自動的にデータが収集されるように生活している（できる限り）。 Money Forward ME は 1 週間に一度現時点での口座の入出金履歴や資産情報をメールで通知してくれる、ウィークリーメールなる機能もあり便利だ。 一方で以下のような課題があり、今回のことにチャレンジしてみた。 1 週間の出金履歴が 5 件までしか見れず、全体を把握したい メールだと見逃すので毎日必ず見るアプリに通知させたい 作ったもの 解説すると以下のような動きとなる。 Playwright で headless chromium を起動して、Money Forward Me のサイトをスクレイピングする
絶対に画像をダウンロード&スクレイピングさせないWebページを本気で作ってみた - blog.potproject.net
巷で話題になっているこの話題、画像をスクレイピングやダウンロードされたくないということで騒がれています。その話に関しては色々な意見があると思ってますがここでは置いておくとして・・・ 技術的にやるとしたら実際どれくらい対策できるの？ということが気になったので、自分の知識で出来る限り対策したものを作ってみることにしました。 最初に 賢い方はわかると思いますが、タイトルは釣りです。 絶対に画像をダウンロード&スクレイピングさせないページは存在しません。ソフトウェアにおいて絶対と言う言葉はまず存在しないのです。ブラウザで表示している以上、仕組みさえわかれば技術的には可能です。 そのため、 「元画像のダウンロードとスクレイピングを非常に困難にしたWebページを本気で作ってみた」 が実際のタイトルかなとなります。 とはいえ、この仕組みであれば大多数の人は機械的にスクレイピングすることを諦めるレベルの作
PuppeteerによるWebクローリング 基礎編 | 株式会社ソリューションウェア
あけましておめでとうございます。 今日で入社から1年になりましたシニアエンジニアの佐藤寛之です。 最近公私ともにWebクローリングを扱う機会が増えてきました。世の中のWebシステムには人間が使うことは想定していても、プログラムによる処理を想定せずAPIはおろかデータエクスポート機能すらないものも珍しくありません。そんなシステムからデータを収集したり他システムと連携させたりするのに、ブラウザの自動操作によるクローリングは非常に便利です。 クローリングといえば以前はPhantomJSが主流でしたが、PhantomJSはすでにメンテナンスが終了しており、現在はPuppeteerが広く使われています。PuppeteerはGoogle Chromeのヘッドレスモードを利用するNodeのライブラリで、Googleがメンテナであるため最新のChromeの機能に追随しているのが大きなアドバンテージと言えま
Selenium・puppeteer・Playwrightで無限スクロールする - 新しいことにはウェルカム
ここしばらく、Selenium・puppeteer・Playwrightの使い方をまとめていました。 まとめが長くなってきたので、ある程度の説明や手順が必要な操作は別記事にまとめようと思います。 ここでは、Selenium・puppeteer・Playwrightそれぞれで、無限スクロールする方法をまとめました。 スクロール 無限スクロールの手順に入る前に、まずは基本となるスクロールをする方法です。 JavaScriptのElement.scrollTopを使って、ウィンドウのdomのスクロール位置を移動させる方法もあるのですが、ここではElement.scrollIntoView()を使って、ウィンドウ内の一番下のdomが見えるようにスクロールさせる方法を使います。 参考として最後にElement.scrollTopを使った方法も記載しました。 sample html ウィンドウの中に、
Selenium と Playwright の両方を使ってみた感想 - 新しいことにはウェルカム
WebのクローリングにPuppeteerを使っています。 いつかPuppeteerの使い方をまとめたいなと思っていたのですが、そうこうしている内に月日は流れ、Puppeteerと同様のブラウザ操作ツールとして、Playwrightの名前をよく聞くようになってきました。 ならばいっそのこと、新たにクローラーを書く時はPlaywrightに乗り換えて、その使い方をまとめようかなと思い始めました。 一方、ブラウザ操作ツールとしてSeleniumも有名です。 Microsoft Power AutomateでSeleniumが使えると聞いたので、Seleniumならクローリングだけでなく、日々の業務の自動化にも使えて便利かなとSeleniumにも興味がありました。 SeleniumとPlaywright、どちらにしようかと迷ったのですが、どちらも使ったことがなかったので結局両方を使って確かめること
Goではじめてみたブラウザの自動操作 - Qiita
はじめに 面倒なWEBブラウザの定型作業を自動化したくて。 WEBブラウザの自動操作には定番のSeleniumを利用する。 Seleniumは主にウェブブラウザのテストに利用されているが、テスト用途以外でも利用はできる。 なおウェブスクレイピングが目的であれば、scrapeとかgoqueryなどを利用するほうが簡単。 それでもSeleniumを利用するのは、 実際のブラウザが利用できるという点であり、以下のような利点があると思っている。 IEなど特定のブラウザのみをサポートしているサイトの自動操作 ごりごりのJavascriptやFlashを利用されているサイトの自動操作 証跡として画面のスクリーンショットを取得できる 前提知識 WebDriverを介することで、スクリプトとしてJava,C#,Pythonなど多くの言語から利用できる ブラウザごとにWebDriverが用意されており、１つ
Javaですべての上場企業のと地方自治体のサイトをスクレイピングして大変だったこと - Qiita
私は主にJavaを使って大量のサイトからクロールとスクレイピングをしています。 作っているサイトは happyou.info です。上場企業と官公庁と地方自治体とその他1万サイトくらいスクレイピングしています。 このエントリでは、技術的なこと特にめんどうくさかった点を書き残しておきたいと思います。基本的なことかもしれませんが、私自身忘れそうなところもあるので。 1.上場企業は企業が入れ替わる 上場企業は毎日企業が入れ替わります。新規上場、上場廃止、合併、分社化、企業名変更は毎日のことです。この変化にキャッチアップするのが難しかったです。 日本取引所グループ 「よし上場前からきっちりスクレイピングして事前に準備しておくぞ」と思っても、上場にあわせてサイトをリニューアルしたりする企業も多いので油断なりません。 官公庁のサイトは、民間企業に比べるとはるかに移転が少なく落ち着いています。 地方公共
普及して欲しくないアンチスクレイピングサービス - happyou.infoのブログ
スクレイピングとは、ウェブページから情報を取り出す処理を指します。そのためのプログラムやツールが存在します。 さて、ここで立場を変えて、情報を取り出されてしまうウェブサイト側の立場になって考えてみますと、スクレイピングはあまりうれしくない存在であることがわかります。 ニュースサイトは、コストと時間をかけて書いた記事をコピーされ転載されてしまう。 オンラインショップは、ライバルの他社に商品リスト、価格、在庫の変化、顧客の評価等を把握されてしまう。 インターネット広告は、自社が出している/仲介している広告の種類と量をライバルに把握されてしまう。 他社の情報は把握したいが、自社の情報は把握されたくないと考えるのは自然なことのようです。その証拠として、スクレイピングの普及に合わせて、自分のサイトがスクレイピングされることを防ぐための「アンチスクレイピングサービス」なるものが世に広まりつつある点を挙
CasperJSで動的ページをスクレイピング、あるいは毎月100円ゲットする方法について - そんな今日この頃でして、、、
厳密にはクローリングが任意のサイト上からHTML等のデータを取得する方法、スクレイピングが取得されたデータから必要な情報を抽出する方法らしいので言葉の用法としては怪しいけど、まあそこは気にせず。 CasperJSとは、JavaScript APIにより操作できるヘッドレスなWebKitブラウザであるところのPhantomJSをより簡潔な記述により操作可能にしたユーティリティである。 スクレイピングといえば古くは各言語のウェブアクセスライブラリ（PerlでいうLWPとかMechanize系とか）を用いていたが、これらはリクエストされたページのHTMLを静的な文字列として取得するだけであり、Ajax全盛な昨今のJavascriptを用いた動的に生成される要素を解析することはできなかった。 (↓そういや前にLWP使ったスクレイピングしてたこっちでも、それと思しき問題にぶつかった） そんなわけで各
Web Scraping With Scrapy and MongoDB – Real Python
Scrapy is a robust Python web scraping framework that can manage requests asynchronously, follow links, and parse site content. To store scraped data, you can use MongoDB, a scalable NoSQL database, that stores data in a JSON-like format. Combining Scrapy with MongoDB offers a powerful solution for web scraping projects, leveraging Scrapy’s efficiency and MongoDB’s flexible data storage. In this t
PythonとBeautiful Soupでスクレイピング - Qiita
Pythonでスクレイピングというネタはすでに世の中にもQiitaにもたくさん溢れていますが、なんとなくpyqueryが使いやすいという情報が多い気がします。個人的にはBeautiful Soupの良さも知ってもらいたいと思うのでここではBeautiful Soupを使っていきたいと思います。 ちなみにこのエントリーはほとんどの部分がBeautiful Soup4のドキュメントの要約です。もっと詳しい情報が知りたい場合はドキュメントをご覧ください。 英語 http://www.crummy.com/software/BeautifulSoup/bs4/doc/ 日本語 http://kondou.com/BS4/ よくある勘違い pyqueryはjQueryのようにcssセレクタを使ってHTMLを扱うことができる点がBeautiful Soupよりも使い易いという意見がありますが、それBe
uu59のメモ | AutoPagerizeをRubyに移植した
https://github.com/uu59/autopagerize-ruby スクレイピングしてるとき、あると便利なことがたまにあるので作った。 pageElementの抽出 nextLinkの抽出 nextLinkを辿って1ページにまとめる 1ページにまとまったDOMの取得(insertBeforeも考慮される) 全ページのpageElementの一括取得 最大何ページまで辿るかの指定（Autopagerize.new(url, siteinfo, :maxpage => 5)みたいに書く。デフォルトは10） リクエストヘッダの指定 あたりが出来る。pageElementとかnextLinkの説明はAutoPagerize wikiにある。 2012-11-11AutoPagerizeをRubyに移植した 2012-11-10SassとCompassをRubyから使う。あとcomp
goqueryでお手軽スクレイピング！ - Qiita
こんにちは、Qiita二回目の投稿です、 yosuke_furukawa と申します、Golang勉強中です。 Qiitaの一回目の投稿もScrapingネタだったのですが、二回目もGolang勉強中ということでQiitaのScrapingネタで行きます。 まず、goqueryの説明に行く前に単純なやり方でscrapingしてみます。 Golangで単純なスクレイピングをするためには、以下のモジュールを利用するとできます。 net/http httpリクエストを送るためのモジュール code.google.com/p/go.net/html html解析をするためのモジュール 超シンプルなサンプルとして、該当のurlのaタグのhrefにある値だけ取得する場合は以下の様な感じになるかと思います。 go.net/htmlで頑張る package main import ( "code.goog
Mechanizeでのスクレイピング時、アクセス元IPアドレスを分散させる - かなりすごいブログ
Ruby Advent Calendar 2014 17日目Ruby Advent Calendar 2014、17日目の記事になります。 スクレイピング時にアクセス元のIPアドレスを分散させたいConoHa VPSではVPS1契約ごとに最大16個の追加IPアドレスを購入できます。1つあたり200円と安価で、最安のプランで契約し追加IPアドレスを16個オプションで追加すれば、17個のIPアドレスを持つVPSサーバーの出来上がりです。月額4,180円で、1IPアドレスあたり月額約246円です。非常に安価ですね。 さて、スクレイピング時にアクセス元のIPアドレスを分散させたいということは割とあるかと思います。その是非はここでは置いておくとして、ConoHa VPSを利用することで安価にその土壌となるサーバーを入手できることがわかりました。ただし、Rubyにおいてスクレイピングに有用なgemであ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ノード・ラボ
Fetch page with proxy using The Go language
blog.shinofara.xyz - Coming Soon