Installation | Playwright
Run the install command and select the following to get started: Choose between TypeScript or JavaScript (default is TypeScript) Name of your Tests folder (default is tests or e2e if you already have a tests folder in your project) Add a GitHub Actions workflow to easily run tests on CI Install Playwright browsers (default is true) What's Installed Playwright will download the browsers needed as
Puppeteerがクローリングに使えそう
Puppeteerがクローリングに使えるかも.md この記事はWebスクレイピング Advent Calendar 2017の17日目の記事です。puppeteerでクローリングします。 Google Chrome（Chromium）でクローリングをやる SPAみたいなちょっと凝ったWebサイトをクローリングするときは一昔前はSelenium + PhantomJSあたりが鉄板でしたが、今後はSelenium + Headless ChromeもしくはPuppeteer + Headless Chromeが主流となっていく見通しです。 （HeadlessとはGUIアプリケーションのGUIを介さないモードのことです。） 前者についてはWeb上に情報も多いですが、Puppeteerでクローリングする話をそんなに見ない気がするのでクローリングの歴史を踏まえてやってみます。 一昔前のクローリング
E2EテストをPhantomJSから、Puppeteer + Headless Chromeへ移行しました - LCL Engineers' Blog
Webエンジニアの森脇です。LCLでは、以前より「Capybara + PhantomJS」でE2Eテストを行っていましたが、「Puppeteer + Headless Chrome」へ変更しました。 元々は、軽くPuppeteerを触ってみるだけのつもりでしたが、できが良く本格的にE2Eテストへ導入することにしました。 本記事では、変更の経緯や、PuppeteerでE2Eテストを実装する上でのTIPSを紹介します。なお、Capybara + PhantomJSを利用したE2Eテストは、以下の記事でご紹介しております。 techblog.lclco.com 変更の経緯 PhantomJSは古めのWebkitをベースにしているため、一部のCSSがうまく適用されず、Headless Chromeへ移行を以前より考えていました。そんな中、PhantomJSの開発が終了したこともあり、移行すること
100サイト以上のクローラ・スクレイパを効率的に作る方法 - Qiita
概要 急遽100サイト以上のクローラを作ることになりました。 サイトの数だけプログラムを書いていると保守で死ぬ😱ため ソースコードを書かなくても大量のクローラ・スクレイパを作成できる方法 を探しました。 といっても、何もせずにクローリングできるわけではなく、要は サイト構成に依存する部分は別ファイルに外出しして、ソースコードは少なくしようぜ! という話です。 ハードコーディングを辞めることで、普段ソースコードを書かない人でもクローラ作成できるというメリットもあります👼 1. XPathを使う XPathとは XML Path Languageの略 XML文章の中の特定の要素や属性の位置を指定するためのルール これを使えば、サイトの構成ごとに異なる「どの要素を抽出するか」のルールのみ外部ファイルにもたせて、それを読み込むことで 処理の大部分を共通化できる😊 XPath はW3Cで規定さ
コード不要でWebスクレイピング可能な「Kimono」で、動画キュレーションプレイヤーを作ってみた！ - paiza times
どうも、まさとらん（@0310lan）です。 最近は、暇な時間を見つけると、ついつい「YouTube動画」をボーッと見てしまうのですが、同じような方はいらっしゃいますか？ 私の場合、YouTubeに時間を費やしてるうちに…、 「もっと効率よく、興味のある動画だけを見たい！」 という欲求が湧いてきたのでいろいろ模索した結果、簡単にWebスクレイピングができる「Kimono」で動画キュレーションプレイヤーを作る！…という結論に至りました。 そこで今回は、作り方をゼロから順を追ってご紹介しようと思いますので、快適な動画ライフを送りたい方はぜひ参考にしてみてください！ ■「Kimono」とは？ 「Kimono」を簡単に説明すると、任意のWebページのHTMLソースを定期的に取得し、必要な箇所だけを抽出して再利用できるようにしてくれるサービスと言えるでしょう。 例えば今回の事例だと、定期的にYouT
URLを入力するだけ！コンテンツをスクレイピングしてデータ化してくれる無料ツール「import.io」
import.ioとは import.ioは、データ化したいページのURLを入力するだけで、自動でデータ箇所を判断して情報を集めてくれるスクレイピングサービスです。 無料で利用することができ、セットアップも、データ収集用のトレーニングなども必要ありません。 URLを入力して、ボタンを押すだけという簡単さから、誰にでも利用できるデータ収集ツールだと思います。 以下では、その簡単な使い方や、利用例などを紹介したいと思います。 定期的なサイトへのスクレイピングは相手サイトの負荷になるので、一日に何度も何度も同一サイトに使用するのはやめましょう。加えて、取得したデータを、そのまま何かに利用すると著作権違反になる恐れもあります。 基本的な使い方 import.ioの最大の特徴は、使い方の簡単さです。 以下では、その使い方の例として、IKEAのソファー検索結果ページのデータを取得してみたいと思います。
Webスクレイピングライブラリ "Yasuri" をリリースしました - Qiita
はじめに こんにちは．私はWebスクレイピングが大好きなのですが、Rubyでもっと簡単にスクレイピングができればと思い、ライブラリを書いてみました． ようやくREADMEとUSAGEが書けたので公開しようと思います． ソースはGithubで公開しています． 特にドキュメントの英語が大変怪しいので、つっこみいただけると喜びます． tac0x2a/yasuri gemでも公開しているので、以下のコマンドで簡単にお試しできます． 簡単なサンプルと解説を書いてみました． Yasuriでお手軽スクレイピング よろしければ使ってみてください＞＜ Yasuri とは Yasuri (鑢) は簡単にWebスクレイピングを行うための、"Mechanize" をサポートするライブラリです． Yasuriは、スクレイピングにおける、よくある処理を簡単に記述することができます． 例えば、 ページ内の複数のリンクを
Nokogiriを使ったRubyスクレイピング [初心者向けチュートリアル]
プログラム初心者な方向けに始めたRailsチュートリアルシリーズです。今回はRubyでスクレイピングをしたいという人向けに『Nokogiri』というライブラリを使ったスクレイピングのチュートリアルを作ってみました！ (05-02 08:10) 補足： Windowsではじめての人向けの記事を追加 🏈 目次(1) Webスクレイピングとは？ (2) Nokogiriとは？ (3) 最初に読んでおくと捗りそうな記事 (4) Gem Nokogiriのインストール (5) Yahoo!Japanのトップページからtitleを取得 (6) NaverまとめTechページの注目一覧のタイトル・画像を取得 (7) 実際にコードを書くときに参考になるサイト (8) Railsへの組み込み 🐝 (1) Webスクレイピングとは？WebスクレイピングとはWebサイトのHTMLデータを収集して、特定のデー
![Nokogiriを使ったRubyスクレイピング [初心者向けチュートリアル]](https://cdn-ak-scissors.b.st-hatena.com/image/square/c2ea7e72d0d7f3ba6c237909f321e67ffbdaa24e/height=288;version=1;width=512/https%3A%2F%2Fmorizyun.github.io%2Fimg%2Fog_image.png)
Webスクレイピング - Sunflat のブログ
最近、Webスクレイピング（ウェブサイトを自動巡回して、ウェブページのデータを必要な部分だけ抽出して利用すること）をするツールを作ったので、スクレイピングに使えそうなライブラリ等のまとめ。 スクレイピング部分はRubyで、GUI部分はJavaで書いたので、RubyとJavaを行ったり来たりで面倒だった。全部Javaで書いちゃえばよかったかなぁ… ちなみに作ったのは、広告代理店のWebページから、広告一覧と掲載用テキストを自動取得するツール。 WWW::Mechanize http://mechanize.rubyforge.org/ Ruby用の、HTTPクライアントライブラリ。仮想的なWebブラウザをプログラムから操作して、ウェブサイトを自動巡回できる。 フォームの読み取りやリンクの抽出などもできて、自動巡回スクリプトがサクっとかける。 ちなみにJavaだと、Commons HTTP C
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
I like sushi