Node.jsでseleniumを使ってChromeを自動操作する手順まとめ
Seleniumとは、Webアプリケーションの自動化を実現するブラウザ駆動型のテストツール群です。 GoogoleChromeやFirefox、Safari、Edge、Internet Explorerなど、 主要なブラウザを操作して様々な自動操作を行うことができます。 バックグラウンドでのスクレイピングでは取得できない動的なサイトのWebスクレイピングや、 Webブラウジング、タスクの自動化などにオススメです。 今回はNode.jsを使ってSeleniumからGoogleChromeを自動操作する方法を解説します。 Seleniumのインストール ターミナルを開いて以下のコマンドを実行しましょう。 $ npm i selenium-webdriver たったこれだけでseleniumをインストールすることができます。 Chrome Driverをダウンロードする 今回はChromeを自動
Chrome拡張機能でスクレイピング（動作検証済み） – myMemoBlog by 256hax
手作業で大量のWebサイトをコピペする場合は、いくつかの方法がある。 Chrome拡張機能でスクレイピングツールを使う ChromeにJSを実行するConsole/ブックマークレットを使う スクレイピングWebサービスを使う（import.ioなど） スクレイピング用アプリケーションを使う（UiPathなど） スクレイピング代行会社を使う（Octoparseなど） 今回は上記の１と２をメモる。 Chrome拡張機能 スクレイピングツール 1. Web Scraper Web Scraper 大量のページをスクレイピングする場合におすすめ。 かなり使いやすく、設定も慣れるとかんたん。公式サイトに動画で解説してくれていたり、スクレイピングのトレーニング用Webサイトまで用意されている。 Webサイトの階層もくだっていける。たとえば、大カテゴリー > 中カテゴリー > 小カテゴリー と各カテゴリ
Not Found |ミレスポ！ - Millennials Sports Marketing
横浜F・マリノスユース同期6人による新たな挑戦「ROOTS.」。新時代に適応するアスリートに必要な素質とは。
NodeでShift-JISのページをスクレイピングしたら文字化けする - 日々精進
Nodeは基本的にUTF8しか扱えないのでスクレイピングしてきた文字列がShift-JISとかだったらUTF8に変換してやる必要がある。 が、node-iconvを使って変換しても文字化けが直らず困った。 調査してみると、どうもrequestライブラリがHTMLを取ってきたときに文字コードを変換してるっぽい？ requestで取ってきたHTMLをそのままファイルに保存して、ShiftJISで解釈しても文字化けしていた。 たぶんrequestがHTMLの文字コードを推定して、その文字コードからUTF8に変換するけど推定結果が間違えててデータが壊れてしまった、というのが原因では。 requestにencoding:"binary"を指定すると文字コードを変換しないので、これで取ってきた後でnode-iconvで変換したら無事文字化けが直った。 参考： node.jsでutf8以外の文字コードの
PhantomJS でログインが必要なページでも自由自在にスクレイピング - 凹みTips
はじめに PhantomJS - Scriptable Headless Browser PhantomJS はヘッドレスな（ブラウザ画面のない）QtWebKit ベースのブラウザで、JavaScript の API を通じて、そのブラウザを自由自在にあやつることが出来ます。使用シーンとしては、Jenkins などの CI ツールとの組み合わせによる Web ページの GUI の自動テストや、Web ページのスクリーンキャプチャ、スクレイピングなどが挙げられます。 今回は、ログインが必要なページの情報をパースして自分専用に RSS 化したいなと思い、３つ目のスクレイピング用途をベースに調べてみました。その内容を備忘録として残しておきます。 出来るようになること ログインが必要なページの HTML を取ってくる ログインが必要なページのスクリーンキャプチャを撮る PhantomJS の導入
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - puppeteer/puppeteer: JavaScript API for Chrome and Firefox
