JavaScriptでコンテンツが生成されるサイトのスクレイピング【Selenium+PhantomJS】 - Qiita
はじめに JavaScriptによってコンテンツが生成されるサイトは、よく使用されるBeautifulSoup4だけではスクレイピングできません。 例えば「最後までスクロールすると次のコンテンツが表示される」といったサイトです。 URLが変化するわけでもないし、どうすればいいのでしょうか…。 そんなときに登場するのがSelenium+PhantomJSです。 背景 さまざまなケースでWebスクレイピングができるようになりたいという想いのもと、今回も『Pythonクローリング＆スクレイピング』という本を参考に実践していきます。 単純に、Webスクレイピングは楽しいです。 やること 「note」というサイトのスクレイピングを行います。 トップページに表示される投稿の タイトル URL 概要 を抽出し、MongoDBやcsv、RSSで保存します。 何ができるのか 以下のようなページからスクレイピ
フロントエンド・テストツール比較 Puppeteer #02テスト編 - Qiita
const puppeteer = require('puppeteer'); const loginUrl = 'http://***/' // テストするURL const pageTitle = 'React Test'; const id = 'takeda'; const pw = 'shinji'; const inputList = ['javascript', 'ruby', 'scala']; // ログイン画面の操作 async function phase1(page) { console.log('start phase1'); // ログインページに遷移する await page.goto(loginUrl); // @TODO titleのアサーション →puppeteerではアサーションは未実装 await page.screenshot({ path: 'i
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
