JavaScriptでコンテンツが生成されるサイトのスクレイピング【Selenium+PhantomJS】 - Qiita
はじめに JavaScriptによってコンテンツが生成されるサイトは、よく使用されるBeautifulSoup4だけではスクレイピングできません。 例えば「最後までスクロールすると次のコンテンツが表示される」といったサイトです。 URLが変化するわけでもないし、どうすればいいのでしょうか…。 そんなときに登場するのがSelenium+PhantomJSです。 背景 さまざまなケースでWebスクレイピングができるようになりたいという想いのもと、今回も『Pythonクローリング＆スクレイピング』という本を参考に実践していきます。 単純に、Webスクレイピングは楽しいです。 やること 「note」というサイトのスクレイピングを行います。 トップページに表示される投稿の タイトル URL 概要 を抽出し、MongoDBやcsv、RSSで保存します。 何ができるのか 以下のようなページからスクレイピ
AWSのシステム構成情報を集めて構成図を自動生成してくれる「CloudMapper」、オープンソースで公開
AWSのシステム構成情報を集めて構成図を自動生成してくれる「CloudMapper」、オープンソースで公開 CloudMapperを用いることで、AWS上のシステムについて以下のような状況をすぐに把握することができると説明されています。 どのリソースがインターネットに公開されているか？ どのリソース同士がつながっているのか？ アベイラビリティゾーンが落ちたときでも十分堅牢なアーキテクチャか？ このアカウントはいくつのリージョンを利用しているか？ どれだけ大きないシステムを運用しているか？ CloudMapperを開発しているDUOは、セキュリティサービスを提供する企業。同社は自身もAWSユーザーで、さまざまなオープンソースのツールを試してみたものの満足できるようなものがなかったため、自社でCloudMapperを開発したとのこと。 CloudMapperの仕組みは、まずAWSコマンドライン
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
やっぱりJavaScript勉強してみようかな・・・ - Qiita
