JavaScriptでコンテンツが生成されるサイトのスクレイピング【Selenium+PhantomJS】 - Qiita
はじめに JavaScriptによってコンテンツが生成されるサイトは、よく使用されるBeautifulSoup4だけではスクレイピングできません。 例えば「最後までスクロールすると次のコンテンツが表示される」といったサイトです。 URLが変化するわけでもないし、どうすればいいのでしょうか…。 そんなときに登場するのがSelenium+PhantomJSです。 背景 さまざまなケースでWebスクレイピングができるようになりたいという想いのもと、今回も『Pythonクローリング＆スクレイピング』という本を参考に実践していきます。 単純に、Webスクレイピングは楽しいです。 やること 「note」というサイトのスクレイピングを行います。 トップページに表示される投稿の タイトル URL 概要 を抽出し、MongoDBやcsv、RSSで保存します。 何ができるのか 以下のようなページからスクレイピ
アマゾンよりも面白い？「Mongoose OS」がIoT開発のハードルを下げる
アマゾンよりも面白い？「Mongoose OS」がIoT開発のハードルを下げる：IoT観測所（43）（1/3 ページ） 「Mongoose OS」は、IoT機器開発のハードルを下げることを売りにしている開発環境だ。組み込み技術者にもその利点は分かりやすく、Armの「Mbed OS」やアマゾンの「Amazon FreeRTOS」と比べても面白い存在になるかもしれない。 IoT（モノのインターネット）機器開発のハードルを下げるための方法は山ほどある。とはいえ、新製品やら新ツールキットやらはいずれも「これを利用することで開発性を○○倍改善し～」などとうたっており、正直なところ定量的な評価が極めて難しかったりする。 今回紹介する「Mongoose OS」はアイルランドのダブリンに拠点を置くCesantaが提供する「FreeRTOS」（というか、開発環境）だが、これもそうした「開発のハードルを下げる
AWSのシステム構成情報を集めて構成図を自動生成してくれる「CloudMapper」、オープンソースで公開
AWSのシステム構成情報を集めて構成図を自動生成してくれる「CloudMapper」、オープンソースで公開 CloudMapperを用いることで、AWS上のシステムについて以下のような状況をすぐに把握することができると説明されています。 どのリソースがインターネットに公開されているか？ どのリソース同士がつながっているのか？ アベイラビリティゾーンが落ちたときでも十分堅牢なアーキテクチャか？ このアカウントはいくつのリージョンを利用しているか？ どれだけ大きないシステムを運用しているか？ CloudMapperを開発しているDUOは、セキュリティサービスを提供する企業。同社は自身もAWSユーザーで、さまざまなオープンソースのツールを試してみたものの満足できるようなものがなかったため、自社でCloudMapperを開発したとのこと。 CloudMapperの仕組みは、まずAWSコマンドライン
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
やっぱりJavaScript勉強してみようかな・・・ - Qiita
