【Python】スクレイピングで取得先のページがHTMLではなくJavaScriptでページを構成していた場合の対応
そして、いざ実際の複合機の管理画面のデータをスクレイピングで取得してみたら驚いた。 HTMLタグがごそっとない！ <body>の直下に<script>があって</script>の次が</body> サイトの構成丸々とJavascriptで作られているやんけ！ JSでサイト表示部分のプログラムまでスクレイピングで取得できていたのでサイトの構造はだいたい理解できた。 さて、 スクレイピングで取得できるのは文字列 HTMLタグで特定の文字列がとれるけど、jsの変数名はタグじゃないから特定できない。 コード全体の文字列は取得可能 さて、どうしたか。 文字列にして分割して分割しました。 着目した点 JS部分は一行ごとに「;」がある。 欲しい値はコードの中間部分 欲しい値は変数に配列として記述されている。 やったこと まずスクレイピングで取得したコードの文字列を「;」で分割して配列に格納した。 #スク
Webスクレイピングする際のルールとPythonによる規約の読み込み - Stimulator
- はじめに - この記事は Webスクレイピング Advent Calendar 2017 - Adventar の1日目の記事です。 近年では、Pythonが様々な場面で使われるようになりました。 Webからデータを取ってくる際のスクリプトとして利用し、そのままデータを機械学習における学習データとするといった案件も多く見るようになっています。 ありがたい事に本年度書きました以下の記事は、はてなブログに投稿されたPython関連の記事の中で歴代はてブ数1位だそうです。 Webスクレイピングも日に日に情報が増え、様々なパッケージやフレームワークによって手軽になっています。 本記事は、スクレイピングやクローラを記述する際に抜けがちな、「規約」について記載するものです。 スクレイピングの間隔はどうすればいい？規約は？違法でないの？という人のために法律等もまとめています。 追記2019/01/0
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://python.zombie-hunting-club.com/entry/2017/11/08/192731
