PythonでWebスクレイピングする時の知見をまとめておく - Stimulator
- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05： 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ
Pythonでスクレイピングに最適なライブラリはlxmlな気がした。時間的な意味で - When it’s ready.
ここ数日でHTMLからTagを除去する方法を、色々知った。とても勉強になりました。教えてくれた人ありがとうです。 具体的には、BeautifulSoupとHTMLParserとlxmlという3つのライブラリでそれぞれTag除去が可能な事が分かった。実際どれも満足な挙動で、じゃあどれを使えばいいのさ！と、迷ったので実行速度を適当に測ってみた。 時間を計るところのコードが激しく恥ずかしい。ホントは、3つのファンクションを配列に入れて、forで回したかったけど、配列に入れる時に評価されてしまってNG、map関数で、関数と関数（計測したい関数と、計測する関数）を２つ渡すやり方がわかんなかったので、同じ事を3回書く事にした。マジ恥ずかしいがこれしか思いつかなかった。 計測用のHTMLには、はてダのトップページとした、コメント、Style、Script、htmlがそこそこのボリュームで入っていた為 計
文字参照や実体参照を通常の文字に戻す【Python】 - Programming Magic
取得したHTMLファイルやXHTMLファイルの文字列を取り出した場合、それが文字参照や実体参照で書かれていると、表示上の文字と異なってしまう。そこで、文字列に文字参照や実体参照が含まれていた場合に、それを通常の文字に戻す処理が必要になる。 文字参照には16進数で書かれたものと10進数で書かれたものがある。 ♪ (10進数) ♪ (16進数) これらの数値を読み取れば、あとはunichr関数で数値から対応するUnicode文字へ変換することができる。 print unichr(29031) 実体参照には、よく知られている<(htmlentitydefs.name2codepointという実体参照名とUnicodeの対応表があるため、これを使うことで簡単に変換できる。例えば、ハートマークを表示する♥は以下のようにするだけでいい。 print unichr(htmlentitydefs.name
続・BeautifulSoupのスクレイピングの練習 - Bouldering & Com.
import BeautifulSoup import urllib 真偽, 空欄, Noneしか返さない [i.get('href') and i.get('href').endswith('jpg') for i in soup.findAll('a')] Noneも返っちゃう [i.get('href') if i.get('href') and i.get('href').endswith('jpg') else None for i in soup.findAll('a')] tagオブジェクトのリストを返す 1 soup.findAll(lambda x: x.name == 'a' and x.get('href') and x.get('href').endswith('jpg')) tagオブジェクトのリストを返す 2 filter(lambda x: x.get('hr
日常のなかのBeautifulSoup - Bouldering & Com.
http://news4vip.livedoor.biz/archives/51033213.html URLCollectorで抽出してみたけどなんかうまくできなかったので、設定をみるよりBeautifulSoup使ったほうが速い気がしたのでIPythonで。 In [1]: import BeautifulSoup In [2]: import urllib In [3]: soup = BeautifulSoup.BeautifulSoup(urllib.urlopen('http://news4vip.livedoor.biz/archives/51033213.html')) In [4]: _a = soup.findAll('a') In [5]: ls = [] In [29]: for __a in _a: ho = __a.get('href') if not ho:
BlogSlime – Just another WordPress site
コンテンツへスキップ 登録は無効化されました。
BlogSlime – Just another WordPress site
コンテンツへスキップ 登録は無効化されました。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hayato.io
https://www.freia.jp/taka/blog/426/
https://www.freia.jp/taka/blog/418/
https://www.freia.jp/taka/blog/169/