[B! スクレイピング] r_onodrのブックマーク

【プログラミング】Python+Selenium+PhantomJSで快適ウェブスクレイピング - 機械語と数学とことば

最近ふと，Pythonでウェブスクレイピングしたいなと思い，まずは入門ソーシャルデータを参考にして beautifulsoupを使ってスクレイピングしようとしていた所，JavaScriptなどの影響を受けずに表示されたままにスクレイピングできるやりかたが有ることを教えてもらい，やってみました．入門ソーシャルデータ第2版 ―ソーシャルウェブのデータマイニング作者: Matthew A. Russell,佐藤敏紀,瀬戸口光宏,原川浩一,長尾高弘出版社/メーカー: オライリージャパン発売日: 2014/06/21メディア: 大型本この商品を含むブログ (2件) を見る Seleniumのwebdriver, PhantomJSを使ってスクレイピングする方法です． MacOSXへのインストール方法 MacOSXへのインストール方法は至って簡単． seleniumはpipを使ってイン

r_onodr 2015/09/06

スクレイピング

リンク

はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知

はてなグループの終了日を2020年1月31日(金)に決定しました以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記はてなグループ日記のエクスポートデータは2020年2月28

r_onodr 2014/03/28

リンク

Python で Mechanize と BeautifulSoup を使用して SNS をスクレイピングする。

俺が普段使っているSNSの一つにファンタジーアースSNS というのがあって、これは同名のゲーム(要約すると50人1チームで戦争するゲームです)と連動して戦争の成績が見れたり各国毎の統計が見れたりとなかなか便利な仕組みになってます。ただ、各戦争毎に表示される個人成績や召還数といった値は各戦争結果ページでしか得られず、ゲーム内で参照できる戦績表示では今まで行った全ての戦争に対して行われる為、直近10件の戦争が見たいなどという場合には手で計算するとかしないといけなくて大変不便です。というわけで SNS をスクレイピングして各値を拾って表示するスクリプトを組みました。全戦争読み込んだり平均値出したりとかは全然作りこんでないのでその辺は勝手に改良すると良いです。もっともこのSNSは大変重いのでスクリプトを実行する場合はアクセスの間隔あけるとかしてサーバに負荷が掛からない様に御願いします。必要