PythonとかScrapyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - orangain flavor

2016-12-09追記 「Pythonクローリング&スクレイピング」という本を書きました！ Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド- 作者: 加藤耕太出版社/メーカー: 技術評論社発売日: 2016/12/16メディア: 大型本この商品を含むブログを見る 2015年6月21日 追記： この記事のクローラーは動かなくなっているので、Scrapy 1.0について書いた新しい記事を参照してください。 2014年1月5日 16:10更新： デメリットを修正しました。 以下の記事が話題になっていたので、乗っかってPythonの話を書いてみたいと思います。 Rubyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - 病みつきエンジニアブログ 複数並行可能なRubyのクローラー、「cosmicrawler」を試してみた - プログラマにな

[mi_kattun]

ブログ書きました。

[rokujyouhitoma]

身の回りで使い始めてる人が増えてるなぁ...。後半に書かれてるデメリットには賛同。なぜ生データを永続化できないのか。

[dkfj]

解りやすい！！

[kk6]

scrapy.mail.MailSenderなんてクラスもあって至れり尽くせりなフレームワーク

[takuya0723]

素人ながら先日Pythonでクロールするプログラム書いたので，参考にします．

[shin1x1]

丁寧な解説で分かりやすい

[ikeikeikeike]

素晴らしい

[souki_e]

やってみたいと思っているのであとで取り組んでみようかな

[cyar]

クローリング：Webページのハイパーリンクを辿って次々にWebページをダウンロードする作業。スクレイピング：ダウンロードしたWebページから必要な情報を抜き出す作業。

[kent-where-the-light-is]

“とりあえずsettings.pyに以下の設定を追加しておきましょう。この設定により、平均3秒のクロール間隔が空き、robots.txtに従うようになります。 DOWNLOAD_DELAY = 3 ROBOTSTXT_OBEY = True ”

[aiza_wai]

scrapyことはじめにお世話になった記事。

[h5y1m141]

“以上を踏まえ実運用では、単純にHTMLをMongoDBに保存するだけのItem Pipelineと、ジョブキューサーバーにジョブを追加するだけのItem Pipelineを作成し、スクレイピングは別プロセスで行っています”の考え方参考にしよ

[kamoya999]

スクレイピングワークフレーム

[ikuuyadamay]

pythonでスクレイピングの勉強

[incep]

面白そうだ

[hatakazu93]

技術,python

[ya--mada]

スクレイピング手法もアップデートしないと

[kasajei]

ほうほう、気になる

[wata88]

丁度scrapyのこと調べてたので、まとまってて嬉しい

[toshitanian]

“class CNetSpider(CrawlSpider): name = 'cnet' allowed_domains = ['news.cnet.com'] start_urls = [ 'http://news.cnet.com/8324-12_3-0.html', ] rules = [ # 正規表現 'begin=201312' にマッチするリンクを辿る Rule(SgmlLinkExtractor(allow=(r'begin=201312', ), restrict_xpaths=('/html', ))),

[u1tnk]

メモ

[kazuyadesse]

( ´ ▽ ` )ﾉ

[fjwr38]

scrapy使ってみようと思ったけどよく分からんかったから放置してた

[hujuu]

あとでやってみる

[itamae]

ちょうどscrapyについて調べていて日本語ドキュメントが少なくて英語と格闘しまくっていたのでありがたい