asyncioを用いたpythonの高速なスクレイピング - HackerNews翻訳してみた

「HackerNews翻訳してみた」が POSTD (ポスト・ディー) としてリニューアルしました！この記事はここでも公開されています。 Original article: Fast scraping in python with asyncio by Georges Dubus ウェブスクレイピングについては、pythonのディスカッションボードなどでもよく話題になっていますよね。いろいろなやり方があるのですが、これが最善という方法がないように思います。本格的なscrapyのようなフレームワークもあるし、mechanizeのように軽いライブラリもあります。自作もポピュラーですね。requestsやbeautifulsoup、またpyqueryなどを使えばうまくできるでしょう。 どうしてこんなに様々な方法があるかというと、そもそも「スクレイピング」が複数の問題解決をカバーしている総合技術だ

[fjwr38]

この辺はRubyよりPythonの方が先行してる感じあるなぁ

[tmatsuu]

ほう。HNのRSS生成で本文抽出のスクレイピングには今BeautifulSoup使ってる。scrapyは使ったことあるけど、ほほう。

[reonreon3reon]

まだ難しいかな…

[ikeikeikeike]

めっちゃシンプル! yield from いいね

[kasumani]

asyncioを用いたpythonの高速なスクレイピング Original article: Fast scraping in python with asyncio by Georges Dubus ウェブスクレイピングについては、pythonのディスカッションボードなどでもよく話題になっていますよね。いろいろなやり方

[float1251]

あとでちゃんと読む。

[pipehead]

http://compiletoi.net/fast-scraping-in-python-with-asyncio.html の和訳