エントリーの編集
![loading...](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/common/loading@2x.gif)
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
【Python】非同期処理で爆速WEBスクレイピング|プログラミングが出来るようになるノート
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
![アプリのスクリーンショット](https://b.st-hatena.com/bdefb8944296a0957e54cebcfefc25c4dcff9f5f/images/v4/public/entry/app-screenshot.png)
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
【Python】非同期処理で爆速WEBスクレイピング|プログラミングが出来るようになるノート
Pythonで使える強力な便利機能の一つとして、WEBスクレイピングというものがある。 WEBスクレイピングと... Pythonで使える強力な便利機能の一つとして、WEBスクレイピングというものがある。 WEBスクレイピングとは、特定のサイトから必要な情報を自動収集することを指す。WEBスクレイピングは物凄く便利だが、対象サイトが1,000や10,000となってくると、レスポンスが返ってくるまでの待ち時間が長いのが難点。これを解決するのが、非同期処理。 まずは、シンプルに書いて時間計測。(ちゃんとデータ取得出来ていると確認できるように、リストにレスポンスの文字数を格納) import requests url = 'https://www.〇〇〇.com' data = [] for i in range(100): r = requests.get(url) data.append(len(r.content))これで100回サイト訪問して50秒。手動で訪問すると10分くらいかかりそうって考えたら、か