エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
threadingをやめてasyncio&aiohttpで楽にPythonスクレイピングを行う - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
threadingをやめてasyncio&aiohttpで楽にPythonスクレイピングを行う - Qiita
効率的なスクレイピングを行うにはリクエストとレスポンス間の待ち時間をなくすこと。これを実現するた... 効率的なスクレイピングを行うにはリクエストとレスポンス間の待ち時間をなくすこと。これを実現するためにはthreadingモジュールでマルチスレッドか、asyncモジュールで並列処理をするかだ。 マルチスレッドは気軽に実装できる反面、デバッグが困難になる。asyncの非同期処理はコード量がやや増えるが、デバッグが楽。 この記事を呼んで我に返った よし、threading使うのやめて、async使おうってことで試作したコードが以下 やっていることは、リクエストをしてスリープを1秒間を5回実行する(※スリープの理由は逮捕は嫌なので) ネット環境によるのだろうけど、5回で2秒近くの処理時間の差が生まれる import aiohttp import asyncio import time import requests url = 'https://qiita.com/osorezugoing/it