本記事で紹介する手法は、対象サイトの利用規約・robots.txtを遵守した上での利用を前提としています。技術的に可能であっても、ToS違反・不正アクセスに当たる行為は行わないでください。 ブラウザで普通に開けるのに、Pythonからアクセスすると弾かれる。User-Agentを変えても、ヘッダーを追加しても、まだ403が出る——そのとき、次の一手が curl_cffi です。 以前、ECサイトの価格データを定期収集するスクリプトを書いていたとき、requestsでは問題なく取得できていたページが、ある日突然403を返し始めました。User-Agentをブラウザのものに変えても、Accept ヘッダーを追加しても改善せず。原因はTLSフィンガープリントの不一致で、curl_cffi に切り替えたところ1行の変更で解決しました。 この記事では、curl_cffi の使い方を requests

