【悪用厳禁】Torを使ったスクレイピングでIPアドレスを分散させるテクニック – Python | Let's Hack Tech
Torをスクレイピングで使いやすくするPythonのモジュール作ってみた TorをPythonスクレイピングに流用しやすくするためのモジュールを作成しました。Torをスクレイピングに流用することによって、IPによる制限を回避することが容易になります。 Torを使ったWebスクレイピング Webスクレイピングに、そのSocksプロキシを流用することで、簡単にIPアドレスを変更することが可能になります。 つまり自分のIPではないIPを使って色んなWEBサイトにBOTアクセスすることが可能になります。 Torを使ったスクレイピングはどういった場合に便利なのか？ WEBアクセスの自動化、スクレイピングやBOTアクセスというのは年々、制限が厳しくなっているサイトが増えています。 例えばブックオフオンラインというサイトで、20回ほど連続でF5ボタンを押してみてください。 ブックオフオンラインは割と昔か
monolith - Webページをアーカイブ
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました 過去に見たWebサイトにアクセスしてみたら、すでにコンテンツが消されていた…なんて経験は誰しもがあるはずです。あの時アーカイブしておけば…と後悔してもすでに遅く、思い立った時に行っておかないといけません。 そこで使ってみたいのがmonolithです。 monolithの使い方 アーカイブした例です。表示は崩れていません。 画像はdata URIを使っています。 monolithはターミナルでURLを指定して実行すれば、その内容をアーカイブしてくれます。画像やJavaScript、CSSは一つのHTML中に収めてくれます。iframeなどはダメなようですが、見たままに保存しておくとしては十分ではないでしょうか。 monolithはRust製のオープンソース・ソフトウェア（Public
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
