Reader APIOur world-class embeddings for search, RAG, agent systems.
【悪用厳禁】Torを使ったスクレイピングでIPアドレスを分散させるテクニック – Python | Let's Hack Tech
Torをスクレイピングで使いやすくするPythonのモジュール作ってみた TorをPythonスクレイピングに流用しやすくするためのモジュールを作成しました。Torをスクレイピングに流用することによって、IPによる制限を回避することが容易になります。 Torを使ったWebスクレイピング Webスクレイピングに、そのSocksプロキシを流用することで、簡単にIPアドレスを変更することが可能になります。 つまり自分のIPではないIPを使って色んなWEBサイトにBOTアクセスすることが可能になります。 Torを使ったスクレイピングはどういった場合に便利なのか？ WEBアクセスの自動化、スクレイピングやBOTアクセスというのは年々、制限が厳しくなっているサイトが増えています。 例えばブックオフオンラインというサイトで、20回ほど連続でF5ボタンを押してみてください。 ブックオフオンラインは割と昔か
Puppeteer Sandbox | Headless Chrome Playground
Embed a button to share your Puppeteer script. The embed code below are designed to be used in README files, documentation sites, and anything that renders as an html file. You can also just share a link to this page. Markdown [](https://puppeteersandbox.com/) HTML <a href="https://puppeteersandbox.com/"><img src="https:/
monolith - Webページをアーカイブ
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました 過去に見たWebサイトにアクセスしてみたら、すでにコンテンツが消されていた…なんて経験は誰しもがあるはずです。あの時アーカイブしておけば…と後悔してもすでに遅く、思い立った時に行っておかないといけません。 そこで使ってみたいのがmonolithです。 monolithの使い方 アーカイブした例です。表示は崩れていません。 画像はdata URIを使っています。 monolithはターミナルでURLを指定して実行すれば、その内容をアーカイブしてくれます。画像やJavaScript、CSSは一つのHTML中に収めてくれます。iframeなどはダメなようですが、見たままに保存しておくとしては十分ではないでしょうか。 monolithはRust製のオープンソース・ソフトウェア（Public
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Webサイト・アプリのページ構成を分析、サイトマップを自動的に作成するオンラインサービス -Visual Sitemaps