A example of scrapper using asyncio and aiohttp
scrapper.py 0��પ �+⪪ import asyncio import aiohttp import bs4 import tqdm @asyncio.coroutine def get(*args, **kwargs): response = yield from aiohttp.request('GET', *args, **kwargs) return (yield from response.read_and_close(decode=True)) @asyncio.coroutine def wait_with_progress(coros): for f in tqdm.tqdm(asyncio.as_completed(coros), total=len(coros)): yield from f def first_magnet(page): soup = b
Pythonで見つけたヤフオクの闇、１円スタートのからくり - sakapunのブログ
スノーボードを少しでも安く買いたかった そこで目を付けたのがヤフオクで開催されている１円スタートのスノボである 終了直前までの価格をみていると結構お得に買える！と、思っていた 少しの間、１円商品のスタートを見ていると入札されている価格帯が同じだということに気づいた だとすれば自分もその価格帯付近で入札すれば買えるんじゃないかと思い、価格帯を調べることにした 最近スクレイピングではPythonを使う NodeJSだと非同期を少しでも考えるのが嫌なので、できるだけ使いたくない 実行環境はColaboratoryを用いた スクレイピングして表形式で出力したいだけだからだ 簡単にPythonの実行環境にできるのでスゴイおすすめである colab.research.google.com スクレイピングには定番のBeautiful Soupを使って集計するコードを書き始め、できた結果が下記のようなコー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
prips in python - support ipv6
Remove IPs which belong to cloudflare
FIXME 部分は変更必須。あと、3.9 以上の Python で実行できるはず。
Python scirpt for counting slow query log and sort it.
GitHub - shubham-s-pandey/DorkRecon: DorkRecon is a tool written in Python3 which can be used for recon process using various Google dorks and open source tools
00typed.py
Getting Neo4j Tweets
Simple script to pull CVE info from NVD, parse the XML and import/update it to a mongodb
Installs pentesting tools, then symlinks them to be ran seamlessly.
A step-by-step guide how to use Python with Tor and Privoxy
A Pythonic implementation of the Maybe monad
GitHub - BishopFox/GitGot: Semi-automated, feedback-driven tool to rapidly search through troves of public data on GitHub for sensitive secrets.
Identify IPv4 hosts behind CloudFlare using certificate data
bing_api.py
Scripts for different tools are here, run setup_bbty.sh to copy these in the scripts folder
pyre 使ってみた
Python Requests + Tor (Socks5)
certstream.py