GitHub - rmax/scrapy-redis: Redis-based components for Scrapy.
Distributed crawling/scraping You can start multiple spider instances that share a single redis queue. Best suitable for broad multi-domain crawls. Distributed post-processing Scraped items gets pushed into a redis queued meaning that you can start as many as needed post-processing processes sharing the items queue. Scrapy plug-and-play components Scheduler + Duplication Filter, Item Pipeline, Bas
Revenge of the Types
written on August 24, 2014 This is part two about “The Python I Would Like To See” and it explores a bit the type system of Python in light of recent discussions. Some of this references the earlier post about slots. Like the earlier post this is a bit of a diving into the CPython interpreter, the Python language with some food for thoughts for future language designers. As a Python programmer, ty
Python と型ヒント (Type Hints)
【DL輪読会】DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Dri...
python prompt toolkitの紹介と動作を理解するメモ - Stimulator
- はじめに - 本記事はpython prompt toolkit（以下 ptk）の動作を理解するメモです。 ptkで出来ること、その概要を書いています。 - はじめに - - ptkとは - ptkで作成されたツール - ptkの描画を理解する - print_formatted_text Application Screenオブジェクトのレンダリング KeybindingとFilter 関連 おわりに - ptkとは - ptkは、Pythonで実装されているCLI用のツールキットである。 コンソール上でのフルスクリーンアプリケーションの作成 dialogs、progress-barの生成 シェルのようなインタラクティブな入出力 補完 clipboardの管理 出力テキスト色の変更 シンタックスハイライト EmacsとViのキーバインディング マウスカーソルによる操作 各種非同期処理
Pythonで、RequestのCookieを使ってみた - メモ的な思考的な
以前、wsgi-interceptを使った時に、PythonのHTTPライブラリとして、Requestsを使いました。 Requests: HTTP for Humans — Requests 2.13.0 documentation 使っている中で、RequestのCookieの使い方について迷ったことがあったため、メモを残します。 環境 Mac OS X 10.11.6 Python 3.6.1 Requests 2.13.0 Bottle 0.12.13 Requestsを試すためのアプリ pytest 3.0.7 テストランナー Requestsを試すための用意したBottleアプリ CookieをセットするだけのBottleアプリを用意しました。 仕様は /へアクセス Cookieにrootをセット /redirectへアクセス Cookieにredirectをセット /ヘリダイ
ファイルバッファの強制フラッシュ（Python） - テクデップ（Techdep）
ファイルの書き出し処理といっても直ちにディスクにそのファイルが書き出されるわけではない。ディスクへの書き出しが遅れうるという挙動を失念して居て、以下のコードで意図通りの動作にならず困ったことがあった。 with codecs.open('filename', 'w', 'UTF-8') as file : file.write(body) subprocess.call('cmd filename', shell=False) 「あるファイルを事前に書き出して、事前出力したファイルを入力として外部プログラムが諸々の処理をする」という単純なコードだ。しかしながら、場合によっては、subprocess.call()の時点で入力となるべきファイルが空ファイルの可能性もあり、意図通りの動作にならないのである。 ディスクへの書き出しは直ちに実行されない ファイルの書き出し処理とはいっても、Pytho
Python の Union と Optional ってなに？ | 民主主義に乾杯
# Union と Optional ってなに？ 最近の Python では型を明示できるようになりました。 ところで変数に未定義の None が入る可能性が場合には、 どうやって型を明示すればいいのでしょうか？
Typing — pysheeet
Typing¶ PEP 484, which provides a specification about what a type system should look like in Python3, introduced the concept of type hints. Moreover, to better understand the type hints design philosophy, it is crucial to read PEP 483 that would be helpful to aid a pythoneer to understand reasons why Python introduce a type system. The main goal of this cheat sheet is to show some common usage abo
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Properly Unit Testing Scrapy Spiders - DZone
scrapy_tdd/test/test_helpers.py at master · rrschmidt/scrapy_tdd
mypy calls error: Class cannot subclass 'ObjectType' (has type 'Any') on graphene
Define a jsonable type using mypy / PEP-526
pythonでjson出力する際に対応していない型(e.g. datetime)の値を変換しながら出力したい - Qiita
GitHub - achillean/shodan-python: The official Python library for Shodan
Scrapy Get Redirect URLs and Request URL - Tech Monger
Python's os and subprocess Popen Commands
Running mypy and managing imports - mypy 1.18.2 documentation
GitHub - crazyguitar/pysheeet: Python Cheat Sheet
GitHub - RedSiege/EyeWitness: EyeWitness is designed to take screenshots of websites, provide some server header info, and identify default credentials if possible.
GitHub - claymation/python-builtwith: BuiltWith API client
