httpxとrequestsの違いと使い分け完全ガイド【非同期・HTTP/2・2026年版】
本記事で紹介する手法は、対象サイトの利用規約・robots.txtを遵守した上での利用を前提としています。 はじめに Pythonでスクレイピングを始めると、最初に使うのは requests です。シンプルで直感的で、ほとんどの用途で十分に機能します。 しかし、スクリプトをスケールさせようとしたとき「requests は非同期に対応していない」という壁にぶつかります。そこで調べると httpx が出てきます。「requests の上位互換なのか？」「全部 httpx に移行すべきか？」「curl_cffi はどう違うのか？」——この3択で迷った経験があります。 以前、300件のURLを同期で取得していたスクリプトを非同期化しようとしたとき、httpx に移行するか asyncio + requests を使うか（これはできない）、curl_cffi の非同期版にするかで迷いました。違いを整
Pythonのもう一つのHTTPクライアント: Niquests - methaneのブログ
過去数回の記事で Requests や httpx の問題点や細かい挙動について触れてきました。これらのライブラリの代わりになるもう一つの有力なHTTPクライアントとして Niquests を紹介します。 NiquestsはRequestsのforkで、高い互換性を保ちながら、非同期処理やHTTP/2、HTTP/3のサポートなど、現代的な機能を追加しています。Requestsの低レイヤーを担う urllib3 もforkして urllib3-future として提供しており、Niquestsの現代的な機能は urllib3-future によって実装されています。 Niquestsもurllib3-futureも開発されているのは Ahmed Tahri (@Ousret) さんです。個人プロジェクトとなると不安もありますが、彼は Requests の依存ライブラリの一つである chars
Webサーバの仕組みについて入門してみた（Python実装） - iimon TECH BLOG
はじめに 株式会社iimonでSREエンジニアをしているhogeです。 本記事はiimonアドベントカレンダー9日目の記事となります。 今回の記事は技術的な棚卸しとして、普段大変お世話になっているWebサーバがどういった仕組みで動いているのかを実装しながら深堀りしていこうと思います。 弊社のバックエンドはDjango/FastAPI + Gunicornの構成で動作しているため、Pythonを絡めた説明が多くなるかと思います。サンプルコードもPythonで実装をしています。 途中、システムコールやファイルディスクリプタなどにも踏み込んだ話をするのですが、低レベルなプログラミングをちゃんとやったことがないため、間違えている部分があるかもしれません。今後学習して行く中で気づいたら都度修正していきたいと思います。 環境・使用ツール 言語 Python OS Ubuntu（Linuxのシステムコー
HTTPX
>>> import httpx >>> r = httpx.get('https://www.example.org/') >>> r <Response [200 OK]> >>> r.status_code 200 >>> r.headers['content-type'] 'text/html; charset=UTF-8' >>> r.text '<!doctype html>\n<html>\n<head>\n<title>Example Domain</title>...' Which now allows us to use HTTPX directly from the command-line... Sending a request... Features HTTPX builds on the well-established usability of reques
Pythonで約100行のシンプルなWSGIサーバーを書いてみる
エキスパートPythonプログラミング改訂2版 作者:Michal Jaworski,Tarek Ziade発売日: 2018/02/26メディア: 単行本 はじめに — Webアプリケーションフレームワークの作り方 in Python の資料が最近になってホットエントリー入りし、思ったよりも多くの方に読んでいただけているようです。見返しているとWSGIサーバーを作りながらHTTPについて学べる章があってもいいかもとふと思いました。書くとすれば内容的には id:shimizukawa さんのPyCon JP 2018の発表をもう少し詳しく説明する資料になりそうな気がします。 PyCon JP 2018: Webアプリケーションの仕組み - 清水川のScrapbox とはいえ自分もWSGIサーバーを一度も書いたことがないので、気分転換にシンプルなWSGIサーバーを書いてみました。 4時間ぐら
Python 3 の asyncio で http サーバーを書く - Qiita
先日 JJUG CCC 2017 FALL に参加してきました。 イベントの中で 田所 駿佑 さんによるセッションでプログラミング言語の勉強のためのお題として HTTP サーバーを書こうといった発表がありました。 新しいプログラミング言語の学び方 HTTPサーバーを作って学ぶ Java, Scala, Clojure https://github.com/todokr/simple-http-server おおたに さんと一緒にセッションを聞いてセッションが終わってから HTTP サーバーを書きたくなりましたよね？ と問われ、そのときはセッションを聞いてテンションも上がっていたのもあり「あー、そうですね。。。」と相槌をうっていました。 その後、イベントが終わって新宿駅へ歩いていった帰り際にも 帰ったら HTTP サーバーを書くんですよね？ と念を押されました。たぶん帰るまでに3
Python 3 で簡易の HTTPS サーバーを立てる - Qiita
概要 2024年7月改訂 この記事では TLS 対応の HTTP/1/2 サーバーをつくるために調べたことの記録です。2024年の時点では WSGI (Web Server Gateway Interface) や ASGI (Asynchronous Server Gateway Interface) に対応した HTTP サーバーがたくさんあるので、実際の使用よりも学習を目的としています。h2 モジュールは HTTP/2 対応のためにさまざまなプロジェクトで使われています。 Python の開発環境 最新の Python を導入するため、homebrew などの開発環境構築ツールがおすすめです。2024年7月の時点で最新バージョンは Python 3.12 です。2024年になってから私は mise という開発環境構築ツールを使うようになりました。homebrew との違いは依存関係の
Hyper: HTTP/2 Client for Python — hyper 0.7.0 documentation
Hyper: HTTP/2 Client for Python¶ Release v0.7.0. HTTP is changing under our feet. HTTP/1.1, our old friend, is being supplemented by the brand new HTTP/2 standard. HTTP/2 provides many benefits: improved speed, lower bandwidth usage, better connection management, and more. hyper provides these benefits to your Python code. How? Like this: from hyper import HTTPConnection conn = HTTPConnection('htt
【Python】2行でHTTPリクエストを並列処理できる便利ライブラリ『GRequests』 - あのねノート。
2014-09-18 【Python】2行でHTTPリクエストを並列処理できる便利ライブラリ『GRequests』 やり方 GRequestsはHTTPリクエストを並列処理するライブラリです。 GRequestsはGitHubでスターを759個付けられているのに、日本語でGRequestsについて触れられた記事はひとつもみつかりませんでした(ほんとかな？) なので紹介します。 GRequestsのインストール pip install grequestsでいけます。GReqestsはrequestsとgeventを使っていますので、それらも一緒にインストールされます。帰ってくるオブジェクトもrequestsのそれなので完璧です。 コードは以下のようになります。 ※ もし404だったりした場合はNoneが格納されます。 サっとHTTPリクエストを非同期処理するときにpip install gr
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - emmett-framework/granian: A Rust HTTP server for Python applications
GitHub - reorx/httpstat: curl statistics made simple
HTTPie – API testing client that flows with you