httpxのパフォーマンス問題について - methaneのブログ

前回の記事でhttpxの検討を進めた後にこんな気になる記事を見かけたので現状を調査しました。 gfx.hatenablog.com 結論から言うと、これは httpx を async で利用する時の問題で、現状ではまだ解決されていません。同期APIを使っていれば問題ありません。 原因は、httpxの低レイヤーライブラリであるhttpcoreがanyio.Lockを使っていたのですが、その実装がasyncio.Lockよりも大幅に遅いことです。httpcoreに提案されている解決策は3つあります。 anyio依存排除 https://github.com/encode/httpcore/pull/922 anyioに追加された fast_acquire を利用する https://github.com/encode/httpcore/pull/953 コネクションプールの実装見直し http

[naari_3]

結局"バグ"というやつの正体は"anyio.Lockが遅い"ということだったらしい

[misshiki]

“結論から言うと、これは httpx を async で利用する時の問題で、現状ではまだ解決されていません。同期APIを使っていれば問題ありません。”

[secseek]

なんでもいいからすぐ解決してほしいユーザーと将来禍根を残さないように直したい開発者、普遍ですね。この場合、ユーザーはほとんどすべて開発者のはずなのに…

[gfx]

“結論から言うと、これは httpx を async で利用する時の問題で、現状ではまだ解決されていません。同期APIを使っていれば問題ありません” / コネクションプーリングしない、でもいいと思います。