OptunaにおけるPython free threading (v3.13t)対応状況について - Preferred Networks Research & Development
本記事はアルバイトとして勤務されている加藤大地さんによる寄稿です。 はじめに Python 3.13 より、PEP 703 で提案された free threading が実験的にサポートされるようになりました。これまで、Python（厳密にはCPython）のインタプリタでは、global interpreter lock (GIL) という機構によって、同時刻において1つのスレッドしか実行できないようになっており、これによってスレッドセーフであることを保証していました。しかし、3.13 で導入された free threading により、複数のスレッドが同時に実行できるようになったことで、実行時間の短縮が見込まれます。 その一方、C-APIにいくつかの後方互換性のない変更が加わったことで、一部のC拡張モジュールがfree threading モードでは正しく動作しなくなる可能性があり、p
zipapp — Manage executable Python zip archives
Command-Line Interface¶ When called as a program from the command line, the following form is used: If source is a directory, this will create an archive from the contents of source. If source is a file, it should be an archive, and it will be copied to the target archive (or the contents of its shebang line will be displayed if the –info option is specified). The following options are understood:
Excel上でWebAssembly版Pythonを実行可能にするアドオン「Anaconda Code」が登場
Python関連のツールベンダとして知られるAnacondaは、Excel上で直接Pythonコードを実行できる新機能「Anaconda Code」を含むExcelのアドオンツール「Anaconda Toolbox in Excel」をパブリックベータとして公開しました。 You can now run Python directly in Excel locally w/ the new Anaconda Code add-in! Public beta is live! Faster performance, flexible data handling, editable initialization, & customizable environments. Read more in our blog & follow @anacondainc: https://t.co/9LAy
Ryeに見る自己完結型Pythonとライセンスの話 - techtekt
目次 目次 はじめに 検証環境 pyenv + Poetryのインストールとプロジェクト作成 pyenvのインストール Poetryのインストール プロジェクト作成 Ryeのインストールとプロジェクト作成 インストール プロジェクト作成 pyenv環境とRye環境のPythonの挙動の違い readlineモジュール なぜRyeのPythonはlibeditを使用するのか pyenvよるPythonのインストール RyeによるPythonのインストール ライセンスの問題 ユーザへの影響 まとめ はじめに Pythonの開発において、pyenvによるバージョンの切り替えと、Poetryによるプロジェクト管理の組み合わせを使用されている方は多いかと思います。 そんな中、ワンストップなプロジェクト・パッケージ管理ツールとして近年登場し、話題となっているのがRyeです。 rye-up.com Ry
Python 3.12で増えた並列処理と、これまでの並列処理の挙動を比べてみる - Qiita
この記事ですることを3行で Pythonの標準ライブラリでできる並列実行を、あらためて総当たりで速度比較しよう ウォーターフォールチャートで、それぞれの並列処理の処理時間の特徴を可視化しよう boto3の実行をモデルケースにして、どの並列処理が一番早いのかを調べよう この記事の結論を先に Python 3.12から本格的に使えるようになったサブインタープリターは、CPUで実行する処理について言えば、従来のサブプロセスよりも高速 boto3の実行は、サブインタープリターよりも署名付きURLの非同期実行のほうが速い → S3からの10ファイルの取得であれば、実行時間を90%削減できます → Bedrockの3回実行であれば、実行時間を60%削減できます 今回使ったソースコードはこちらに置いています。 お手持ちの環境で再実行できるようにしていますので、気になる方はぜひ。 どうしてこの記事を書くの
uWSGIで大きいログが壊れないようにする設定 - methaneのブログ
uWSGIがファイルやパイプにログを書くときは、各ワーカープロセスが直接ファイルやパイプに書く場合と、一旦masterプロセスにログを送ってmasterプロセスからログを書く場合があります。 masterプロセスにログを送る設定は --log-master ですが、このオプションを暗黙的に有効にするオプションがあります。 UWSGI_OPT_LOG_MASTER か UWSGI_OPT_REQ_LOG_MASTER というフラグが指定された場合に log_master が設定されるようになっていて、uwsgi-2.0ブランチではこれらのオプション（エイリアスを含む）にそのフラグが指定されています。 touch-logrotate touch-logreopen log-syslog log-socket req-logger logger-req logger threaded-logge
PythonのマルチスレッドWSGIサーバーの選定 - methaneのブログ
今までuWSGIをシングルスレッド、マルチプロセスで使っていたのだけれども、昔に比べて外部のAPI呼び出しが増えているのでマルチスレッド化を検討している。 uWSGI uWSGIでマルチスレッドを有効にした時は、各workerスレッドがacceptする形で動作する。スレッド数以上の接続をacceptすることがないので安心。 プロセス内のスレッド間ではmutexで排他されて、同時にacceptを実行するのは1スレッドのみに制限されている。つまりthendering herd問題はプロセス間でしか起こらない。マルチスレッド化でプロセス数はむしろCPUコア数まで減らせるので、thendering herd問題はむしろ今よりも軽減できる。（ちなみにプロセス間でもロックしてthendering herdを許さないオプションもあるけど、プロセス間同期は怖いので使っていなかった。） ただしuWSGIのマ
pypackaging-native
Home Home Meta topics Key issues Other issues Background References Glossary Home Introduction Packaging is an important and time-consuming part of authoring and maintaining Python packages. This is particularly true for projects that are not pure Python but contain code that needs to be compiled, and have to deal with distributing compiled extensions and with build dependencies. Many projects in
PEP 703 - 兼雑記
https://peps.python.org/pep-0703/ Python の GIL 外す話。これすごく楽しい読みものでした。参照カウントのところが一番人気だと思うのですが、他のところも色々良い。こういう、「んーこういうことするとこういう問題が起きない？」と思ったら次の章くらいでそれが説明される、みたいな読みものは大変好きです 参照カウント: オブジェクトっていうのは作ったスレッドが解放するというのがほとんどなんだから、その場合はロックをいらなくする、他に渡ったら普通の参照カウントぽくする、という話。 Swift に 2018 年に導入された 話らしい。他のスレッドに渡された後で DECREF すると他スレッド用の参照カウントが負になりうるのだけど、その時に queue に入れるということをして、ややこしいので、なんかこれ無しですむ方法はないのかなぁ……と Immortalize
Debugging a Mixed Python and C Language Stack | NVIDIA Technical Blog
Debugging is difficult. Debugging across multiple languages is especially challenging, and debugging across devices often requires a team with varying skill sets and expertise to reveal the underlying problem. Yet projects often require using multiple languages, to ensure high performance where necessary, a user-friendly experience, and compatibility where possible. Unfortunately, there is no sing
Python Social Authで学ぶ、OAuth2.0認可コードフローにおける異常系への対処
PyCon JP 2022の登壇資料です https://www.youtube.com/watch?v=8bzKf6BwDos
Welcome to Bandit — Bandit documentation
Welcome to Bandit Bandit is a tool designed to find common security issues in Python code. To do this, Bandit processes each file, builds an AST from it, and runs appropriate plugins against the AST nodes. Once Bandit has finished scanning all the files, it generates a report. Using and Extending Bandit
PyPIにおける潜在的な任意コード実行
はじめに(English version is also available.) PyPIは、セキュリティページ自体は公開しているものの、脆弱性診断行為に対する明確なポリシーを設けていません。1 本記事は、公開されている情報を元に脆弱性の存在を推測し、実際に検証することなく潜在的な脆弱性として報告した問題に関して説明したものであり、無許可の脆弱性診断行為を推奨することを意図したものではありません。 PyPIに脆弱性を発見した場合は、Reporting a security issueページを参考に、[email protected]へ報告してください。 要約PyPIのソースコードを管理しているリポジトリのGitHub Actions上において、悪意あるプルリクエストが任意のコマンドを実行する事が可能な脆弱性が存在した。 これにより、当該のリポジトリに対して書き込み権限を得ることができ、結果
Pythonスキーマバリデーションライブラリ比較 (pydantic, marshmallow, attrs, cerberus) - Attsun blog
Pythonスキーマバリデーションライブラリ比較 (pydantic, marshmallow, attrs, cerberus) ウェブAPIの作成など、外部からやってくるデータを安全に捌く上で、スキーマ定義とバリデーションは非常に重要です。 また、特にPythonのような動的型付け言語において、内部でもレイヤをまたぐ場合はきちんと定義されたデータモデルを利用することで、知らない間にデータモデルが変わっていた、というようなケースを防ぐことができます。 Pythonには標準でスキーマバリデーションライブラリがないため3rdパーティのものを使うことになりますが、様々なライブラリがあるので比較してみました。 比較対象のライブラリ概要※Pythonバージョンは3.9.0を利用します。 lib versionGithub Star (2020/1/5)memo
I'm not feeling the async pressure
I'm not feeling the async pressure written on Wednesday, January 1, 2020 Async is all the rage. Async Python, async Rust, go, node, .NET, pick your favorite ecosystem and it will have some async going. How good this async business works depends quite a lot on the ecosystem and the runtime of the language but overall it has some nice benefits. It makes one thing really simple: to await an operation
Latency in Asynchronous Python
This week I was debugging a misbehaving Python program that makes significant use of Python’s asyncio. The program would eventually take very long periods of time to respond to network requests. My first suspicion was a CPU-heavy coroutine hogging the thread, preventing the socket coroutines from running, but an inspection with pdb showed this wasn’t the case. Instead, the program’s author had mad
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - janbjorge/pgqueuer: PgQueuer is a Python library leveraging PostgreSQL for efficient job queuing.
GitHub - Textualize/textual: The lean application framework for Python. Build sophisticated user interfaces with a simple Python API. Run your apps in the terminal and a web browser.
GitHub - mckinsey/vizro: Vizro is a low-code toolkit for building high-quality data visualization apps.
最先端自然言語処理ライブラリの最適な選択と有用な利用方法 / pycon-jp-2020
