タグ

関連タグで絞り込む (1)

タグの絞り込みを解除

pythonに関するdorapon2000のブックマーク (3)

  • Python 3.12で増えた並列処理と、これまでの並列処理の挙動を比べてみる - Qiita

    この記事ですることを3行で Pythonの標準ライブラリでできる並列実行を、あらためて総当たりで速度比較しよう ウォーターフォールチャートで、それぞれの並列処理の処理時間の特徴を可視化しよう boto3の実行をモデルケースにして、どの並列処理が一番早いのかを調べよう この記事の結論を先に Python 3.12から格的に使えるようになったサブインタープリターは、CPUで実行する処理について言えば、従来のサブプロセスよりも高速 boto3の実行は、サブインタープリターよりも署名付きURLの非同期実行のほうが速い → S3からの10ファイルの取得であれば、実行時間を90%削減できます → Bedrockの3回実行であれば、実行時間を60%削減できます 今回使ったソースコードはこちらに置いています。 お手持ちの環境で再実行できるようにしていますので、気になる方はぜひ。 どうしてこの記事を書くの

    Python 3.12で増えた並列処理と、これまでの並列処理の挙動を比べてみる - Qiita
  • pip freezeして作られたであろう requirements.txt をどうにか整理する話

    ECシステム開発チームのいまづです。 みなさん pip install してますか? いやまあ pip 自体は使うにしても、依存管理は最近なら rye だろうとか uv 使おうぜとか聞こえてきますけれども、自社サービスを開発し続けていると、古くから存在し続けるリポジトリがあって、それらには requirements.txt しかないという状況がありまして。 今回はそれを整理したよ、というお話です。 残念ながら便利ツールで一気に解決できたというお話ではありません。 バージョン指定込みの requirements.txt 開発において人が必要と判断したものを単に追記していっただけの requirements.txt というのは扱いやすいですよね(バージョンを固定できていないという点を無視すれば)。 djnago python-dateutil requests boto3 みたいなやつです。

    pip freezeして作られたであろう requirements.txt をどうにか整理する話
    dorapon2000
    dorapon2000 2024/04/11
    “古い環境で実行する場合は pkg_resources で良さそうですが、importlib.metadata を使って書き直してみます。”
  • mypy 設定ファイルの読み合わせと修正を実施しました - CADDi Tech Blog

    こんにちは MLエンジニアとMLOpsエンジニアを兼任している押条です。 CADDi の機械学習プロジェクトでは Python がよく使われています。 番環境にリリースするコードのlinterformatter、test に関しては、 CI で自動的に適用し運用できていました。 一方、型注釈については開発担当者に一任されており、プロジェクトごとにあるものとないものと混在していました。 採用を強化してチームを拡大していこうという動きもあり、開発に携わる人が増える見込みがあります。 そのような背景から、型注釈による既存コードの可読性の向上の重要性が増してきました。 そこで現行の mypy の設定の読み合わせと mypy 設定の修正を実施しました。 その時の議論の内容と修正後の設定をご紹介しようと思います。 目次 現行ルールがどのようなものか認識合わせする 現在のプロダクションコードを参

    mypy 設定ファイルの読み合わせと修正を実施しました - CADDi Tech Blog
    dorapon2000
    dorapon2000 2024/03/03
    “strict = True: すべてのstrictモード関連のオプションを有効にします。”
  • 1