Pythonでの開発・CI/CDの私的ベストプラクティス2022
はじめに 2021年、Pythonで複数の暗号系ライブラリを開発してPyPIで公開してきました。その過程で、setuptools、flit、poetryと、幾つかのパッケージ管理をわたり歩き、GitHub上でのCI/CDも色々試す中で私的なべスプラが定まってきたので、2022年初に備忘録としてまとめておきます。 具体的には、pyenv、poetry、pre-commit、tox、GitHub Actions を活用し、低コストで（＝なるべく自動で）、高品質のプロダクトをPyPIにデプロイする方法・設定を共有します。個別のツールの記事はよく目にするのですが、開発ライフサイクル全体をカバーする記事がなかなか無かったので。 開発環境の整備 - pyenvで複数のPythonバージョンでの開発環境を整備 パッケージ管理 - poetry/pyproject.tomlでの一元的なパッケージ管理 静的
Pythonパッケージを公開するときに便利なツール/サービス
先日ja-timexというPythonパッケージを作成してPyPIに公開したのですが、開発に利用している便利なツールやサービスを紹介します。 Poetry Pythonのパッケージ管理/依存解決ツールとして広く利用されはじめているPoetryですが、パッケージとして公開するための機能も優れています。 具体的には、以下の3ステップでPyPIにリリースすることができます。 $ poetry config pypi-token.pypi $pypi-token # 最初だけ $ poetry build $ poetry publish 従来setup.pyに記載していたパッケージ公開用の各種メタ情報はpyproject.tomlに記載します。 また、PyPIのテスト環境へのリリースもサポートしています。PyPIの本番環境では同じバーション番号のファイルをリリースできないため、ちょっとでも不具合
Pythonのパッケージ周りのベストプラクティスを理解する - エムスリーテックブログ
砲撃する自走砲（PzH2000自走榴弾砲）。自走砲は戦車によく似ていますが、戦車ではありません。＊本編とは関係ありません。 こんにちは、エムスリー基盤開発チーム小本です。 Pythonのパッケージ管理周りでは、 「setup.pyでrequirements.txtを読み込むのが普通なんですよね？」 「pipenv があれば venv はオワコンなんですね？」 「pyenvは要らないんですよね！？」 「Pythonは歴史が古い分、Rubyなどに比べてカオス」 みたいな混乱をよく目にします。 実際、複数のツールがあって（一見）複雑です。また「なぜこうした状況にあるのか」がドキュメント化されているわけでもありません。 なので、私なりに整理してみることにしました。 ※「追伸」を追加しました。この記事では汎用プログラミング言語としてPythonを使うケース（Webアプリとか、CLIツールとか、ライブ
Python3のimportパターン13個 | nansystem
Pythonで意味のある単位にファイルを分割してWebアプリケーションを作成したい。 どうやら、Pythonにはあるファイルから他のファイルを読み込む際のパターンが複数あるようなので、まとめておく。 # Pythonにexportはない Pythonにおいてあるファイルから他のファイルを読み込む場合、関数やオブジェクトを提供するファイルにexportのような記述をする必要はない。 したがって、読み込む方法だけ確認しておけば、ファイルを意味のある単位に分割して開発していける。 # 読み込みのパターン MECE(漏れなくダブりなく)じゃないけど、読み込みのパターンはおおよそ以下の通り。 import モジュール import モジュール as モジュールの別名 from モジュール import 変数、関数、クラス、モジュール from モジュール import 変数、関数、クラス、モジュール
PythonからC言語の関数を呼び出してユニットテストする環境を作る: Cython編 - EurekaMoments
Cython ―Cとの融合によるPythonの高速化 作者:Kurt W. SmithオライリージャパンAmazon 目次 目次 はじめに Cythonとは PythonとC言語を組み合わせるメリット 参考記事 ステップ1: C言語のコードを書く ステップ2: C言語のコードをラッピングするCythonコードを書く ステップ3: Cythonコードをビルドするsetup.pyを書く ステップ4: コンパイル・ビルドする ビルドする際のハマりポイント ステップ5: ユニットテストのPythonコードを書く 今後の課題 はじめに 自分は普段の仕事でC言語のプログラムを実装するのがメインです。しかしながら、今の職場にて自分が実装したC言語のソフトをデバッグするためには、実際のコントローラに書き込んでからベンチシミュレータで動かす、くらいしか方法がありません。 いちいちコントローラに書き込んだりす
【Python】 Constant-Q 変換 (対数周波数スペクトログラム) - 音楽プログラミングの超入門（仮）
関連記事 高速な Constant-Q 変換 【Python】 高速な Constant-Q 変換 (with FFT) - 音楽プログラミングの超入門（仮） 導入：対数周波数スペクトログラム Pythonで短時間フーリエ変換（STFT）と逆変換 - 音楽プログラミングの超入門（仮） 上記の記事で，音響信号を周波数スペクトルの時間変化を表すスペクトログラムに変換する短時間フーリエ変換を扱いました．簡単にアルゴリズムを復習すると，音響信号を一定の幅で切り取ってフーリエ変換するという処理を少しずつずらして行っていくことでスペクトログラムを得ていました． ここで，音響信号を一定の幅で切り取ってフーリエ変換するということについて少し考えてみましょう．切り取られた信号が以下のようなものであることを考えます． 窓幅が 256 サンプル(fs=4[kHz])で、ここでは信号を 1000[Hz]，400[
Emacsでpythonを書く環境 - type t (* void *)
老人なのでemacsでプログラムを書いていますが、最近はpythonを少しだけ書く必要があったので環境の話をまとめます。 melpaにアクセスできることを想定してます。 念の為、バージョンに依存するところはないと思いますがpackage.elを使うので24以上、 私の環境は26.1です。 ;;; package.elの初期化 (when (require 'package) (add-to-list 'package-archives '("melpa" . "http://melpa.milkbox.net/packages/") t) (package-initialize) ) elpy M-x package-install elpy 殆どこれで終わる。 elpyはpythonを書くためのパッケージなどをまとめてインポートする全部のせextension。 以下の機能がまとめて入る。
Python製シェルxonshを半年使った所感や環境設定のまとめ - Stimulator
- はじめに - Pythonにおけるpython-prompt-toolkit(以下ptk)を使って作られたシェルである「xonsh」を同僚にオススメされて、大体半年くらい使ったので設定とかxontribとか所感を晒していく。 前半でxonshのメリット、デメリットの概要を記載し、後半に自身が利用する設定やxontribについて記載する。 この記事は、xonsh導入に至る人もしくは、環境設定について広く知りxonshを扱える人を増やす事が目的である。 追記：2018/07/18 xonsh 0.7.0が出ていますが、現在prompt-toolkit2.0の各機能対応中という感じです。 これは、ptk1.x -> 2.xにおいて結構な破壊的変更があるためです。 現状はpip install xonshする時に pip install prompt_toolkit==1.0.15 pip i
Python Tutorials – Real Python
pandas GroupBy: Grouping Real World Data in Python In this course, you'll learn how to work adeptly with the pandas GroupBy while mastering ways to manipulate, transform, and summarize data. You'll work with real-world datasets and chain GroupBy methods together to get data into an output that suits your needs. Jul 23, 2024 intermediate data-science
Python: デコレータについて - CUBE SUGAR CONTAINER
Python の特徴的な構文の一つにデコレータがある。 便利な機能なんだけど、最初はとっつきにくいかもしれない。 そこで、今回はデコレータについて一通り色々と書いてみる。 先に断っておくと、とても長い。 これを読むと、以下が分かる。 デコレータの本質 デコレータはシンタックスシュガー (糖衣構文) に過ぎない デコレータの作り方 引数を取るデコレータと取らないデコレータ デコレータの用途 用途はラッピングとマーキングの二つに大別できる デコレータの種類 デコレータは関数、メソッド、インスタンスで作れる デコレータの対象 デコレートできるのは関数、メソッド以外にクラスもある 今回使った環境は次の通り。 尚、紹介するコードの中には、一部に Python 3 以降でないと動作しないものが含まれている。 $ python -V Python 3.6.6 デコレータについて まずはデコレータのおさら
Documenting Python Code: A Complete Guide – Real Python
Watch Now This tutorial has a related video course created by the Real Python team. Watch it together with the written tutorial to deepen your understanding: Documenting Python Code: A Complete Guide Welcome to your complete guide to documenting Python code. Whether you’re documenting a small script or a large project, whether you’re a beginner or a seasoned Pythonista, this guide will cover every
I don't need types • Dimitri Merejkowsky
This is a story about me being wrong about tests and type systems. It’s also a story of me trying something new and learning a few things. Let’s start at the beginning. C++ vs Python # A few years ago, I was working in a team where the two main languages used were C++ and Python. Here’s what I used to think: C++ sucks: I have to specify types everywhere: I need to know the difference between int,
Python sharing a lock between processes
I am attempting to use a partial function so that pool.map() can target a function that has more than one parameter (in this case a Lock() object). Here is example code (taken from an answer to a previous question of mine): from functools import partial def target(lock, iterable_item): for item in items: # Do cool stuff if (... some condition here ...): lock.acquire() # Write to stdout or logfile,
Jupyter 知っておくと少し便利なTIPS集 - Qiita
今まで仕事で使ってきた、メジャーなものからマイナーなものまで含めたJupyter NotebooksのTIPS集です。 入力補完 とりあえずこれが無いと生きていけません。 Nbextensions（Jupyterの拡張機能）自体が未設定であれば、一旦そちらをインストールして、その後にHinterlandという機能にチェックを入れると有効化されます。 AnacondaのJupyter notebookでnbextensionsを使う ※Nbextensionsインストール後、Jupyterのファイルリスト的な画面で、タブで「Nbextensions」という選択肢が追加されます。 Azure Notebooksなどだと、最初からインストール不要で選択できるようになっています。 Google Colaboratoryなどでは、そういった設定ができるのかまだよくわかっていません。（ご存じの方コメン
lambda式はすごく面白い - 元理系院生の新入社員がPythonとJavaで色々頑張るブログ
最近lambda式にハマってしまい何でもかんでもlambda式で書こうとしています。 「なんでもかんでもlambda式で書いてやるぜ！」というのはちょっとアレですが、lambda式は使ってみると割と便利なので、lambda式のちょっとしたメリットについて少し取り上げてみます。 そもそもlambdaとはなんぞや。 lambdaとは無名関数を表現する記法の一つです。 無名関数とは名前の通り、名前の付いて無い関数のことです。 pythonだったらa,bを引数として受け取り、その和を返す関数を def func(a, b): return a+b ・・・と、funcと名前を付けて記述しますね。 これに対し、lmabda式を使って、引数a,bを受け取りその和を返す関数を記述すると lambda a, b : a + b となります。 lambda式を知らないと「なんじゃこりゃ？」となるので（ぼくがな
cannot import name … - milk_spoonのブログ
pythonでdpktというパケット解析ライブラリを利用しようとして、pipでinstallもした、とりあえずテスト用ソースをコピペった、さあ動かすぞという段になってこのザマでした。 ちなみにバージョンはpython2.7.6 + dpkt1.8.6.2です。 $ python test.py Traceback (most recent call last): File "test.py", line 6, in <module> import dpkt File "/usr/local/lib/python2.7/dist-packages/dpkt/__init__.py", line 12, in <module> import aoe File "/usr/local/lib/python2.7/dist-packages/dpkt/aoe.py", line 6, in <mo
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - matsui528/nanopq: Pure python implementation of product quantization for nearest neighbor search
GitHub - AtsushiSakai/PythonRobotics: Python sample codes for robotics algorithms.
best way to preserve numpy arrays on disk
GitHub - root-project/cling: The cling C++ interpreter
