poetryで管理されているプロジェクトでeditable installがしたい - podhmo's diary
まぁまれにある。work-aroundのメモ。 editable install? 通常のpythonのパッケージのインストールは、パッケージ中のファイルをsite-packages以下にコピーすることなのだけど、editable installというのは、直接参照して利用する形式のインストールのこと。開発時にはimportして利用されるものが直接手元で管理しているリポジトリのファイルであってほしい。そういうときに使う。 関連しそうなstack overflowのページヘのリンクでも貼っておく。 python - When would the -e, --editable option be useful with pip install? - Stack Overflow 通常の方法 自身のパッケージをeditable installしたい場合には以下の様にする。これが通常の方法。 $
pythonで**kwargsにもう少し細かく型を付けたい - podhmo's diary
例えば以下の様な関数helloがあるとする。可変長引数を使って定義されている。とてもtrivialな例ではあるけれど説明用なので。。 from typing import Any def greet(prefix: str, *, name: str) -> None: print(f"{prefix}, {name}") def hello(**params: Any) -> None: greet("hello", **params) ここでhelloを呼び出す際に以下のようにtypoしたとする。これをmypyなどの静的解析で検知したい。 # TypeError: greet() got an unexpected keyword argument 'nam' hello(nam="foo") TypedDict 仮に可変長引数の部分全体をDictとして見るような定義だったら上手くいく
mypyでProtocolを使ってmix-inを利用したクラスに型をつける - podhmo's diary
たまには、他の人の役に立つ記事も書こうということで書いてみる。 例えば、以下のようなmix-inを使ったコードがあるとする。トリビアルな例で特に必要になりそうなコードではないけれど、まぁ説明のためのコードなので許してほしい。 EnumerableMixinはmap()を提供していて、このmap()や他のメソッド(定義されていないけれど)は、each()に依存するというmix-in。そしてListはeach()を実装するクラス。何の変哲もないmix-inのコード。 class EnumerableMixin: def map(self, fn): return [fn(x) for x in self.each()] class List(EnumerableMixin): def __init__(self, xs): self.xs = xs def each(self): return
goで想定した実装が１つだけのときに、テストのためだけにインターフェイスを書きたくない - podhmo's diary
この話に似た話。type aliasを使った型の読み替えで手抜きができる(場合がある)。 テストのためだけにインターフェイスを書きたくないでござる リンク先の記事はtype aliasを使って同一パッケージ上にimportしてくる。 そしてテスト中はmockの方にビルドタグで切り替えている。 この記事ではそれとは違った形でtype aliasを使って手抜きをすることを試みてみる。 TL;DR テスト(=mock)のためだけにインターフェイスは切りたくない インターフェイスの最初の実装をtype aliasで省略できることがある インターフェイスは実装の候補が複数になってから作るべき 詳細 例えば以下の様なインターフェイスをイメージしたコードがあるとする。例えばRSSのフィードをパースしてきて記事のタイトルを集めるようなものだとする。Get()には本来は外部との通信などめんどくさそうな処理が
datacalssesのインスタンスを含んだ値をJSONにするときのメモ - podhmo's diary
いつものやつです。対応していない値をjson.dumps()に与えるとTypeErrorが発生するやつです。 TypeError 例えばこういうdataclassを定義して。 from dataclasses import dataclass, asdict @dataclass class Point: x: int y: int json.dumpsするとTypeError import json p = Point(x=1, y=2) # TypeError: Object of type Point is not JSON serializable print(json.dumps(p)) default いつもどおりにdefaultを渡してあげる必要があります。ちょっとめんどくさいですが、is_dataclassという関数で調べられるのでどうにかなります。 import json
singledispatchとjson.dumpが相性良いかも？ - podhmo's diary
jsonのencodeエラーについては昔に書いたこの辺を見てもらうとして。 pythonでjson出力する際で対応していない型(e.g. datetime)の値を変換しながら出力したい - Qiita 今回の主題は、json.dumpsに渡すdefaultの関数としてfunctools.singledispatchが有用かもという話。 使いかた singledispatchを利用したモジュールを定義 例えば以下のようなextjsonモジュールを定義してあげる。 extjson.py import json from functools import ( singledispatch, partial, ) @singledispatch def encode(o): raise TypeError("Object of type '%s' is not JSON serializable"
djangoのformが辛いという話 - podhmo's diary
djangoのformが辛いという話 はじめに 例えば何らかの処理があるとする。それはある条件にマッチした場合にしか利用できない処理だとする。 T = TypeVar('T') class ActionDispatch(object): def test(self, x : T) -> str: return "A" or "B" or None def get_executor(self, kind : str) -> Callable[[T], None]: return on_a_action or on_b_action もちろん例なので実際には test() はBになり得るし、get_executor() 時にはon_b_actionが返ってくる場合もある。 これを使う処理をapi関数として切り出しておいてみる。以下の様な定義になると思う。 def get_executor(x
pythonのtyping_extensions.Protocolがなぜ嬉しいか(propertyの例) - podhmo's diary
mypyで使えるProtocolが便利という話の例。 structural subtypingをやる際にgoでもほしいと想うことが多かった例がProtocolでは大丈夫なので良いなーという例（今回はそのうちのひとつだけを紹介）。 Protocol? Protocolをいつ使いたくなるかというと、大抵は複数ある何かを同一視したくなった場合。 例えば以下の様な例があげられる。 クラスの継承関係を無視して同様のふるまいを持つものを同一視したいとき ある値を持つものを同一視したいとき 関数とcallable objectを同一視したいとき 同一視した表現を受け取って再帰的に同一視した表現を返したいとき (self-reference) mypyでの型チェックはnominalなので、こういう構造を利用して同一視したい場合にはstructural subtypingが欲しくなる。これ用のinterfa
mypyのdmypyの実装のされ方を覗いてみた - podhmo's diary
mypyのdmypyの実装の仕方を把握する。知りたいことは裏側でのprocessの管理の仕方とクライアントとサーバー間のデータのやり取りの仕方。 準備 $ git clone --depth 1 git@github.com:python/mypy エントリーポイントの把握 インストールされるコマンドの確認(setup.py) setup(name='mypy', ... entry_points={'console_scripts': ['mypy=mypy.__main__:console_entry', 'stubgen=mypy.stubgen:main', 'dmypy=mypy.dmypy:main', ]}, data_files=data_files, ... mypy.dmypy:main()がエントリーポイント実際のファイル。 main.py ほとんどargparseを
ふつうのpython関数をサブコマンドとして扱えるようになった (ejectもあり) - podhmo's diary
github.com 今まではシングルコマンドだけの対応だったのだけれど、ふつうのpython関数をサブコマンドとして扱えるようになった。 handofcatsを作った当初は対応する気はなかったのだけれど、結局欲しくなったので実装してしまった。実装の過程 で結構ハマりどころはあったので後でどこかで話したいかもしれない（後述するeject機能などで手間取るポイントがいくつかある）。 作り始めの記事（正確にはリニューアル後の記事） 過去に作ったpythonの関数をコマンドとして扱えるようにするライブラリを更新しました まだ更新自体はpypiにアップロードしていないけれどそのうちアップロードする。現状は2.x系なのだけれど、それなりに変更が激しかったのでバージョンは3.0.0などにするかもしれない。 handofcats? そもそも話そうとしているパッケージが何かを知っている人は少ない気がする。
pytestのyieldで指定するfixtureのやつを真似して実装してみた - podhmo's diary
github.com pythonのyieldで指定するfixtureのやつを真似して実装してみた。意外と簡単にできるし。面白いし。便利な気がする。 yield fixture? pytestのfixtureはsetup/teardownをgeneratorで定義できる。昔はyield_fixtureという名前だったけれど。現在はfixture自体がその機能を保持するようになった。 pytest supports execution of fixture specific finalization code when the fixture goes out of scope. By using a yield statement instead of return, all the code after the yield statement serves as the teardown
pythonでmypyを騙してfieldにmetadataを付加したクラスを定義してみる - podhmo's diary
ちょっとだけ背景説明 なんでそんなことがしたくなったかというと、やっぱり定義を記述したらおしまいでいられる世界が理想なので。そして特定の領域(e.g. OpenAPI, GraphQL, Protcol Buffers, database定義, ...)に属さないような中立的な表現が欲しくなったので。 この記事は一言で言うならpythonのクラスの各フィールドにどうやってメタデータを持たせようか？ということに対するメモです。 どうしてpython? 現状よく触るのがgoとpythonなのですが、goは直和型が素直に記述できないので1。 普及している言語の中ではTypeScriptの方がゆるふわな表現を良い感じに型パズルしやすいとは想うのですが、literal typeやtyped dictやprotocolなどそこそこpythonでも悪くはない形で型チェックが可能になってきたかなーというこ
reflect経由でgoのmethodを呼んだり存在を確認したりする - podhmo's diary
encoding/jsonパッケージの範囲を越えてJSONと戯れようとする。動的な何かが必要になる。そしてけっこうすぐにreflectパッケージに触れることになる。触りたくないけれど触る必要がある汚泥のような存在。それがreflect。 重い腰をあげてreflectと少し仲良くなるためにした試行錯誤のメモ。 概ね以下のことのやリ方についての文章になっている。 定義されているメソッドの数を確認 メソッドの存在確認 メソッドを呼び出す 定義されているメソッドの数を確認 定義されているメソッドの確認は型に対して行う。型に対してということは reflect.Value ではなく reflect.Type を使うということ。 package main import ( "fmt" "reflect" ) type Foo struct{} func (f *Foo) String() string
mypyとTypedDictとtotalオプションについて - podhmo's diary
pythonでもdictに型を付けたいですね。一応TypedDictという型を定義したいという動きになっています。ちなみにまだこの機能はexperimentalになっているので。mypy_extensionsの方に入っています。 import mypy_extensions as mx class Pair(mx.TypedDict): left: int right: int d0: Pair = {"left": 0, "right": 0} # もしくは d1 = {"left": 0, "right": 0} # type: Pai mypy_extensions ついでに寄り道、mypy_extensionsについて、基本的にpythonの型関連の機能は以下の順でnitghtlyからstableというような遷移をします。 mypy_extensions -- experiment
mypyのキーワード引数・デフォルト引数を持ったメソッドのプロトコルのメモ - podhmo's diary
デフォルト引数周りの型のことでちょっと把握できなかった部分があったのでメモ。 余分なデフォルト引数を持つ実装について 例えば、以下の様なプロトコルがあるとする。 import typing as t import typing_extensions as tx class Adder(tx.Protocol): def add(self, x: int, y: int) -> int: ... このAdder.addメソッドはデフォルト引数を持たない。一方で、デフォルト引数を持つような実装はこのプロトコルの制約を満たすのかということが気になる。 例えば以下のようなもの class A: def add(self, x: int, y: int, *, verbose: bool = False) -> int: return x + y class B: def add(self, x:
pythonで複数のhttp requestを同時に投げる方法(requests)について - podhmo's diary
時折、ちょっとしたスピードアップにhttp(https) requestを並列で投げたい場合がある。aiohttpなどを使っても良いが既存のコードを書き換えるのもめんどくさい。そのようなときの方法のメモ。 concurrent.futuresを使う方法も考えられるけれど。今回はasyncioだけに絞った話。 いわゆるpythonでのhttp requestのデファクトスタンダードはrequestsだと思う。ところでこのrequestsはnon blockingではないのでasyncio上で使おうとすると処理がblockしてしまう。run_in_executor()を使うと処理を外部の環境に移せる。 試しに、run_in_executor()を使ってみよう。動作確認自体は直接のhttp requestではなく、requestを模したfakeの関数を使って行う。以下の様な関数。この処理はtim
pytestのpluginどこまで使うか - podhmo's diary
はじめに pytestのpluginをどこまで使うかを考えるのがめんどくさくなったりした。 個人的にはそれぞれのタイミングで必要になったらはじめて手に取るべきで、あまり最初から導入するようなpluginは思いつかなかった。必要になったタイミングで追加して手に馴染むものがあれば使っていけば良いのでは位のスタンス。 一方で、デフォルトに乗るというか、大衆に従うというか、無難に使うということを考えた時に、どこまでのpytest pluginを利用するべきなんだろうかも気になったりした。 方法 例えば、以下の様に考えてみると、何が無難なパッケージかを判断できるかもしれない。 pip search pytest で検索できるpackageの一覧を取り出す それぞれのpackageをdownloads数順に良い感じに並べる (追加で基準となりそうな馴染み深いパッケージも加えておく) ソートした後に、新
ertを使ってelispのunittestを書く方法のメモ - podhmo's diary
ertを使ってelispのunittestを書く方法のメモ。ertは標準で添付されているのでインストールは不要（なはず）。 使いかた 以下のような関数を定義しておく（テスト対象） (defun my:add (x y) (+ x y)) テストを書く。 (require 'ert) (ert-deftest add20 () (should (= 20 (my:add 10 10))) ) テストを実行する (M-x eval-buffer) M-x ert ertのdefaultのtは全てのテストを実行するという意味。勝手にテストを読み込んでくれないので書いたテストを読み込んであげる必要がある(eval-buffer)。 実行結果は以下のようなもの Selector: t Passed: 1 Failed: 0 Skipped: 0 Total: 1/1 Started at: 2019
EIN(Emacs IPython Notebook)を試してみる - podhmo's diary
2つrepositoryがあり後者の方がmelpaで入るもの。どうやら後者は前者のforkらしい。 tkf/emacs-ipython-notebook: IPython notebook client in Emacs millejoh/emacs-ipython-notebook: Jupyter and IPython 2.x/3.x notebook client in Emacs install package-installで入れる。 M-x package-install ein 注意点としてemacsのversionを上げないとうまくいかない模様。25に上げる必要があった。結構アグレッシブ。 Unknown method kind :around · Issue #219 · millejoh/emacs-ipython-notebook how to use 使い方は以下
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
