Python: poetryでパッケージの依存管理 - け日記
私はこれまでPythonのパッケージ管理として pyenv + pipenv を主に使ってきました。が、最近はpipenvは色々あって使いづらさを感じていました。 pipenv lockやpipenv syncが遅い (気がする) pipenv自体の更新が怪しかった (参考、今年に入って4月と6月にリリースされている模様) 乗り換える程の理由でもないのですが、代替となるツールは探しておかないとなあとふんわり思っていた頃、同僚がpoetryを使っていて良さそうでしたので、使い方をまとめながら紹介したいと思います。 poetry インストール プロジェクト作成 仮想環境の構築 仮想環境上での実行 パッケージのインストール まとめ poetry poetryは、主にパッケージ依存関係の解決・インストール・更新と仮想環境の構築を行ってくれるコマンドラインツールです。上の通りpipenvなどが競合す
DockerでPython-Seleniumスクレイピング環境を立てた - Qiita
はじめに メイン機以外で定期実行されるクローラを作りたいと思ったわけですが、その場合ローカル環境に全く依存しない形が取れれば最高だということで、Docker環境の構築に乗り出しました。 全体図 Python実行環境とSeleniumHQ/docker-seleniumはDocker Composeを利用して別のコンテナとして立てます。 そしてSeleniumHQ/docker-seleniumを通じてVNC接続することで、簡単にクローラの挙動をチェックできます。 ちなみに、SeleniumHQ/docker-seleniumがあれば、ChromeやChromeDriverのセットアップは不要です。 環境構築 Docker 最近はWindows10 Homeでも簡単にインストールできるようになったようです。 Dockerのインストーラの指示に従っていれば使える状態になります。 VSCode(
仕事でPythonコンテナをデプロイする人向けのDockerfile (1): オールマイティ編 | フューチャー技術ブログ
BusterとかStretchという名前が見慣れない方もいるかもしれませんが、これはLinuxディストリビューションとしてシェアの大きなDebianのコードネームです。 Debianバージョンが少し古いStretchの方がちょびっとサイズが小さかったりはしますが、まあ実用的にはサポートが長い方がいいですよね。slimを使ってGCCとかのコンパイラを自前でダウンロードしている記事とかもたまに見かける気がしますが、マルチステージビルドであれば、そんなにケチケチしなくていいのと、パッケージダウンロードは逐次処理なので遅く、処理系が入ったイメージのダウンロードの方が高速です。並列で処理されるし、一度イメージをダウンロードしてしまえば、なんどもビルドして試すときに効率が良いです。また、多くのケースでネイティブのライブラリも最初から入っており、ビルドでトラブルに遭遇することはかなり減るでしょう。 Py
mangum + FastAPI で ASGI な Python アプリケーションを AWS Lambda + API Gateway 上で動かす - らくがきちょう
mangum を使うと FastAPI や responder といった ASGI アプリケーションを AWS Lambda + API Gateway 上へ簡単にデプロイすることが出来ます。 今回は FastAPI で書いた ASGI アプリケーションを mangum を使って AWS 上でデプロイする手順をメモしておきます。 mangum init の注意点 最初に mangum init する ハンドラは app/asgi.py に定義する mangum のプロジェクト名は AWS ルールに準拠したものにする mangum cli には削除機能が無い プロジェクトディレクトリを作成する mangum-cli をインストールする AWS CLI をセットアップする AWS S3 上に Bucket を作成する デプロイ用の設定ファイルを作成する requirements.txt を修正
Serverless Framework+mangum+FastAPIで、より快適なPython API開発環境を作る - JX通信社エンジニアブログ
はじめに 最近ハイボールにハマっているSREのたっち(@TatchNicolas)です。 昨日オンライン開催されたJAWS DAYS 2020にて、JX通信社もサーバレスをテーマとして発表をしました。（by 植本さん） 発表でもありましたように、上記プロジェクトにおいて開発当時はスピードを優先してプロジェクトメンバーの手に馴染んでいて分担もしやすいフレームワークとしてFlaskを採用しました。 一方で、JX通信社としてはFlaskよりもFastAPIを使うプロジェクトが増えてきており、今後もその傾向は続く見込みです。 そこで、特設ページ作成やAPI提供など初動としての開発が一段落したのを機に、JAWS DAYSで発表した仕組みを今後のために発展させる検証をしたので紹介します。 TL; DR; JAWSでは Serverless Framework+awsgi+Flaskな構成でスピーディに
[Python] HTMLのエスケープライブラリ bleach を使ってみた
clean funciton基本的には bleach.clean 関数の第一引数に対象文字列を与えるとエスケープされた文字列が返却されるだけです。 >>> import bleach >>> text = 'a<div title="test" onclick="alert(0)" style="color:red;">b<script>alert(1)</script>c</div>d' >>> bleach.clean(text) 'a<div onclick="alert(0)" style="color:red;" title="test">b<script>alert(1)</script>c</div>d'
![[Python] HTMLのエスケープライブラリ bleach を使ってみた](https://cdn-ak-scissors.b.st-hatena.com/image/square/db125f1ff393117337f2ecbc80cf0fdd7dfa6f80/height=288;version=1;width=512/https%3A%2F%2Fnote.crohaco.net%2Fmedia%2Fpython.png)
[FastAPI] Python製のASGI Web フレームワーク FastAPIに入門する - Qiita
PythonのWeb frameworkで、Flaskのようなマイクロフレームワークにあたります。 パフォーマンスの高さ、書きやすさ、本番運用を強く意識した設計、モダンな機能などが強みです。 FastAPIはStarletteの肩に乗る形で書かれており、非同期処理が扱いやすいです。 特に、以下の様な特徴があります。 ASGI websocketのサポート GraphQLのサポート バックグラウンドプロセスが扱いやすい python type hintによる自動ドキュメント生成 (Swagger UI) pydanticをベースとしたdata validation 率直に言って、responderに非常に似ています。(でた時期も近いですし、responderもStarletteがベースなので) ですが、下の2つはFastAPIの方がよっぽど使いやすく設計されています。 以下の観点から総合的に
![[FastAPI] Python製のASGI Web フレームワーク FastAPIに入門する - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/d013e1977441113d06dd0aef1cf98cfbecd57336/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCRmFzdEFQSSU1RCUyMFB5dGhvbiVFOCVBMyVCRCVFMyU4MSVBRUFTR0klMjBXZWIlMjAlRTMlODMlOTUlRTMlODMlQUMlRTMlODMlQkMlRTMlODMlQTAlRTMlODMlQUYlRTMlODMlQkMlRTMlODIlQUYlMjBGYXN0QVBJJUUzJTgxJUFCJUU1JTg1JUE1JUU5JTk2JTgwJUUzJTgxJTk5JUUzJTgyJThCJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz0wYmM4MmFjM2VlNmE2NDMzZGU1ODlmOGE4NTA5OWZmNw%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBiZWUyJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz1lMjMzMGZlMmI0YWE0NGQyZDQ5YjRlZGQzNTFkMmU1Mw%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D9efbb9f717aa9ad6aad0e5ba4894ec3c)
Pythonのreduceと内包表記／ジェネレータ式を比較してみた | DevelopersIO
こんにちは。データアナリティクス事業本部の松村です。 シーケンス（シーケンス型でなく、要素の列という意味で使っています。以下も同様です。）に対する処理を行う高階関数の代表格であるmap、filter、reduce（言語によってはfoldという名前だったりします）ですが、Pythonでは内包表記やジェネレータ式を使って同等のことができます。 mapやfilterについては内包表記／ジェネレータ式との性能差を検証した記事がたくさん見つかりますが、reduceについて言及したものは見当たりません。というわけで比べてみました。 内包表記／ジェネレータ式でreduceする reduceと比較するにあたって、そもそも同等の処理をどうやって内包表記やジェネレータ式で書くのか、という疑問があるかもしれませんので、まずはそこから紹介します。 sumと組み合わせる reduceの使い方として一番多いのは、シー
Python Tips: Poetry の tips あれこれ
Python のパッケージ管理ツールの Poetry の tips です。 ライブラリ: Poetry Poetry はアプリケーション開発とパッケージ開発のどちらの用途にも利用できますが、私はアプリケーション開発でしか Poetry を使ったことがありません。そのため、以下にあげる tips はすべてアプリケーション開発に Poetry を利用するときの tips です。 本記事では Poetry のバージョン 1.0.0 を対象としています。 Poetry は仕様が比較的安定していますが、バージョンが上がると参考にならない場合もあるのでご注意ください。 目次 venv のファイルをプロジェクトディレクトリの下に置きたい venv を作らずグローバルにパッケージをインストールしたい アップデート可能なパッケージをチェックしたい Poetry 自体をアップデートしたい Docker コンテ
『Clean Architectures in Python』を写経しました（1st Edition, Part 2 - Chapter 2） - nikkie-ftnextの日記
はじめに 頑張れば、何かがあるって、信じてる。nikkieです。 新年明けましておめでとうございます🎍🐮 ブログの書き初めは、冬の休暇に手を動かした、PythonでClean Architecture本についてです。 この1年Clean Architectureについて学ぶ機会が多かったのですが、Pythonで独力で書ける気が全然しませんでした。 よく作りたいけどCAで具体的にどうすればいいか分からず結局いつもの作り方。。 そこでキャッチアップが重要と考えEuroPythonで知った https://t.co/8Fmen5sDOh を写経開始— nikkie (@ftnext) 2020年12月30日 目次 はじめに 目次 Clean Architectureと私 『Clean Architectures in Python』（1st edition） Part 2 - Chapter
もうPythonの細かい書き方で議論しない。blackで自動フォーマットしよう - Make組ブログ
「ここで改行するほうがキレイで良いと思います」 『いや、私はこちらのほうがキレイ良いと思います』 コードレビューでこういう議論をしたことはありませんか？ 大切なことだとは思いますが、生産性にはあまり直結しません。議論を避けるために書き方を決めるほうが良いでしょう （個々の問題について逐次議論するのがエネルギーを無駄にしてしまいます。一度決めて、再利用するようにしたいものです）。 今日はそのために使える black というツールを紹介します （「私はflake8を使ってるから結構です」と思われるかもしれませんが、少し違う話なので読んでみてください）。 blackを使おう Pythonのコードを自動でフォーマットしてくれる black を紹介します。 github.com blackはPythonのコードフォーマッターで、自動的にPythonプログラムの書き方を修正してくれます。 PEP8 と
Pythonの音楽情報処理ライブラリmusic21の紹介 - Qiita
始めに music21はMITが作ったpythonの音楽情報処理ライブラリです。 musicology(音響学・音楽理論)の研究への利用を目的に作られたそうで、 結構いろいろできるらしいので、勉強がてら触ってみました。 難しいアルゴリズム等の話はほとんどしないので、プログラマでない方も出力結果だけ見て「こんなことができるんだ」と思ってもらえるような記事になればいいな、と思っています。 ちなみに、21というのはMITでの音楽コースに割り当てられた講義番号に由来するそうです。留学したい。 基本的に公式のドキュメントを順に追ってくだけです。ここの内容を実行しながら感想を書く、という記事です。 環境 macOS(10.15.7) python3.8.5 jupyter-notebook Musescore version-3.4.2.25137 Musescoreというのはフリーの楽譜作成ソフトで
PythonでOpenCV基礎と衛星データ解析を学べる無料講座が公開 | Ledge.ai
サインインした状態で「いいね」を押すと、マイページの 「いいね履歴」に一覧として保存されていくので、 再度読みたくなった時や、あとでじっくり読みたいときに便利です。
今から始める型安全 Python / Start Python Type Hints
#stapy https://speakerdeck.com/yamitzky/mastering-type-safety-in-python-3-dot-9-era の内容を加筆して削ったものです
Python と Playwright でブラウザを自動操作させるコードを自動生成したよ - Qiita
Playwright が昨年１年間で大幅パワーアップしていたので、使い方を確認したときの記録のまとめです。 ブラウザを自動操作できるということは、簡単なスクレイピングやブラウザ側のテスト自動化が簡単にできるようになります。 特に、Python での解説がまだまだ少なかったので、自分の学習を含めてまとめました。 今回は入門編ということで全体像をつかみつつ使用方法の流れを確認していただければありがたいです。 Selenium や Puppeteer を使っている方も、一度試す価値ありと思っています。 選定した理由 ブラウザのテストを Python で自動化したかったんです。 私なりの要件がありまして、非常にわがままな要件でしたが余裕ですべてクリアしました。 Python で書けること。社内で Python を使える方が多いので。pytest と連携してくれるとなおうれしい。 Docker コン
Python: contextlib.contextmanager を使うときの注意点 - CUBE SUGAR CONTAINER
Python には with 文というシンタックスがあって、これを使うと前処理と後処理が書きやすくなっている。 その際、with 文にはコンテキストマネージャという種類のオブジェクトを渡すことが取り決めになっている。 そのコンテキストマネージャは標準ライブラリの contextlib.contextmanager を使うと楽に作ることができる。 しかし、それを使うにはちょっとした注意点があるというのが今回の本題になる。 コンテキストマネージャのおさらい まずはコンテキストマネージャとは何か、というおさらいから。 コンテキストマネージャは、__enter__() と __exit__() というふたつの特殊メソッドを実装したクラス (またはそのインスタンス) を指している。 以下は最も単純と思われるコンテキストマネージャを実装したサンプルコード。 MyManager クラスがコンテキストマネ
Pythonのコンテキストマネージャってなんなの？と思って調べた話 - matobaの備忘録
Pythonのコンテキストマネージャって何？って言われると、「withを使ってるあれ」みたいな答え方はできるんですが、以下のような質問は答えられませんでした。というわけで、調べたことでも書きます。 コンテキストマネージャって、なんのためにあるの？ コンテキストマネージャって、どうやって実装するの？ コンテキストマネージャって、何が必要なの？ コンテキストマネージャって何？ 公式ドキュメントを見ると以下のように書いています。 3. データモデル — Python 3.6.5 ドキュメント コンテキストマネージャ(context manager) とは、 with 文の実行時にランタイムコンテキストを定義するオブジェクトです。 なるほど、よくわかりません。with 文の実行時にランタイムコンテキストってなんなの？と思います。 with文ってそもそも何？ with文についてもう少し調べます。 公
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Get the first item from an iterable that matches a condition
GitHub - microsoft/playwright-python: Python version of the Playwright testing and automation library.
さよならFlask ようこそFastAPI / goodbye Flask, welcome FastAPI
