Poetryを使ったPythonのモノレポ構成
テラーノベルで機械学習を中心に担当している川尻です。 最近新たにPythonのプロジェクトを立ち上げるときにモノレポ構成にしました。Pythonにはまだデファクトとなるようなモノレポのツールはないですが、poetryだけで新しいツールを使わずに対応できたのでご紹介します。 モノリポにするメリットは、大まかには以下のようになります。 Linter, CI, IDEなどのよく使うツールの設定が簡単に共通化できる。 モジュール間の依存関係をシンプルにできる。 Pythonでモノレポをやっている例を検索すると、pantsやbazelなど多言語に対応した専用のツールを使う方法もでてきました。今回は言語はPythonだけでよく、新しい書き方を覚えるのも大変なのでpoetryだけてやる方法としました。 参考に以下のリポジトリにコードを上げました。 ファイル構成 大まかなファイル構成は以下のようになります
【業務効率化】ファイルorフォルダの更新を監視するプログラム - Qiita
目次 背景 目的 内容 所感 背景 仕事をしていると、共通ファイルサーバにあるファイルが更新されたらすぐに知りたいと思う場面が多々ありました。毎回フォルダにアクセスして更新されているかを確認するのは面倒であり、ファイルが更新されたら誰かがお知らせしてくれれば便利だなぁと思っていました。 目的 フォルダにあるファイルが更新されたら、通知されるプログラムを作成すること。 内容 コードのコンセプト プログラムの流れを考えます。 まず、ファイルを監視するのか、フォルダを監視するのかを場合分けする必要があります。ファイルとフォルダの場合についてそれぞれについて深掘りしていきます。 【ファイルの場合】 プログラムを実行した際のファイルの更新日を記録する 更新日を定期的に取得する その2つの日付を比較して異なれば通知する 【フォルダの場合】 [ファイルの個数を監視] プログラムを実行した際のファイルの数
mambaやripのinstallが何故早いのか調べたメモ - Stimulator
- はじめに - 最近、PythonのパッケージインストーラーであるpipをRustで書き直したripというツールが公開された。 github.com ripのREADME.mdには、flaskを題材に依存解決とインストールが1秒で終わるようなgifが貼られている。 この速さは一体どこから来ているのか調べた。 - はじめに - - 宣伝 - - ripの成り立ち - Anaconda mamba-org prefix.dev - condaがinstallで行うこと - - mambaでの速度改善 - - ripに応用されたこと - - おわりに - - 宣伝 - 来週開催の技術書典15で「エムスリーテックブック５」が出ます。 私の内容は「自作Python Package Manager入門」で、CLIツールの作り方から始まって40ページでPyPIの仕様やその背景となっている要素を把握しな
【python】型アノテーションは必要か
型アノテーションは必要なんですか？ そんな疑問について考える記事でございます。 型アノテーションとは 型アノテーションとは、変数、関数の引数、戻り値に期待されるデータの型を明示するための構文です。Pythonにおける型アノテーションは、コードの可読性を向上させ、開発者が関数やメソッドを使う際の意図を明確にするのに役立ちます。また、静的型チェッカーを使うことで、実行前に型の不一致によるエラーを検出できるため、バグを減らし開発の効率化に寄与します。 例えば、以下の関数では： name引数はstr型（文字列）であるべきで、戻り値もstr型であることが期待されます。これにより、greet関数がどのように使用されるべきかが明確になります。 型アノテーションの必要性についての会話 型アノテーション必要派のAさんと、懐疑派のBさんの会話形式で考えてみます。 A: 型アノテーションを使うべきだよ。それによ
Python3.12で新たにサポートされたsub-interpretersの紹介 | gihyo.jp
門脇（@satoru_kadowaki）です。11月の「Python Monthly Topics」は、Python 3.12の新機能であるsub-interpretersについて紹介します。 2023年10月2日に「 Python 3.12.0 」がリリースされました。今回も気になる新機能が多く、本記事で紹介するsub-interpretersもPythonで並列処理を行うための新機能です。 Python 3.12の新機能については以下のリンクを参照してください。 What’s New In Python 3.12 -Python 3.12.0 Documentation 本記事ではPythonにおける並列実行のこれまでと、sub-interpretersが現状どのように使用できるかについて説明します。 なお、執筆にあたり先日開催されたPyCon APAC 2023において、sub-in
「ChatGPT/LangChainによるチャットシステム構築 」という書籍が素晴らしかったのでNode.jsでも書いてみた - selmertsxの素振り日記
はじめに 「ChatGPT/LangChainによるチャットシステム構築」 という本が素晴らしかったので、ちゃんと身につけるために Python だけじゃなくて Node.js でも動かしてみました。同じことをやろうとした人のために、ここにそのときの記録を残します。特に callbacksやmemoryについて、詳細に記載しようと思います。 書籍の説明につながるようなことはできる限り書きません！めっちゃ良書なので、ご興味持っていただけた方は購入してもらえますと 🙏 5章まではPython固有のToolを利用しており、6章の中身は7章とかなり近いところがあるので、7章のプログラムだけここに記載します。LangChainの学習に注力したいので、Serverelss Frameworkに関連するコードは省略しました。また、Momentoや @slack/bolt に関する説明はしません。 プロ
LINQ -> Python チートシート
C# Advent Calendar 2023の16日目の記事です。が主題はPython！ 「C#のLINQのアレは、Pythonではどう書くんだっけ？」という際の自分用メモです。 想定読者 LINQは空気のように慣れ親しんでいる Pythonは月並みに書けはする 時代はPythonですからね[1]。うまく付き合わないといけません。C#が母語という人がPythonを書くシーンを想定しています。 環境 .NET 8 / C# 12 Python 3.12.0 Pythonについてはできるだけ第三者のライブラリを使わなくて済む方法という前提にします。itertoolsなど標準添付のモジュールはもちろん多用します。シンプルな答えが無いものはmore-itertoolsの例も示しています。 LINQの多様なメソッド・オーバーロードすべてをカバーできてはいませんので悪しからず。また入力が空・ソートが
FastAPIのLambdaからAWS外のサービスでキャッシュとDB構築！ + Github Actions - Qiita
概要 FastAPI、Pythonに詳しい方はご存じの方も多いかもしれません。 AWSのLambda関数と組み合わせるとどんな感じになるんだろう？と思って触り始めました。 色々学べたので、この機会に記事にしました！ こういったアーキテクチャが実現できるかな？という部分に焦点をおいています。また、可能な範囲でコストも抑える方針で進めました！ 主な目次 パート1：アプリケーション作成 インフラ構築（CDK Typescript） Lambda関数（FastAPIのアプリケーション）の作成 DBやcacheの構築の前に supabaseによるDB構築 upstashによるcache構築 パート2：GitHub Actionsと各ツールの利用 GitHub Actionsのworkflowは作ったが・・・ Ruffの利用（Linterツール） actの利用（ローカルでGitHub Actions）
PythonのData Appsフレームワーク Streamlit, Dash, Panel を比較(With ChatGPT) - Qiita
記事のモチベーション 今回の記事を各モチベーションは、最近Techplayさんにて出版記念セミナーを開催させていただいた際に、Panelの紹介をしていると、「以前Dashを使われていませんでしたっけ？」というような質問をいただきました。 Dashに関しては、「Pythonインタラクティブ・データビジュアライゼーション入門（朝倉書店 2019/12）」で執筆し、Panelに関しては「Pythonデータ分析ハンズオンセミナー（日経BP 2023/8）」でとりあげました。Streamlitは残念ながら執筆機会はないのですが、会社の製品のプロトタイプを作って公開してみたりしています。 なので、その辺りのツールの使い分けが紹介できると良いと思ったのがモチベーションです。 そんなモチベーションの中、執筆用に調査していると、Streamlitのサイトに面白いブログがあったので、生成AIにアプリケーション
pytest で E2E テスト
pytest で E2E テストが本当に便利です。 実際どう使っているかを紹介しておきます。 なぜ Python でテストなのか 自分が Python に慣れている 自分にとって pytest を超えるテストランナーが今のところない SpaceX がテストを Python で書いてて、じゃぁ Python でいいかとなった https://old.reddit.com/r/spacex/comments/gxb7j1/we_are_the_spacex_software_team_ask_us_anything/ft0bz35/ We use C & C++ for flight software, HTML, JavaScript & CSS for displays and python for testing. Rye のおかげで Python の環境構築が苦にならなくなった htt
【型好きなあなたへ】Python-Type-Challengesのすゝめ
はじめに 先日、こんな素敵な記事を目にしました さすがTypeScriptさん。型定義の自由度が非常に高く、色んな表現が出来ます。 この問題一通りやれば、TypeScriptの型定義もマスター出来るんですかね。 ところで、実は型なし言語のPythonにも型定義が存在します。 TypeScriptやJavaのように、コンパイルエラーを発生させるような強制力はないのですが、VSCodeを始めとしたエディタと協力することで、十分素敵な開発体験を送れます。 def foo(x: int): pass # VSCodeの拡張機能Pylanceを使用した場合、以下コードで赤波線が引かれます foo("1") ちなみに、mypyというライブラリを使用すれば、コマンドライン上で型チェックを実現することが出来ますので、皆様のCI環境に組み込むことで、型付言語とほとんど同様の強制力をもたせることができます さ
【コード付き】放物形の偏微分方程式の数値解法【Python】 - LabCode
本記事では、放物形偏微分方程式の数値解法について、分かりやすい具体例とともに掘り下げていきます。Pythonを活用したアプローチ方法を学びます。 本記事を通して偏微分方程式の数値解法の1つを会得しましょう！ 注） 差分法の一部の話だけにとどめています。誤差や境界条件などの詳細な議論は冗長化を避けるためにご紹介していません。 偏微分方程式の数値解法とは 偏微分方程式の数値解法は、偏微分方程式（PDE: Partial Differential Equations）の解を近似的に求めるための手法のことを指します。これらの方程式は、多くの場合、解析的な解が見つけられないため、数値的な手法が必要となります。以下に、主な数値解法をいくつか紹介します。 有限差分法（Finite Difference Method）: 空間や時間を離散的なグリッドに分割し、微分を差分に置き換えることにより近似します。こ
シェルスクリプトとの対比で理解するPythonのsubprocess - 朝日ネット 技術者ブログ
はじめに 開発部の ikasat です。 皆さんは git, ssh, rsync のような外部コマンドを呼び出すスクリプトを書きたくなったことはありますか？ 個人的にこの類のスクリプトは最初はシェルスクリプトとして書くのですが、改修を重ねるうちに肥大化して処理も複雑になり、 後から Python のような汎用プログラミング言語で書き直すことがよくあります。 外部コマンド呼び出しを書き直す際に、Git 操作のために pygit2、 SSH 接続のために paramiko のようなライブラリをわざわざ使うのは大がかりだったり、 rsync に相当するようなこなれたライブラリが存在しなかったりする場合があります。 そのような時は標準ライブラリの subprocess モジュールを利用し、Python から外部コマンドを呼び出すことになるでしょう。 しかしながら、Python のチュートリアルペ
主にVSCodeではじめるPython開発環境構築ガイド | DevelopersIO
ファイル比較 VSCodeのエクスプローラで、ファイル２つを選択して右クリックメニューから「選択項目を比較」で比較することができます。 また右クリックで、「比較対象の選択」をした後に「選択項目を比較」でも比較することも可能です。 VSCodeのSnippetの使い方 VSCodeのSnippetも便利です。似たような構造のクラスを実装する場合などや、プロジェクト共通で使いがちな書き方というものをSnippetに登録して、効率化することができます。 また、変数を持たせておくこともできます。この場合、Snippetを呼び出した後に変数部分にカーソルがあたるので、そこで変数部分をタイピングできます。 詳細は以下のリンクをご覧ください。 Visual Studio Codeに定型文（スニペット）を登録する方法 VSCodeのUser Snippetを活用しよう！ また後述するSnippet Gen
Writing a C compiler in 500 lines of Python
A few months ago, I set myself the challenge of writing a C compiler in 500 lines of Python1, after writing my SDF donut post. How hard could it be? The answer was, pretty hard, even when dropping quite a few features. But it was also pretty interesting, and the result is surprisingly functional and not too hard to understand! There's too much code for me to comprehensively cover in a single blog
【Python】ChatGPT効率化の為に非同期処理を実装｜Clirea
非同期処理は、データ解析、APIリクエスト、ベクター化など多様なタスクにおいてパフォーマンスを向上させる鍵となる技術です。特に、待ち時間が発生しやすい多数のリクエストや処理を一度に効率よく処理したい場合、この技術は不可欠です。 非同期処理と並列処理の違い非同期処理と並列処理は、よく一緒に取り上げられることが多いですが、実はそれぞれ異なる目的と特性を持っています。 非同期処理非同期処理は、I/O待ち（ディスクへの読み書きやネットワーク通信など）といった待機時間を有効に使いながら、他のタスクを進める技術です。この方法で、全体のプログラムがスムーズに動作します。 並列処理一方で、並列処理は複数の処理を物理的に同時に行う技術です。簡単な例でいえば動画です。動画の再生と音声の再生を遅延が無いよう同時に行っています。 並列処理により、大量のデータ処理や高度な計算を高速に行えます。 まとめ簡単に言えば、
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
使いこなせていますか？Python 組み込み関数全71件 完全解説[2023 最新版] - Qiita![使いこなせていますか？Python 組み込み関数全71件 完全解説[2023 最新版] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/66c895781f1ef5cd10473b6c1abdb0245706c29d/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Fadvent-calendar-ogp-background-7940cd1c8db80a7ec40711d90f43539e.jpg%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JUU0JUJEJUJGJUUzJTgxJTg0JUUzJTgxJTkzJUUzJTgxJUFBJUUzJTgxJTlCJUUzJTgxJUE2JUUzJTgxJTg0JUUzJTgxJUJFJUUzJTgxJTk5JUUzJTgxJThCJUVGJUJDJTlGUHl0aG9uJTIwJUU3JUI1JTg0JUUzJTgxJUJGJUU4JUJFJUJDJUUzJTgxJUJGJUU5JTk2JUEyJUU2JTk1JUIwJUU1JTg1JUE4NzElRTQlQkIlQjYlMjAlRTUlQUUlOEMlRTUlODUlQTglRTglQTclQTMlRTglQUElQUMlNUIyMDIzJTIwJUU2JTlDJTgwJUU2JTk2JUIwJUU3JTg5JTg4JTVEJnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMzQTNDM0MmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmcz1lMjE5YWZlMWUzM2IwMmZkZTc5YTI2MDU3NDVlNWFhZQ%26mark-x%3D120%26mark-y%3D96%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9OTcyJnR4dD0lNDB0X2FraSZ0eHQtY29sb3I9JTIzM0EzQzNDJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9Nzk1Zjc5ZDliZWJjMGEyMTgyMDRiOWFjNWUyZjYzN2I%26blend-x%3D120%26blend-y%3D445%26blend-mode%3Dnormal%26txt64%3DaW4g5qCq5byP5Lya56S-TnVjbw%26txt-width%3D972%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%25233A3C3C%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D36%26txt-x%3D134%26txt-y%3D546%26s%3D192d41034fbbac3a26dc4c794f60e67b)
Python の Code Golf テクニック紹介 〜 Python のコードをできるだけ短く書いてみよう！ 〜 - Qiita
本当に最低限だけ覚えて一瞬で使い始めるPolars入門 - Qiita
知っていますか？Pandasをノーコーディングで高速化（CPU環境でも）できるらしい… FireDucks🔥🐦 - Qiita
