Python + VSCode の環境構築 20240604
作業メモ。モダン Python 速習。 AI 周りのツールを動かしていたら TypeScript だけでやるには無理が出てきたので、久しぶりに Python の環境構築をする。 具体的には TestGen LLM を動かしたい。 Python はたまに触るけど、基本 2.x 時代の知識しかない。 基本的にこの記事を読みながら、細かいアレンジをしている。 基本方針: Rye に全部任せる 良く出来てると噂に聞いたので、 rye に任せる。 自分が Python が苦手な点は pip を下手に使うと環境が汚れていく点で、基本的に rye で閉じて管理させる。システムの Python には指一本触れさせない。 Mac とWindows (WSL) で同じものをセットアップしたが、とくに環境差分はなかった。 プロジェクトのセットアップ rye init でプロジェクトを作って、そこで作業をする。
pyenvを初心者に薦めるのはもうやめよう - methaneのブログ
Pythonのパッケージ・プロジェクト管理ツールはまだ乱立状態にあって、どれを使えばいいのかわからないから慣れたpyenv+pipを使おうという判断をする人がいるかもしれない。その判断自体は別に否定しないけれども、初心者に教える時にpyenvを教えるのはもうそろそろやめてほしい。 Pythonをソースからビルドするので、コンパイラや依存ライブラリを事前に揃えないといけない。依存ライブラリが足りないと中途半端なPython環境もできうる。 デフォルトで最適化オプション(PGO+LTO)が付いてないので、最適化ビルドしたPythonより~5%程度遅い Windowsで使えない Rye, pdm, Hatch などは python-build-standalone と呼ばれるビルド済みPythonをインストールする機能があるので、これらの欠点が存在しない。 Pythonをインストールするところま
PythonでWebアプリ作れるやつのまとめ(11選)
概要 最近、pythonでUI部分も含めたWebアプリ作成ツールがいろいろ出てきているので、知っている限りでまとめてみようと思います。 (solara追加(2023/5/15), reactpy追加(2023/11/6), taipy追加(2023/12/2), fastui追加(2023/12/11)) FastUI Taipy ReactPy Solara Reflex Flet Streamlit Dash Panel NiceGUI Gradio 各ツールの紹介 FastUI FastAPIのエンドポイントを定義する関数内にUIを定義する感じで書く Taipy 書き方としてはマークダウンっぽいテンプレート用いてUIを作成する感じ DAGツールを簡単に作れるScenarioという機能がある ReactPy その名の通りReactをPythonに移植したような感じのフレームワーク サー
PythonだけでWebアプリが作れるライブラリが増えている（2024.05） - Qiita
※本記事で言及しているReflexのdiscord内に日本語チャンネルをつくってもらいました。もし、興味をもった人がいたら参加してみてください。 １．PythonだけでWebアプリをつくるライブラリが増えている 最近（2024.05）、Python界隈ではPythonだけでWebアプリが作れるライブラリが増えています。詳しくは他の記事を参照してもらえればと思います。 以下の記事がとても参考になりました。ありがとうございます。 ２．ライブラリの分類 こうしたライブラリも大きくわけて２つの種類があるように思います。 ①データ解析の結果を表示するダッシュボードライブラリ ②汎用的なWebアプリをつくるローコードライブラリ ①ダッシュボード系ライブラリ たとえば、上記の記事にも出てきますし、ネットでもかなり情報の多い、StreamlitやDashは項番1のダッシュボードライブラリに該当すると思いま
Python 3.12で増えた並列処理と、これまでの並列処理の挙動を比べてみる - Qiita
この記事ですることを3行で Pythonの標準ライブラリでできる並列実行を、あらためて総当たりで速度比較しよう ウォーターフォールチャートで、それぞれの並列処理の処理時間の特徴を可視化しよう boto3の実行をモデルケースにして、どの並列処理が一番早いのかを調べよう この記事の結論を先に Python 3.12から本格的に使えるようになったサブインタープリターは、CPUで実行する処理について言えば、従来のサブプロセスよりも高速 boto3の実行は、サブインタープリターよりも署名付きURLの非同期実行のほうが速い → S3からの10ファイルの取得であれば、実行時間を90%削減できます → Bedrockの3回実行であれば、実行時間を60%削減できます 今回使ったソースコードはこちらに置いています。 お手持ちの環境で再実行できるようにしていますので、気になる方はぜひ。 どうしてこの記事を書くの
社内向けStreamlitのデプロイの現実解
結論 社内データを扱うアプリケーションを安全にデプロイするならCloudflare Tunnel,Cloudflare Accessを使う。要件次第ではStreamlit in Snowflakeも使える。 はじめに Streamlitはデータアプリケーションを短時間で作成できる便利なツールですが、社内データを扱うアプリケーションをデプロイする際は外部からの不正アクセスを防ぐように厳重な注意が必要です。 にもかかわらず、Streamlitを安全にデプロイする成熟した方法はまだありません。 本記事では、最も単純なStreamlitのデプロイ構成の例から問題点を再確認し、それらを解決する方法を順に説明します。ただし、本記事で紹介する構成を使うにはドメインのネームサーバーがCloudflareである必要があることに注意してください。 単純な構成はどう危険なのか？ まずは非常に単純なStreaml
データ分析のためのSQLを書けるようになるために
はじめに 本稿では分析用クエリをスラスラ書けるようになるまでの勉強方法や書き方のコツをまとめてみました。具体的には、自分がクエリを書けるようになるまでに利用した教材と、普段クエリを書く際に意識していることを言語化しています。 想定読者として、SQLをガンガン書く予定の新卒のデータアナリスト/データサイエンティストを想定しています。 勉強方法 基礎の基礎をサッと座学で勉強してから、実践教材で実際にクエリを書くのが望ましいです。 実務で使える分析クエリを書けるようになるためには、実務経験を積むのが一番良いですが、だからといって座学を御座なりにして良いというわけではありません。SQLに自信がない人は、一度基礎に立ち返って文法の理解度を確認した方が良いと思います。 書籍 SQL 第2版: ゼロからはじめるデータベース操作 前提として、SQLに関する書籍の多くがデータベース運用/構築に関する書籍がほ
pathlibをもっと使おう - The jonki
皆さんはPythonのpathlib使ってますか？私は非常によく使っています．例えば機械学習では学習の前に前処理を多く行うケースが非常に多いですが，このようなに知っておくと便利です．pathlibは意外とPython 3.4（2014年～）からとそれなりに新しいため，古くからのPythonユーザーは os.pathの方をよく使っているかもしれません．ただpathlibは文字列ではなくPathクラスとして扱ってくれることで，例えばLinux/Windowsのパス表記の違いを吸収してくれたりします． pathlibとos.pathの比較は公式のpathlibドキュメントに譲るとして，私がよく使うpathlibのクラスを紹介します．また今回改めてドキュメントを眺めて知った便利関数も多いので，公式ドキュメントに目を通すのもオススメします． 今回は下記のような複数の素性の異なるデータセットに対して処
Pythonの構造的パターンマッチングのさらに便利なパターン紹介 | gihyo.jp
鈴木たかのり（@takanory）です。今月の「Python Monthly Topics」では、第1回で紹介したPython 3.10の新機能「構造的パターンマッチング（Structural Pattern Matching）」の続きをお届けします。 前回は構造的パターンマッチング全体の説明、いくつかのパターンをコード例を交えて紹介しました。今回はその続きとして、前回紹介できなかった他のパターンについても紹介します。 Python 3.10の新機能：構造化パターンマッチング | gihyo.jp 構造的パターンマッチングとは 前回の繰り返しになりますが、この記事で初めて構造的パターンマッチングを知った人に向けて、簡単に紹介します。詳細は上記の記事を参照してください。 構造的パターンマッチングはPython 3.10で新しく導入された文法です。Python 3.10は2021年10月に
Python 3.8以降の型ヒント革命：DataclassとPydanticの徹底比較
はじめに 📘 この記事は ラクスパートナーズ Advent Calendar 2023 の1日目の記事になります！！ 本社の ラクス Advent Calendar 2023 の7日目にも参加予定なのでそちらもよろしくお願い致します🥳 長い間 Python3.7 環境のプロジェクトに携わっていましたが、この度 Python3.10~ 環境のプロジェクトに携わることになりました。 そこでこの機会に python3.8 以降の最新の型ヒントやコード品質向上のテクニックについて、改めて情報をキャッチアップしながらまとめていきたいと思います。 この記事の対象者 🎯 Python の型ヒントについて学び直したい方 Python3.8 以降の型ヒントについて理解を深めたい方 python のドメインモデルクラスについて理解を深めたい方 型ヒントを使用したことがないが、興味がある方 なぜ型ヒントを
【Python】プログラムでフーリエ変換を理解しよう！【FFT, 標本化定理, ナイキスト周波数】 | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]
こんにちは。早く業務に慣れたい開発チーム入社１年目の髙垣です。 急ですが皆さん。ふと、音をフーリエ変換したい時ってありませんか？ ありますよね。 でも、「フーリエ変換って学校で計算式で習ったけど、結局は何をしているんだ？」となることありませんか？ そこで今回は計算式なんてほっといて、Pythonを使ってフーリエ変換が何をやっているのか体験してみましょう！ 環境構築 下記リポジトリをクローンしてください https://github.com/takaT6/fft-tutorial クローンができたら下記のライブラリをインストールしてください↓ pip install numpy matplotlib japanize_matplotlib japanize_matplotlib はmatplotlibに日本語を書き込めるようにするライブラリです。 日本語化をするにはフォントを入れたり、設定フ
![【Python】プログラムでフーリエ変換を理解しよう！【FFT, 標本化定理, ナイキスト周波数】 | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/62c624e35ea268ce332a1d128f27738a882d3e03/height=288;version=1;width=512/https%3A%2F%2Ftechblog.raccoon.ne.jp%2Fwp-content%2Fuploads%2F2023%2F11%2Fman-5572871_1280.jpg)
今日から使えるgokart小技集 - エムスリーテックブログ
こんにちは！ エムスリーエンジニアリンググループ AI・機械学習チームの氏家です。 AI・機械学習チームでは多くのMLプロダクトを開発・運用していますが、そのうちのほとんどがgokartという機械学習向けパイプラインライブラリを使って実装されています。 gokartはとてもMLプロダクトの開発に便利な反面、gokartを100%活用する方法が確立、普及しているとはいえません。 そこで、本記事では、実際にエムスリーで活用しているTipsなどを紹介していこうと思います。 これを機にどんどんgokartの知見がネット上に溢れるようになっていければ嬉しいです。 なお、本記事は「gokartで爆速開発！MLOps勉強会」の発表をもとに加筆したものとなります。 www.m3tech.blog 発表資料も公開していますのでそちらもご参照ください。 speakerdeck.com gokart Param
Titanicで学ぶ、実務で使えるgokartの書き方 - エムスリーテックブログ
こんにちは。エムスリーエンジニアリンググループ AI・機械学習チームで機械学習エンジニアをしている農見(@rookzeno) です。最近はgokartを使ったパイプライン開発に勤しんでます。 皆さんはgokartというものをご存知でしょうか。この記事を開く人は知ってそうですが、gokartとはエムスリーがメンテナンスしている機械学習パイプラインOSSです。もしgokartのことを知らなかった人が居たらこのgokartの記事を読んでください。 エムスリー内ではこれを全面的に利用して開発を行なっていますが、その知見は社内に閉じてるものも多いです。そこでエムスリー内でどんな感じでgokartを使ってるかというのをTitanicデータセットを利用して説明していこうと思います。 今回使用したコードはこちら github.com はじめに 全体pipelineの作成 1. データのダウンロード 2.
Python: Luigi のパラメータ爆発問題について - CUBE SUGAR CONTAINER
Luigi は、Python を使って実装された、バッチ処理のパイプラインを扱うためのフレームワーク。 Luigi でパイプラインを定義するときは、基本的には個別のタスクを依存関係でつないでいくことになる。 このとき、扱う処理によってはパイプラインは長大になると共に扱うパラメータの数も増える。 そうすると、依存関係で上流にあるタスクに対して、どのようにパラメータを渡すか、という問題が生じる。 この問題は、公式のドキュメントではパラメータ爆発 (parameter explosion) と表現されている。 luigi.readthedocs.io 今回は、このパラメータ爆発問題を解決する方法について。 なお、基本的には上記のドキュメントに解決方法が書いてあるので、そちらを読むでも良い。 使った環境は次のとおり。 $ sw_vers ProductName: Mac OS X ProductV
Pythonで自分だけのクソライブラリを作る方法
Pythonでライブラリを作る この記事は、Pythonの基礎が分かり、pipでライブラリをインストールしたことあるくらいのレベルの人を想定しています。初心者向けの記事です。 前提知識として、Pythonのライブラリ・パッケージ・モジュール・クラス・関数の定義や違いに関しては、以下記事あたりを参考にしてください。 この記事では、Pythonで自作ライブラリを作ります。pip install hogehogeでインストールできるあれですね。 初心者の方（何を隠そう私も初心者です）だとpip installでインストールできるライブラリって、GoogleとかFacebookのような選ばれたエリート組織だけが作れるものと思っていませんか？私もつい最近までそう思っていました。実はあれ、個人でも簡単に作れてしまいます。 pip install hogehogeで、世界中の誰でもインストールできるライ
Open Interpreter - 自然言語でコーディングを実現するオープンソースツール｜masia02 (CipherWeb,LLC.)
Open Interpreterは、自然言語でプログラミングができるようになる、興味深いオープンソースツールです。機能呼び出し型の大規模言語モデルを利用して、Python、JavaScript、Bashなどのコードをローカルで実行できるのが大きな特徴です。インストールと利用は簡単で、コーディング作業の効率化を図れそうなツールです。 Open InterpreterとはOpen Interpreterは、GPT-3.5やGPT-4またはCode Llamaなどの大規模言語モデルを利用して、自然言語でのコード実行を可能にするオープンソースのツールです。 コマンドラインインターフェース上で言語モデルと対話することで、PythonやJavaScriptなどのコードをローカルマシン上で実行できます。複雑なロジックのコーディングもステップごとに指示できるので、開発効率の大幅な向上が期待できます。 公式
OpenInterpreter / ついにAIがガチのアシスタントに!これは凄い、というか凄すぎる｜shi3z
凄いものが出てきてしまった。 ChatGPTの「Code Interpreter」が話題になったが、あれはあくまでクラウド上で動いているだけ。それを模してローカルで動作するようになった「Open Interpreter」は、衝撃的な成果である。 Open Interpreterのインストールは簡単。コマンド一発だ $ pip install open-interpreter起動も簡単 $ interpreter -yこれだけでOK。 あとはなんでもやってくれる。 たとえばどんなことができるのかというと、「AppleとMetaの株価の推移をグラフ化してくれ」と言うとネットから自動的に情報をとってきてPythonコード書いてグラフをプロットしてくれる。 凄いのは、ローカルで動くのでたとえばApplescriptを使ってmacOSで動いているアプリを直接起動したり操作したりできる。「Keynot
【Streamlitよりいいかも？】機械学習系のデモアプリ作成に最適！Gradio解説 - 学習する天然ニューラルネット
はじめに Streamlit vs Gradio Gradioの設計思想 Interface 入出力に応じたUI Interface String Shortcut 入力データのサンプルのセット ドキュメンテーション テーマの変更 タイムアウトへの対処 中級者への第一歩、デモを作る際に知っておきたい処理 Gradioが担当する前処理について プログレスバー もろもろの出力結果を保存するには？ 認証認可（というか認可） その他、解説しないが需要の有りそうなもの まとめ 追記 : 動画になりました。 はじめに 機械学習系のデモアプリを作成することがしばしばありStreamlitを使用していたが、パラメーターなどをいじるたびに処理が最初から走るなどといった挙動に悩まされていた。 同僚がGradioというのを使っていたのでサーベイがてらメモしていたらブログが出来上がってしまった。 本ブログでは、G
API自動テストツールTavernにおけるリクエストパラメータの動的生成｜SHIFT Group 技術ブログ
こんにちは。SHIFTのテスト自動化エンジニアの松岡です。 Tavernは、yamlに期待値を記載するだけで、APIのレスポンスJSONのアサーションを行うことができるテストツールです。 以前の記事ではレスポンスに対するアサーションのカスタマイズ方法をご紹介致しました。 今回は試験対象APIを呼び出す前に、リクエストを動的に生成する(実行時ごとに設定する)方法をご紹介致します。 ここでは外部関数をpythonで定義して、リクエストパラメータ（年月）を実行時ごとに生成する実装を行っていきたいと思います。 ◆ディレクトリ構成※以前の記事でも紹介しましたが、繰り返します。 testFolder ├ helper │ └ testing_utils.py …… 外部関数を記述するpythonです └ test ├ __init__.py …… yamlからpythonを呼ぶために必要なファイル。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Visual Studio Codeに新しいPython拡張機能が仲間入り、Python 3.7対応の廃止は9月／言語サーバー「Pylance」ではローカライズも
