Pythonのパフォーマンス最適化Tips 必須知識 - Qiita
Pythonコードのパフォーマンス最適化の総合ガイド Pythonは動的型付けのインタープリタ言語として、Cのような静的型付けのコンパイル言語と比較すると、実行速度が遅い場合があります。しかし、特定の技術と戦略を通じて、Pythonコードのパフォーマンスを大幅に向上させることができます。 この記事では、Pythonコードを最適化して、より高速かつ効率的に実行させる方法を探ります。Pythonのtimeitモジュールを利用して、コードの実行時間を正確に測定します。 注意: デフォルトでは、timeitモジュールはコードの実行を100万回繰り返して、測定結果の精度と安定性を確保します。 def print_hi(name): print(f'Hi, {name}') if __name__ == '__main__': # print_hi('leapcell')メソッドを実行する t = t
Pythonチョットデキルになるためのテクニック集
Pythonは比較的自由な文法で記述できる言語で、様々な分野で利用されています。 一方で、その自由さ故、どうやって書くのが良いか分かりにくい側面もあります。そこで、本記事では、Python使いに布教したいテクニックをまとめてみました。 TLDR; Pydantic ClassをModelとしてImmutableに運用しつつ、Controller, Service, etc にTyping.Protocol使うとだいぶ体験が良い。 開発環境は、uvとTaskfileの組み合わせがおすすめ。 リポジトリ 参照しやすいように、GitHubで動くfizzbuzzのコードを用意しました。必要に応じて、ご利用ください。 環境構築 Pythonでは、メジャーな環境構築方法がいくつかあります。 virtual env Docker (この後に登場するツールとの併用を含む) PyEnv + Poetry u
【Python】import system の全体像
概要 Python の import 文は、プログラムの実行中に他のモジュールを読みこむために使われます。 おおまかな import 文の動作として、sys.path から指定された名前のモジュールを探して見つかったものを読みこむというように理解している人が多いのではないかと思います。 この理解は概ね正しいですが、実際には sys.path の探索は import system の一部分でしかなく、他の機構が用いられることもあります。さらにはカスタマイズした実装を使って import system の動作を拡張したり置き替えたりすることさえ可能です。 Python の import system は import 文の単純そうな文法からすると意外なほどに複雑です。この記事では import system の仕組みについて、図を交えながら全体像をできるだけわかりやすく説明することを目指しまし
S3間で容量の大きいファイルをBoto3を使ってコピーする際はmultipart_chunksizeに注意 | DevelopersIO
データアナリティクス事業本部のueharaです。 今回は、S3間で容量の大きいファイルをBoto3を使ってコピーする際はmultipart_chunksizeに注意しましょうという話をしたいと思います。 はじめに Boto3を利用してS3間でファイルコピーをするというのはよくあるケースだと思います。 中でも、大きめの容量のファイルをコピーする際は以下のブログでも紹介されているように S3.Client.copy() メソッドを利用するかと思います。 ただ、この関数をデフォルトのまま使用するとファイルコピーの速度といったパフォーマンス面で課題が生じるケースがあります。 ファイルコピーを行う際の設定値について S3.Client.copy()メソッドは Config という引数を持っており、こちらは boto3.s3.transfer.TransferConfigを受け取ります。 ここで、デフ
Pythonでリストを多用しがちな新人に贈りたい、array/tuple/set/queueの魅力と使い分けフローチャート - Qiita
はじめに みずほリサーチ＆テクノロジーズの @fujine です。 Pythonのリストってとても便利ですよね。可変長で任意のオブジェクトを保存できるため、シーケンシャルなデータなら何でもリストで実装したくなる気持ち、分かります。 でもちょっと待ってください！リスト以外にも便利なコレクション型があること、ご存知でしょうか？コレクション型を適切に使い分けることで、 プログラムの意図を（ドキュメントに頼らなくても）読み手に的確に伝えられる パフォーマンスが向上する などの効果が期待できます。 そこで本記事では、Pythonの組み込み型や標準ライブラリを対象に、リストと似たコレクション型をどのように使い分けるか？の案をフローチャート化しました。それぞれの特徴や使い方を、次章にて解説していきます。 用語の整理 先に、解説で使用する用語をざっくり整理します。 コレクション(Collection)型
Pythonの構造的パターンマッチングのさらに便利なパターン紹介 | gihyo.jp
鈴木たかのり（@takanory）です。今月の「Python Monthly Topics」では、第1回で紹介したPython 3.10の新機能「構造的パターンマッチング（Structural Pattern Matching）」の続きをお届けします。 前回は構造的パターンマッチング全体の説明、いくつかのパターンをコード例を交えて紹介しました。今回はその続きとして、前回紹介できなかった他のパターンについても紹介します。 Python 3.10の新機能：構造化パターンマッチング | gihyo.jp 構造的パターンマッチングとは 前回の繰り返しになりますが、この記事で初めて構造的パターンマッチングを知った人に向けて、簡単に紹介します。詳細は上記の記事を参照してください。 構造的パターンマッチングはPython 3.10で新しく導入された文法です。Python 3.10は2021年10月に
遅くないpandasの書き方 - ML_BearのKaggleな日常
これは何？ この記事は Kaggle Advent Calendar 2021 の7日目の記事です。 pandasはデータ分析ライブラリとして非常に便利ですが、書き方を間違えると簡単に処理が遅くなってしまうという欠点があります。そこで、この記事では遅くならない書き方をするために気をつけたいポイントをいくつかご紹介したいと思います。 この Colab Notebookの実行結果をエクスポートした上で、不要な部分を一部削って記事にしています。colab notebook をコピーして実行してもらえれば再現することが可能なはずです。(colabにコメント等をいただいても返すことはできないと思います、すみません。) 前提条件 この記事ではあくまで「遅くない(なりづらい)書き方を紹介する」ことに努めます。よって、以下のような改善点はあるが一旦考慮の外におくものとして話を進めます。 並列化ライブラリ
その設定、pyproject.tomlに全部書けます - Gunosyデータ分析ブログ
はじめに Gunosy Tech Lab - Media ML のsuchidaです。 最近はPythonの型アノテーションがないとあたふたする人生です。 こちらの記事は Gunosy Advent Calendar 2021の3日目の記事です。 前回の記事はid:skozawa さんの施策の優先順位付けのために分析Dayを実施しましたでした。 さて皆さん、Pythonを利用する際に静的解析ツールを利用していますか？これは、コードを綺麗に保ち、保守運用を行いやすくするために非常に重要なツールです。 本記事では、Pythonコードフォーマッターなどの静的解析ツールとその設定ファイルの管理方法について簡単に紹介します。 静的解析ツールの導入 チーム内では主に、アルゴリズムの開発・運用にPythonを利用しています。 また、コードを綺麗に保ち、保守運用を行いやすくするためにコードフォーマッターな
Dockerfileのベストプラクティスとセキュリティについて - エニグモ開発者ブログ
こんにちは、主に検索周りを担当しているエンジニアの伊藤です。 この記事は Enigmo Advent Calendar 2020 の 17 日目の記事です。 みなさんは適切なDockerfileを書けていますか？とりあえずイメージのビルドが出来ればいいやとなっていませんか？ 今回は自戒の意味も込めて、改めてDockefileのベストプラクティスについて触れつつ、 そもそもDockerfileを書かずにコンテナイメージをビルドする方法とコンテナセキュリティに関する内容についてまとめてみました。 Dockerfileのベストプラクティス イメージサイズは極力小さくしよう ビルドキャッシュを活用しよう Dockerfileに関する悩みどころ Dockerfileを書かないという選択肢 Buildpack Cloud Native Buildpacks CNBの仕組み デモ CNBのメリット セキ
Python Tips: Poetry の tips あれこれ
Python のパッケージ管理ツールの Poetry の tips です。 ライブラリ: Poetry Poetry はアプリケーション開発とパッケージ開発のどちらの用途にも利用できますが、私はアプリケーション開発でしか Poetry を使ったことがありません。そのため、以下にあげる tips はすべてアプリケーション開発に Poetry を利用するときの tips です。 本記事では Poetry のバージョン 1.0.0 を対象としています。 Poetry は仕様が比較的安定していますが、バージョンが上がると参考にならない場合もあるのでご注意ください。 目次 venv のファイルをプロジェクトディレクトリの下に置きたい venv を作らずグローバルにパッケージをインストールしたい アップデート可能なパッケージをチェックしたい Poetry 自体をアップデートしたい Docker コンテ
pandas 1.0以降での変更点を一部紹介します | フューチャー技術ブログ
SAIGの小橋昌明です。業務ではずっとPythonを書いています。 今回は Python連載 の6日目です。 Pythonを使ってデータ分析をする上で無くてはならないのがpandasです。リリースノートを見てみると、メジャーアップデートによる1.0.0 がリリースされたのが2020年の1月で、現時点での最新は1.3.3です。 ただ、1.0以降の機能で私自身が使ってるものは何だろうかと考えてみると、query関数のエスケープシーケンスだけしか使っていない気がします。DataFrameから条件を指定してデータを抽出するquery関数は、列名に記号を含んでいたりすると上手く動かないことがありますが、v1.0以降はbacktick記号 (` ` )で囲むと動くようになりました。リリースノートはこちら。 しかし上記は新しい機能のごく一部にすぎません。せっかくバージョンアップされているのに、機能を使わ
Google ColabとVSCodeを用いた分析環境運用方法 〜kaggle Tipsを添えて〜 - ギークなエンジニアを目指す男
こんにちは。takapy（@takapy0210）です。 本エントリは下記イベントでLTした内容の元に、補足事項やコードスニペットなどをまとめたものになります。 kaggle-friends.connpass.com ちなみに今回LTしようと思ったきっかけは以下のような出来事からだったので、みなさんのTipsなども教えていただけると嬉しいです！ 情報出回ってる感あるけど、colab pro × vscode ssh のオレオレ運用方法を晒すことにより、もっと良い方法のフィードバックもらえるのではドリブンでLTするのはありなのかもしれない・・・？— takapy | たかぱい (@takapy0210) 2021年8月1日 LT資料 当日みなさんから頂いたコメント 環境構築手順 ngrokアカウント作成と認証キーの取得 ColabにGoogleドライブを接続、ngrok、sshサーバー起動
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【初心者必見】Python中級者になるためのテクニック29選 - Qiita
Pythonのデコレータってどう実装するん？ってことでフレームワーク的な実装を試してみた - Qiita
【python再入門】親ディレクトリを経由したimportを行う方法 - Qiita
Pythonで辞書のキーにtupleが指定できた件（+パフォーマンスの話） - Qiita
Pythonで終了時に必ず何か実行したい (続編) - Qiita
datasette/datasette/publish at main · simonw/datasette
Cleaning Up Currency Data with Pandas - Practical Business Python
Using the Python zip() Function for Parallel Iteration – Real Python