【保存版】 2 万文字で語る Python の with 文で始めるリソース管理 ── C++/Go/TypeScript の技法を横断
本記事では、Python の with 文を起点に、多言語の with に相当する概念を横断的に比較し、 リソース管理という "地味だけど重要" なテーマ を一気に理解できるように整理しました。 「〇〇をしたら必ず △△ する」 をコードで保証する ── リソース管理とは？ A. 「そのタスク終わったら Slack で私に連絡してくださいね！」 B. 「はい、わかりました！」 (数日後...) A. 「あれ、Slack で連絡来てないな。」 B. 「違う仕事していたら、Slack で連絡するの忘れてました！」 そんな経験、ありませんか？ 「〇〇をしたら絶対にこれをやる」ということを強制する。 それを実現するのが、Python の with 文です。 〇〇をしたら絶対にこれをやるというのは、 例えばファイルを open したら必ず close をするなどのリソースに対して行うことは特に多く、
2024年のPythonプログラミング - Uzabase for Engineers
ソーシャル経済メディア「NewsPicks」で推薦や検索などのアルゴリズム開発をしている北内です。Pythonは頻繁に新機能や便利なライブラリが登場し、ベストプラクティスの変化が激しい言語です。そこで、2024年2月時点で利用頻度の高そうな新機能、ライブラリ、ツールなどを紹介したいと思います。 この記事では広く浅く紹介することに重点を置き、各トピックについては概要のみを紹介します。詳細な使用方法に関しては各公式サイト等での確認をおすすめします。なお、本記事ではOSとしてmacOSを前提としています。 環境構築 Pythonの環境構築はpyenvとPoetryの組み合わせがもっとも標準的でしょう。 以下の手順でpyenvとPythonをインストールできます。 brew install pyenv # Bashの場合 echo 'eval "$(pyenv init -)"' >> ~/.ba
ロバストPython
Pythonはシンプルな構文で読みやすいプログラミング言語ですが、コードをロバストにする機能も備わっています。本書では、Python 3.5から導入された型ヒントを使って、ロバストなPythonコードを記述する方法にアプローチします。全4部構成のうち、Ⅰ部とⅡ部ではPythonにおける型ヒントの位置づけや組み込み型について基本的な事柄をしっかりおさえ、ユーザ定義型を使う方法、部分型、プロトコル、pydanticによる実行時型チェックなど、Pythonの型システムを最大限に活用する方法を詳しく説明します。Ⅲ部は依存関係や設計手法について、Ⅳ部はセーフティネットとして高度なテスト手法を扱います。本書の内容を理解すれば、クリーンで保守しやすいPythonコードが書けるようになります。 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の
今から始める型安全 Python / Start Python Type Hints
#stapy https://speakerdeck.com/yamitzky/mastering-type-safety-in-python-3-dot-9-era の内容を加筆して削ったものです
令和時代のPython作図ライブラリのデファクトスタンダードPlotlyExpressの基本的な描き方まとめ - Qiita
初めに javascriptベースで手軽に対話的な操作が可能な作図が出来るPlotly Express(公式サイト)というライブラリが少し前に公開されたのを見つけました。 今までの静的な作図とは明らかに異なる次元のポテンシャルを感じたので、備忘録を兼ねて基本的な可視化手法の描き方をまとめました。 参考までに、matplotlib+seabornで同様の図を書いたパターンと比較しています。 「基本的な可視化手法」は、以前書いた「探索的データ解析における正しい可視化手法の選び方と描き方」に準拠しています。 Plotly Expressとは Plotly Expressは2019年の3月に公開されたplotlyの高レベルAPI群です。 インタラクティブで複雑な描画を簡単に書けるのが特徴です。 公式サイト: https://plot.ly/python/plotly-express/ API re
10x Faster Parallel Python Without Python Multiprocessing
While Python’s multiprocessing library has been used successfully for a wide range of applications, in this blog post, we show that it falls short for several important classes of applications including numerical data processing, stateful computation, and computation with expensive initialization. There are two main reasons: Inefficient handling of numerical data.Missing abstractions for stateful
Pythonのドキュメントコメントの書き方(Googleスタイル編) - くらげになりたい。
Pythonのドキュメントコメント(Docstrings)の書き方、何やら流派があるらしい。。 Googleスタイルを調べてみたので、その時の備忘録。 reStructuredText（reST）スタイル NumPyスタイル numpydoc – Numpy’s Sphinx extensions — numpydoc v0.9.dev0 Manual NumPyスタイルPython Docstringsの例 — Sphinx 1.5.6 ドキュメント Googleスタイル styleguide/pyguide.md at gh-pages · google/styleguide · GitHub GoogleスタイルのPython Docstringsの例 — Sphinx 1.5.6 ドキュメント Googleスタイルの例 Short Summary：簡単な1行説明。名前とか def
pytestでテストケースの前後処理をする - Qiita
はじめに (TL;DR) 初投稿です。どうぞよろしくお願いします。 さて、今回はpytestで前後処理の記述方法について紹介します。 Javaっとした世界でいうところのbeforeClassやafterClass等ですね。 目的としてはこんなところでしょうか。 前後処理などセットアップコードを共通化したい setup処理からparameterを引き渡したい テストケースごとに固有の前後処理をしたい では、ゴタックーを並べるのはその辺にして、早速見ていきましょう。 構成 pytestの世界では、セットアップコードをconftest.pyと呼ばれる別ファイルに外だしするのがお作法なようです。 従って、ディレクトリは例えば以下のように切ります。 tests ├── __init__.py └── sample ├── __init__.py |── conftest.py # セットアップコード
unittest — Unit testing framework
unittest — Unit testing framework¶ Source code: Lib/unittest/__init__.py (If you are already familiar with the basic concepts of testing, you might want to skip to the list of assert methods.) The unittest unit testing framework was originally inspired by JUnit and has a similar flavor as major unit testing frameworks in other languages. It supports test automation, sharing of setup and shutdown c
Python3 Advent Calender 3日目 - New GIL を理解する - methaneのブログ
2011 Pythonアドベントカレンダー(Python3) - connpass の3日目を担当します。 Python 3 がリリースされてから、 Python の進化は主に Python 3 で行われ、そこから Python 2 にバックポートできるものがバックポートされています（例: GCのチューニング、辞書の内包表記など）。 しかし、 Python 2 は 2.7 で新規開発を終了しており、 2.7 にバックポートされなかった機能はもう Python 3 に移行しないと利用することができません。今日は、そんな機能のひとつである New GIL を紹介します。 なお、今日紹介する内容のほとんどは UnderstaindingGIL で紹介されている内容を僕なりに要約したものです。（ただし、翻訳ではありません） 著作権の扱いがわからなかったのと、代わりに自分で図を書き起こすのが面倒だっ
Pythonのマルチスレッドで気を付けるべきこと
はじめに、この記事は「マルチスレッドで気を付けるべきnの項目」のような、よくまとまったまとめ記事ではないのでご了承ください。 とある条件でマルチスレッドの挙動が意図しないものになり、その後によくよく考えると「なるほど！」となったのでメモしておきます。 というか内容もあってるかわかりません、独自の考察です。詳しい人ツッコミください。 マルチスレッドで問題が発生する条件とある条件では、マルチスレッドを使ってしまうと意図しない挙動が発生すると思っています。 それはめちゃくちゃ重い、Pythonを考慮していないような外部ライブラリを使った場合です。 どういうことか、文字だけでうまく説明できる自信がないので、次のコードで説明しましょう。 ちなみに、今回の記事で説明する検証コードの完全版は以下のURLにアップしてありますので、よろしければご確認ください。 bonprosoft/python_multi
PIL/Pillow チートシート - Qiita
PIL/Pillowはコンパクトで高速なPython用の画像ライブラリです。 よく使う処理をまとめました（随時更新） PILとPillowの違い 基本的にPILを使う理由はありません、Pillowの方がリサイズフィルタのバグフィックスがされており高品質です。 Pillowの速度について Pillowは非常に高速にチューニングされており、同様なライブラリであるImageMagickよりも常に高速に動作します。 ただし、getpixel/putpixelは非常に低速です、画像生成以外には使わないようにしましょう。 更に高速なpillow-simdもあります。概ねオリジナルのPillowの4〜5倍の速度が出るようです。 pillow-simd https://github.com/uploadcare/pillow-simd 参考 Imageモード一覧 モード 説明
Python製ハイパーパラメータ学習ライブラリoptunaを使って様々な言語のコードを最適化する方法 - MyEnigma
Pythonではじめる機械学習 ―scikit-learnで学ぶ特徴量エンジニアリングと機械学習の基礎 posted with カエレバ Amazon 目次 目次 はじめに ハイパーパラメータ学習ライブラリoptuna Pythonのコードをoptunaでパラメータ最適化してみる。 C++のコードをoptunaでパラメータ最適化してみる Juliaのコードをoptunaでパラメータ最適化してみる 今後optunaに期待すること create_studyとstudyの関数の統合 他の言語との統合方法のexampleの拡充 GitHubリポジトリ 参考資料 MyEnigma Supporters はじめに 最近、最適化技術の勉強の一貫として、 ベイズ統計・最適化を勉強しようと思っています。 そこで、以前PFNが公開した ベイズ最適化による、ハイパーパラメータ自動最適化ツールである optuna
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Pythonで文字列の類似度を120倍高速に計算するRapidFuzzを勧めたい - Qiita
How Python type hints simplify Pandas UDFs in Apache Spark 3.0
GitHub - ctgk/PRML: PRML algorithms implemented in Python
Pythonで、処理をより効率化するためのTips集
PyCon JP 2019 - 資料一覧 - connpass
Modern Parallel and Distributed Python: A Quick Tutorial on Ray
Do I need to explicitly pass multiprocessing.Queue instance variables to a child Process executing on an instance method?