PyCon JP 2021 登壇資料: https://2021.pycon.jp/time-table/?id=272259
Loggingモジュールではじめるログ出力入門 / Introduction to Python Logging
PyCon JP 2021 登壇資料: https://2021.pycon.jp/time-table/?id=272259
Software Design連載 2021年8月号 Python製のレガシー＆大規模システムをどうリファクタリングするか - MonotaRO Tech Blog
Software Design連載開始 ※ (2021/09/02 08:55) 「Pythonを用いて開発を始めたのが2003年」を「Pythonを用いて開発を始めたのが2002年」に修正 こんにちは。金谷です。 このたび、モノタロウにおけるPython大規模開発に関する取り組みを、技術評論社様で発刊されている Software Design に連載させていただくことになりました。 モノタロウがPythonを用いて開発を始めたのが2002年。2021年の現在もPythonを用いた開発が続けられています。 事業の成長に伴い、関連するシステムやエンジニアの数も増え続けていくなかで、いかに安定的に価値を提供し続けられるのか。 モノタロウにおける取り組みを、開発や運用周りを通してご紹介していきます。 本記事の初出は、 Software Design2021年8月号「Pythonモダン化計画（第1
pytest ヘビー🐍ユーザーへの第一歩 - エムスリーテックブログ
蛇行区間にはレールの内側に脱線防止ガードが設置される（本文とは関係ありません）。 こんにちは、エムスリー・エンジニアリングG・基盤開発チーム小本です。 pytest は Python のユニットテストのデファクトスタンダードです。エムスリーでも顧客向けレポートや機械学習でPython＆pytest をヘビー🐍1に使っています。 ですが、実は pytest は、意外と入門のハードルが高い。と言うのも、pytest の公式ドキュメント が、fixtureのような新概念も登場する上、詳細で分量が多いからです（しかも英語）。初心者にいきなり読ませると挫折する可能性大です 2。 そこで、とりあえず使い始めるのに必要そうな情報を日本語でまとめました。 pytest ってどんなライブラリ？ unittest や nose から簡単に移行できる 書き方がシンプル fixture モックもできる プラグイ
Pythonスキーマバリデーションライブラリ比較 (pydantic, marshmallow, attrs, cerberus) - Attsun blog
Pythonスキーマバリデーションライブラリ比較 (pydantic, marshmallow, attrs, cerberus) ウェブAPIの作成など、外部からやってくるデータを安全に捌く上で、スキーマ定義とバリデーションは非常に重要です。 また、特にPythonのような動的型付け言語において、内部でもレイヤをまたぐ場合はきちんと定義されたデータモデルを利用することで、知らない間にデータモデルが変わっていた、というようなケースを防ぐことができます。 Pythonには標準でスキーマバリデーションライブラリがないため3rdパーティのものを使うことになりますが、様々なライブラリがあるので比較してみました。 比較対象のライブラリ概要※Pythonバージョンは3.9.0を利用します。 lib versionGithub Star (2020/1/5)memo
Pydantic 入門 - Qiita
Pydantic とは Pydantic は、Python の型アノテーションを利用して、実行時における型ヒントを提供したり、データのバリデーション時のエラー設定を簡単に提供してくれるためのライブラリです。 このライブラリは、SQLAlchemyでのデータベースモデルを定義する際に役立ちます。 モデル まず、定義するにあたって、次のように定義します。 from datetime import datetime from typing import List from pydantic import BaseModel class User(BaseModel): id: int name: str # (変数):(型)として、型を宣言する friendIds: List[int] = [] # "=" を利用してデフォルト値を定義することもできます created_at: datetime
Python 3(pyenv) と Google Cloud SDK を共存する - Qiita
GCP を使う上である種必須とも言える Google Cloud SDK は、Python 3がデフォルトの環境だと動かない問題がある。 Python 2の死までもう4ヶ月を切っているけどリプレースする気はあるのだろうか (pyenvの導入方法などは割愛) pyenvを使っている環境で pyenv global 3.x.x とした際には $CLOUD_SDK_PYTHON という環境変数に Python 2 へのパスをセットするのが一般的なのだと思っていた。 しかし、 pyenv global 3.x.x 2.x.x とバージョンを2つ記載するとPython 2/3の環境を共存させることができる。 この場合の各バージョンは以下のようになる。 $ python --version Python 3.x.x $ python2 --version Python 2.x.x $ python3
【Techの道も一歩から】第19回「itertoolsを使おう」 - Sansan Tech Blog
こんにちは。 DSOC R&D グループの高橋寛治です。 桜の花びらが散り春の時候を感じる今日このごろ、スマブラだけでなくコーディングの季節もやってきたなと思っております。 意気込んでコーディングを始めたときに、たとえば2階層のリストを1階層に変形したり、条件に沿うものだけをリストから抽出したりする場合に、自分で実装してしまいがちです。 そのようなリストの各要素に対する処理について、高速かつメモリ効率のよい実装である itertools が Python の標準モジュールとして実装されています。 今回はこの itertools や言語処理に取り組んでいる際の適用例などを紹介します。 イテレータ イテレータとは、公式マニュアルに書かれている通りですが、データの流れを示すオブジェクトです。 Pythonの内部処理としては、イテレータオブジェクトの __next__() メソッドが呼ばれる、もし
Scipy Lecture Notes — Scipy lecture notes
One document to learn numerics, science, and data with Python¶ Tutorials on the scientific Python ecosystem: a quick introduction to central tools and techniques. The different chapters each correspond to a 1 to 2 hours course with increasing level of expertise, from beginner to expert. Release: 2022.1
コピペで使える。Kaggleでの実験を効率化する小技まとめ - 天色グラフィティ
この記事はKaggle Advent Calendar 2018の20日目の記事です。当初の予定ではPLAsTiCCコンペの振り返りをするはずだったのですが、時空の狭間に吸い込まれた結果0サブミットでフィニッシュしてしまいました。何ででしょうね。 そこで、代わりにKaggleで使える便利なスニペットまとめを書くことにします。 ちなみにもうひとネタあったのでいつか書きたいですが、修論があるのでいったん見送り…… LINEに通知を送る 処理にかかる時間を計測する Jupyter Notebookの場合 Pythonスクリプトの場合 LightGBMの学習結果をログに出す Google Spreadsheetに結果を記録する Google Spreadsheet側の設定 Pythonからアクセスする Notebook上でライブラリを毎回再読込する DataFrameのメモリを節約する まとめ L
Apacheにかわるwebサーバ: uWSGIパフォーマンスチューニング - Qiita
背景 PythonとDjangoでソマートフォンゲームのアプリケーションサーバを開発しており、そのwebサーバとしてuWSGIを使っています。 uWSGIには多くのパラメータがありすぎてどれを選んでいいかわかりにくいです。 実際に負荷試験をして、各種パラメータを変え、安定的にパフォーマンスが出せるようになったので、 そのときにどのように計測して、どのパラメータを変えたのかを共有したいと思います。 環境 python: 2.7.10 uWSGI: 2.0.11.1 locust: 負荷試験のツールです。ユーザシナリオを作ってアプリケーションサーバの各種API負荷試験をしました。 EC2: c4.2xlargeの8コア 性能測定ツール という言葉がありますが、何をおいても計測できなければ改善したかどうかわかりません。 主に以下のツールが今回役立ちました。 NewRelic: おなじみですね。有
Kaggleで使えるFeather形式を利用した特徴量管理法 - 天色グラフィティ
みなさま、Kaggle楽しんでいますでしょうか。 僕は現在Home Credit Default RiskとSantander Value Prediction Challengeに参加しています。 前回のKaggle記事ではpandasのテクニックについてまとめました。 多くのアクセスをいただき、人生初のホッテントリ入りまで経験してたいそう嬉しかったです。ありがとうございました！ amalog.hateblo.jp さて。みなさんはKaggleをやっているとき、どのようにして特徴量を管理していますか？ Titanicくらいならその都度計算すれば十分ですが、 ある程度データのサイズが大きくなり、さまざまな特徴量を取捨選択するようになると特徴量のシリアライズ(保存)が欠かせません。 そこで、今回は僕が行っている特徴量管理方法を紹介したいと思います。 僕の方法はTalkingdata Adtr
scikit-learn 0.20からクロスバリデーションの使い方が変更される模様 - verilog書く人
機械学習をやるときに結構良く使うところだなと思っていた、クロスバリデーションのスプリッター系モジュールのインターフェースが変わることに気づいたのでメモ。 scikit-learnの従来のクロスバリデーション関係のモジュール(sklearn.cross_vlidation)は、scikit-learn 0.18で既にDeprecationWarningが表示されるようになっており、ver0.20で完全に廃止されると宣言されています。 詳しくはこちら↓ Release history — scikit-learn 0.18 documentation まず、import元がsklearn.cross_varidationからsklearn.model_selectionに変わります。 これによって、例えば従来は from sklearn.cross_varidation import Stra
Pycon mini Osaka 2018
PyCon mini Osaka とは 大阪でもPythonの技術者の交流の場を作りたい。大阪でPyConのようなおもろいイベントをやりたい。そんな思いのもと、PyCon mini Osakaを開催します。 ビギナーからエキスパートまで、Pythonに関わる多くの方が集まり、ともに学び、情報交換して交流する場をつくります。是非イベントに参加して盛り上げていきましょう。 今回のテーマ 「Pythonでなにしよう？」 Pythonは、システムマネジメント、アプリケーション開発、データサイエンスなど、幅広い領域と用途で活用されているプログラミング言語です。 私達は、PyCon mini Osakaを、Pythonの技術情報を横断的に共有して、ユーザー同士が情報発信交流することで、互いに新たな気づきを得られるような意義のあるイベントにしたいと考えています。 ぜひこのイベントに参加して、 「？」を
Welcome to scikit-extremes’s documentation! — scikit-extremes 0.1.0 documentation
Welcome to scikit-extremes’s documentation!¶ scikit-extremes is a python library to perform univariate extreme value calculations. There are two main classical approaches to calculate extreme values: Gumbel/Generalised Extreme Value distribution (GEV) + Block Maxima. Generalised Pareto Distribution (GPD) + Peak-Over-Threshold (POT). Dependencies¶ To work with scikit-extremes you will need the foll
Python's concurrent.futures
In this essay I'll describe how to use the concurrent.futures API from Python 3.2. Since I'm still using Python 2.7, I'll use Alex Grönholm's back port instead. PEP 3148 gives the motivation for the new concurrent module: Python currently has powerful primitives to construct multi-threaded and multi-process applications but parallelizing simple operations requires a lot of work i.e. explicitly lau
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PyCon JP TV #8: Python 3.10の新機能を試す
Tabular Data in Scikit-Learn and Dask-ML
ちゃんと運用するときのuWSGI設定メモ - Qiita
How To Create Small Random Sample From Large CSV File | VP Nagraj
read-a-small-random-sample-from-a-big-csv-file-into-a-python-data-frame