Pythonのパッケージ周りのベストプラクティスを理解する - エムスリーテックブログ
砲撃する自走砲（PzH2000自走榴弾砲）。自走砲は戦車によく似ていますが、戦車ではありません。＊本編とは関係ありません。 こんにちは、エムスリー基盤開発チーム小本です。 Pythonのパッケージ管理周りでは、 「setup.pyでrequirements.txtを読み込むのが普通なんですよね？」 「pipenv があれば venv はオワコンなんですね？」 「pyenvは要らないんですよね！？」 「Pythonは歴史が古い分、Rubyなどに比べてカオス」 みたいな混乱をよく目にします。 実際、複数のツールがあって（一見）複雑です。また「なぜこうした状況にあるのか」がドキュメント化されているわけでもありません。 なので、私なりに整理してみることにしました。 ※「追伸」を追加しました。この記事では汎用プログラミング言語としてPythonを使うケース（Webアプリとか、CLIツールとか、ライブ
Python: 機械学習における不均衡データの問題点と対処法について - CUBE SUGAR CONTAINER
機械学習における分類問題では、扱うデータセットに含まれるラベルに偏りのあるケースがある。 これは、例えば異常検知の分野では特に顕著で、異常なデータというのは正常なデータに比べると極端に数が少ない。 正常なデータが 99.99% なのに対し異常なデータは 0.01% なんてこともある。 このようなデータセットは不均衡データ (Imbalanced data) といって機械学習で扱う上で注意を要する。 今回は、不均衡データを扱う上での問題点と、その対処法について見てみる。 なお、登場する分類問題の評価指標については、以前このブログで扱ったことがあるのでそちらを参照のこと。 blog.amedama.jp 使った環境は次の通り。 $ sw_vers ProductName: Mac OS X ProductVersion: 10.14.2 BuildVersion: 18C54 $ python
Stacking/Blendingをheamy、Stacknetをpystacknetで高速に実装する - フリーランチ食べたい
この記事は 機械学習工学 / MLSE Advent Calendar 2018 - Qiita の15日目です。 Stacking/Blendingは実装が面倒 Kaggleなどでよく使われるアンサンブル手法にStacking/Blendingがありますが自分で実装すると結構面倒です またモデルの精度を測る際にK-Fold Validationを行うこともありますが、同じpredictを何度も発生してしまい、単純に行うと無駄な処理が多くなってしまいます。 今回紹介するライブラリheamyでは、それらの問題点が解決されており、 抽象化されたAPIで簡単にStacking/Blendingを実装でき 、かつ、 内部でpredictされた結果がキャッシュされており、高速に計算を行うことができます またheamyではWeighted Averageも簡単に実装できる仕組みがあります。 また、St
この処理Pythonでどう書く？ - エムスリーテックブログ
EF15形は高性能な電気機関車であったが、引き出し性能が蒸気機関車に劣ると誤解されていた。 誤った運転方法により本来の性能を引き出せていなかったのである。 （spaceaero2 [CC BY 3.0], ウィキメディア・コモンズより） こんにちは、エムスリー・エンジニアリングG・基盤開発チーム小本です。 WEBサイトは RailsやSpringなどの「本体部分」だけでは完結しません。レポート作成・データ更新などの細かい処理も必要です。 過去にはこうした用途にはBashがよく使われました。しかし、Bashは落とし穴が多かったり、クラスなどの抽象化機能がなかったりして、規模が大きくなると辛くなります。 そこで、Bashの代替候補に挙がるのがPythonです。エムスリーでもかつてはBashを使っていましたが、現在は新規案件にはPythonを推奨しています。 しかし、実際にPythonで書き直そ
Logging in Python – Real Python
Watch Now This tutorial has a related video course created by the Real Python team. Watch it together with the written tutorial to deepen your understanding: Logging in Python Logging is a very useful tool in a programmer’s toolbox. It can help you develop a better understanding of the flow of a program and discover scenarios that you might not even have thought of while developing. Logs provide d
Pythonのパッケージングのベストプラクティスについて考える2018 - 朝日ネット 技術者ブログ
はじめに 開発部の tasaki です。Python 3.7 のリリースが今月末に行われるということで、あらためて 2018 年現在の Python のパッケージ構成におけるベストプラクティスについて検討してみたいと思います。 対象読者 この記事は、 書き捨ての Python スクリプトなら書けるが、ちゃんとしたパッケージの作り方がよく分からない 公式リファレンスのモジュールの章を読んだが、結局具体的にどういう構成にすればよいのか分からない setuptools.setup 関数の大量の引数のどれを使えばよいのか分からない というような人を対象としています。 対象バージョン 処理系とツールチェーンのバージョンは、 Python 3.4 （2014/03/16 リリース）以降 pip 8.1.2 以降 setuptools 19.2 以降 を対象とします。 EPEL の python34,
Pythonでデコレーターを継承先にも適用する２ - タロスカイ株式会社
こんにちは、Pythonエンジニア見習いです。 Pythonでデコレーターを継承先にも適用する のデコレーターを継承先にも適用する方法に欠陥を発見したのでそれがどのようなものなのか 解説していきたいと思います。さらにその代替方法についても紹介します。 なぜクラスの__new__関数を用いる方法ではダメなのか まず、Pythonのクラスに書かれた__new__関数はそのクラスのインスタンスが 生成されるたびに 実行されます 。これにより本来であれば各サブクラスごとに一回デコレーターを適用したい場面で デコレーターがインスタンス生成ごとに適用されてしまいます。わかりやすいように以下に例を示します。 まず、以下に示すようにpythonのクラスや関数が定義されているとします。 def deco(f): @functools.wraps(f) def inner(*args, **kwargs):
Pythonでデコレーターを継承先にも適用する - タロスカイ株式会社
こんにちは、Pythonエンジニア見習いです。最近TemplateMethodパターンを使っているコードのリファクタリングをしていたところ、継承先にもデコレーターを適用したい場面に遭遇しました。その時、単純に継承元に適用するだけではうまくいかず、工夫が必要でした。今回はPythonでデコレーターを継承先にも適用する方法を皆様に紹介したいと思います。 なぜ単純に継承元に適応するだけではダメなのか 継承元の関数は継承先の関数はたとえ名前が同じであってもそれが指す関数オブジェクトは別物です。よって継承元でデコレーターを適用した場合、継承先ではそのデコレーターの適用された継承元の関数は継承先の同名の関数で上書きされます。最終的に継承先の関数ではデコレーターの適用されていない関数が残ります。 どうやったら継承先にデコレーターを適用できるのか メンバ関数がデコレートされるタイミングはクラス(インスタン
2018年のPythonプロジェクトのはじめかた - Qiita
4/30 公開 5/1 増補改訂: 大幅加筆しました。 この記事では、2018年以降に実現可能になったモダンなPythonプロジェクトのはじめかたを整理して紹介します。 PythonにもPipenvという公式推奨の高機能なパッケージマネージャーが登場し、さらに2018年に入ってからの機能向上で、npmやyarnのような開発体験が得られるようになってきました。 私はここしばらくはフロントエンドやNode.jsに携わっていて、npmやyarnに慣れきっていたせいか、pipenv導入以前はvirtualenvやpipを組み合わせた開発が面倒で仕方なかったですが、Pipenv導入によって一変しました。 これからはPythonのプロジェクトがよりクリーンかつ簡単にはじめられるようになり、開発体験も向上するでしょう。 それでは、まずはPythonのインストールからです。 Pythonのインストール P
Emacsでデータサイエンス用環境構築(Python)
はじめに# 肥大化してデブになった emacs設定を一旦捨て去り、一から作り直すことにした。 デブは自分のお腹だけで十分だ！（名言） Motivation# 以前は、こんな感じの設定ファイルを作っていたのだけれども、複雑になりすぎた。 https://github.com/tsu-nera/dotfiles/tree/master/.emacs.d/inits また、データサイエンスをやるにつれて、以下のようなことがあり、Emacsを使いたくなってきた。 自宅サーバにsshで自習室からつないで作業することが多いので、Pycharm使えない。 Jupyter Notebookを使うことが多いが、Jupyter Notebookでは、スクリプトかけない。 今まで素の Emacsでしのいできたのだけれども、辛くなってきた。 ターミナルかっこいい＼(o)／ 目指す姿# データサイエンス、もっと言え
Cracking Codes with Python
Cracking Codes with Python Cracking Codes with Python teaches complete beginners how to program in the Python programming language. The book features the source code to several ciphers and hacking programs for these ciphers. The programs include the Caesar cipher, transposition cipher, simple substitution cipher, multiplicative & affine ciphers, Vigenere cipher, and hacking programs for each of th
Python開発環境のためのemacs設定 - Qiita
Pythonで100本ノックをやってみて、いろいろ書くのに時間がかかったので、emacsに以下の内容を設定し、開発環境を改善した。 ~/emacs.d/init.el に以下の内容を追記 ;; init.el --- Emacs configuration ;; INSTALL PACKAGES ;; -------------------------------------- (require 'package) (add-to-list 'package-archives '("melpa" . "http://melpa.org/packages/") t) (package-initialize) (when (not package-archive-contents) (package-refresh-contents)) (defvar myPackages '(better-
Pythonとパッケージングと私
1. Preface setup.cfg pyproject.toml conclusion Pythonとパッケージングと私 Atsushi Odagiri 2017-09-08 2. Preface setup.cfg pyproject.toml conclusion お前誰よ • Atsushi Odagiri • Open Collector, Inc. • Repoze/Pylons/Pyramid 3. Preface setup.cfg pyproject.toml conclusion パッケージングの基本 • pypi パッケージリポジトリ • pip インストーラー • setuptools/wheel パッケージャー • virtualenv 仮想環境
Pythonヒッチハイクガイドを読んで学んだこと - MyEnigma
退屈なことはPythonにやらせよう ―ノンプログラマーにもできる自動化処理プログラミングposted with カエレバAl Sweigart オライリージャパン 2017-06-03 Amazonで検索楽天市場で検索Yahooショッピングで検索 目次 目次 はじめに Can I use python3でライブラリがpython3で利用できるか確認できる pythonのリポジトリの構成 with構文をうまく使う コードのデバッグをするときはテストファイルを作る。 tkinterはバージョン8.0から外見が洗練された ロギングが print より優れている理由 PythonのテストフレームワークにはNoseを使う Python製のCIサーバ Buildbot Pythonの並列処理にはconcurrent.futuresを使う 参考資料 MyEnigma Supporters はじめに P
How To Package Your Python Code — Python Packaging Tutorial
How To Package Your Python Code¶ This tutorial aims to put forth an opinionated and specific pattern to make trouble-free packages for community use. It doesn’t describe the only way of doing things, merely one specific approach that works well. In particular, packages should make it easy: To install with pip or easy_install. To specify as a dependency for another package. For other users to downl
（インターン向けに書いた）Pythonパッケージを作る方法 - Qiita
この記事は何？ Pythonパッケージの作り方を説明する Pythonパッケージを作るときに意識して欲しいことを説明する この記事はポエムです これまでのあらすじ インターンを迎える予定なのですが、彼らはパッケージを作ったことがないそうです。 一方で、企業としては、パッケージ化までしてくれないと、実務に使うまで時間がかかってしまって大変です。 そこで、社内向けに「Pythonパッケージの作り方」という文書を書きました。これをインターンの人に読んでもらっていい感じのパッケージを作ってもらうぜ！という都合の良い目論見です。 しかし、 私もいままでパッケージ化のノウハウをきちんと体系的に勉強したわけではないので、イマイチ不安です。そこで、Qiitaにポエム投稿して、ポエム修正をしてもらおうと思ったわけです。 ところどころ日本語が変なのはご容赦ください。日本語に不自由してます。1 この記事を読む人
Elasticsearch Pythonでsettinsとmappingを指定する
Elasticsearchにsettingsとmappingの指定をcurlで叩き込みました。 Elasticsearch 日本語データの分かち書きと検索(kuromoji使用) 同じことをPythonクライアントではどう実行すればよいか調べてみます。 サンプルコード APIドキュメント API Documentation githubのリポジトリ https://github.com/elasticsearch/elasticsearch-py サンプルコード https://github.com/elasticsearch/elasticsearch-py/blob/master/example/load.py ここらへんを読んで書いたプログラムがこちら。 # -*- coding:utf-8 -*-from elasticsearch import Elasticsearchfrom
elpyの設定メモ - ししちにじゅうはち 4x7=28
Emacsにelpyを設定して四苦八苦した結果をメモ。 他にも苦しんでる人のために。 必要なPython環境をWindowsに用意する方法は前エントリを参照。 苦しんだ点とかまとめ elpyはpython modeと一緒に動くメジャーモード key-mapについて python modeとelpy modeのkey-mapは別々に存在する elpy起動時にpython modeのkey-mapをelpy modeのそれで上書きする ショートカットの設定はelpy側のkey-mapに設定する elpyの起動について .pyファイルに対してpython modeとelpy modeの両方をオンしないといけない python-mode-hookにelpyの起動をねじ込んだ elpyの起動には(package-initialize)がいる 参考になったところ はむかずさんのブログ Pythonプロ
個人的な Python 用の Emacs の設定
本も書き終わって一段落ということで、個人的な Emacs の Python 開発環境についてまとめます。 環境は Ubuntu15.04 64bit、Emacs は 24.5 です。 Python のインストールには Anaconda を使うのが楽です。 最小のセットだけでいいなら、代わりに Miniconda を使います。 Anaconda は 公式ページ からインストーラをダウンロードしてインストールします。 以下のようなコマンドで仮想環境を作っておきます。 $ conda create -n py35 python=3.5 anaconda 次に、作った環境を有効化し、 $ source activate py35 以下のパッケージを追加でインストールしておきます。
GitHub - dodger487/dplython: dplyr for python
import pandas from dplython import (DplyFrame, X, diamonds, select, sift, sample_n, sample_frac, head, arrange, mutate, group_by, summarize, DelayFunction) # The example `diamonds` DataFrame is included in this package, but you can # cast a DataFrame to a DplyFrame in this simple way: # diamonds = DplyFrame(pandas.read_csv('./diamonds.csv')) # Select specific columns of the DataFrame using select,
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
