[Python] Joblibのキャッシュを使って同じ計算を省略する
本エントリではPythonのJoblibがもつキャッシュ機能によって同じ計算を省略し、処理を高速化するための方法を説明する。このエントリを読むことで、関数をキャッシュ可能にする方法、numpyのarrayをメモリーマップを使って読み込む方法、参照を使ってデータにアクセスする方法がわかる。 目次: Joblibとは 1. 計算結果のキャッシュが可能 2. 並列化が容易 3. 高速、高圧縮な永続化 環境 Joblibのインストール Memoryを使って計算結果をキャッシュする キャッシュの簡単な例 NumPyのデータを扱う関数をキャッシュ可能にする メモリーマップを使った高速なキャッシュの参照 キャッシュされた結果の参照を取得する。 Joblibを使ってテキストを単語のIDに変換する処理を高速化する まとめ Joblibとは JoblibはPythonにおけるパイプライン処理の効率化をするため
Fernando Irarrázaval
Fernando Irarrázaval Stream of consciousness about Data Science, Python, and Economics.
Fitting a Circle to Cluster of 3D Points
Fitting a Circle to Cluster of 3D Points¶ This article describes a method how to fit a circle to the cluster of points in 3D space. It utilizes the singular value decomposition (SVD) and the method of least-squares for the optimal circle fitting. 1 Introduction¶ Assume we have a set of $n$ points $\mathbf{P}_0,\dots,\mathbf{P}_{n-1}$, where $\mathbf{P}_i = (x_i, y_i, z_i)^T \in \mathbb{R}^3$. We w
データの集計は、ExcelよりPython使ったほうが100倍早い（pandas-profiling, pixiedust） - Qiita
Pythonのpandas-profilingと、pixiedustの2つのライブラリを使うと、データの集計・グラフの作成が、感動的なほど早く終わることを実感したので共有します。 Excelでデータ集計・グラフ作成した場合と比較すると、体感で100倍くらい早く終わります（誇張ではなく） Pythonで爆速でデータ集計する方法（体感所要時間：5分） 前提： 以下の環境が整備されていることは、前提とします。 Pythonのインストール（約30分） データ分析に必要な各種ライブラリのインストール（約30分） →numpy, matplotlib, pandas, jupyter など →Anacondaをインストールすれば、Pythonと各種ライブラリは同時にインストールされます。 また、集計対象である、テーブル形式のcsvデータは既に用意されているものとします。 ↓Excelで表示すると、こん
Python pandas パフォーマンス維持のための 3 つの TIPS - StatsFragments
pandas でそこそこ大きいデータを扱う場合、その処理速度が気になってくる。公式ドキュメントではパフォーマンス向上のために Cython や Numba を使う方法を記載している。 Enhancing Performance — pandas 0.16.2 documentation が、軽く試したいだけなのに わざわざ Cythonや Numba を使うのは手間だし、かといってあまりに遅いのも嫌だ。そんなとき、pandas 本来のパフォーマンスをできるだけ維持するためのポイントを整理したい。 pandas に限らず、パフォーマンス改善の際にはボトルネックの箇所によってとるべき対策は異なる。pandas では速度向上/エッジケース処理のために データの型や条件によって内部で処理を細かく分けており、常にこうすれば速くなる！ という方法を出すのは難しい。以下はこの前提のうえで、内部実装からみ
うわっ…私のpandas、遅すぎ…?って時にやるべきこと（先人の知恵より） - Lean Baseball
※あくまでもイメージです（適当） 仕事じゃなくて、趣味の方の野球統計モデルで詰まった時にやったメモ的なやつです.*1 一言で言うと、 約19万レコード（110MBちょい）のCSVの統計処理を70秒から4秒に縮めました. # 最初のコード $ time python run_expectancy.py events-2018.csv RUNS_ROI outs 0 1 2 runner 0_000 0.49 0.26 0.10 1_001 1.43 1.00 0.35 2_010 1.13 0.68 0.32 3_011 1.94 1.36 0.57 4_100 0.87 0.53 0.22 5_101 1.79 1.21 0.50 6_110 1.42 0.93 0.44 7_111 2.35 1.47 0.77 python run_expectancy.py events-2018.c
Pythonのself - akiyoko blog
Pythonでインスタンスメソッドというのは，インスタンスにバウンド(ヒモ付？束縛？)されている関数に過ぎない http://blog.livedoor.jp/odaxsen/archives/1596542.html これまでぼんやりとしか理解できていなかった「Pythonのself」について、上のエントリーを読んで、一気に閃いた感じがしたのでちょっと書いてみます。 閃いたというのは、これ。 selfは、変数や関数をインスタンスに「バインド」させる。 テストしてみました。 変数とself 以下の例では、2行目の a はクラス変数、4行目の a はローカル変数（両者は別物）。 いずれもインスタンスにはバインドされていない。 >>> class Hoge(object): ... a = 1 ... def __init__(self): ... a = 2 # メソッド内のローカル変数と見
Python のタプルとリストの違い、タプルの使いどころ
今回は基本に立ち返って、 Python の組み込み型である「タプル」と「リスト」の違い、それと「タプルの使いどころ」について説明してみたいと思います。 「 Python タプル リスト 違い 」といったキーワードで Google 検索すると、多くのページで「リストとタプルは記法が異なります」「タプルはイミュータブルです」という説明だけがなされていて、それだけだとなぜタプルが用意されているのか、タプルはどんなときに便利なのかがわからないのではないかと思い、今回このテーマで書いてみようと思いました。 以下、 Python におけるリストが何なのかというのは読者の方はご存知だという前提でお話ししていきます。 まずはかんたんなおさらいとして、そもそもタプルとは何ぞやというところから見ていきましょう。 タプルとは Python における「タプル」とは、複数のデータを一直線に並べた「コレクション」タイ
【Pythonお悩み解決】Pythonのif __name__ == "__main__" とは何ですか？への回答 - Python学習チャンネル by PyQ
こんにちは。 id:hirokiky です。 今日も皆さまからPyQメールサポートにご質問いただいた内容で多かった質問と回答をご紹介します。 この質問はとくに疑問になりやすい点なのではないでしょうか。 pyq.jp 質問 回答 インポートで実行されない理由 おわりに あわせて学習 「==」と「in」の使い分けについて紹介します 質問 Pythonの if __name__ == '__main__': は何のためにあるものですか？ 回答 はい。こちらはよくPythonプログラムに書かれていますね。 書かれることは多い割には、不思議の多いif文ですね。「これは『おまじない』なので気にしないでください」と言って回答を終わらせてしまうのは簡単ですが、それでは悲しいので、少し長くなりますが回答いたします。 一言で言うと、 if __name__=='__main__': はこのPythonファイル
pyenv/pyenv-virtualenv/Anacondaを使ってクリーンなPython環境をセットアップ - karaage. [からあげ]
Python仮想環境に関してはじめに ここに書いてある環境構築は2021年時点でも有効で、私のように趣味ベースで使う場合は、特に大きな問題ありませんが、必ずしも全ての人にベストな手法ではありません。 他にも様々なPythonの環境構築ソフト（pipenv, venv等）がありますし、Anacondaは使わない主義などあります。こだわる人は各自調べて自分に合うものを選択しましょう。 Docker覚えるコストが許容できるなら、Dockerもオススメです。以下記事参照ください。 2021/04/17追記：Macに関しては、Apple Silicon Macの関係で、MiniForgeを使う環境構築に移行しました。以下記事参照ください。 2021/10/04 Linuxでのセットアップに関して新たに記事を書き直しました。以下記事参照ください。 zenn.dev これ以降の本記事は、参考情報として残
![pyenv/pyenv-virtualenv/Anacondaを使ってクリーンなPython環境をセットアップ - karaage. [からあげ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/8cd5e0e4c225758aa00e316c0cd6df0ad3c1b532/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fcdn.image.st-hatena.com%2Fimage%2Fscale%2F77d812d317d922d5a852718628711bedf9e502a8%2Fbackend%3Dimagemagick%3Bversion%3D1%3Bwidth%3D1300%2Fhttps%253A%252F%252Fcdn-ak.f.st-hatena.com%252Fimages%252Ffotolife%252Fk%252Fkaraage%252F20171225%252F20171225113630.png)
Pythonの環境構築を自分なりに整理してみる
機械学習ブームなどにより、 Python を触り始める Rubyist が増えてきたと思います。その際に問題になりやすいのが環境構築です。Rubyだと rbenv がデファクトスタンダードになっているのに、なぜか Python に… 私の立ち位置もともとは、数年前まで 年に一回Python3でNLTKやらscikit-learnやら機械学習や自然言語処理の環境を作ろうと試みては失敗してPython使うものかと思っていた人でした。それが、Anacondaで環境導入すると、面倒なことは何も考えずに済むということを知り、CookpadではAnacondaを前提に環境構築を勧めていました。 今は、ymotongpooに「郷に入っては郷に従え」と言われたため、pip+virtualenv/venvで全てをこなしていますが、これで困ったことは特にありません。macOS, Windows, Linuxそ
condaとpip：混ぜるな危険 - onoz000’s blog
Anaconda環境下でpipを使う場合のリスクについて、日本語で書かれたページがほとんど見つからなかったので覚え書き。 追記 その２(2020-10-24) １年越しですが補足記事書きました。以下の内容には2020年には当てはまらないものもいくつかあるので、ご注意ください。 追記 (2019-09-27) 予想以上にたくさんの方にこのエントリーを読んでいただけているようでありがとうございます。細かい表現を推敲したほか、Anacondaのドキュメントが全部リンク切れしていたので修正しました。また、SNS等での反応を見ていて一部誤解や認識違いがあるようなので後日補足エントリーを書こうと計画しています。 余談なのですが、個人ブログの記事って結構怪しい情報が多いです。ググると個人ブログ（とか各国のQ&Aサイト）が上位に出てくることが多く、それを見て満足してしまうことも多いかと思いますが、（私の記
wheelのありがたさとAnacondaへの要望 - YAMAGUCHI::weblog
はじめに こんにちは、Python界のラファエル・ナダルです。全豪オープンテニス、盛り上がりましたね。さて、先日次のようなエントリーを立て続けに書いたんですが、「なぜAnacondaに関しての記述がないのか」という突っ込みをもらったので、参照用にメモを残しておきます。 Pythonの仮想環境構築 2017.01版 - YAMAGUCHI::weblog Pythonの環境設定でむかついてる人はとりあえずこれをコピペで実行してください 2017.01 - YAMAGUCHI::weblog なおこの記事の作成にあたっては @aodag に数多くのアドバイスをいただきました。この場を借りて感謝。 TL;DR condaの開発者はPyPAともっとコミュニケーションとってほしい。 前提 この記事はPythonを触り始めたばかりだけど、パッケージ管理ツール等々のスタンダードがどのようになっているかな
[メモ]cygwin環境の構築 - Qiita
WindowsにCygwin環境を再構築することにしたのでついでに手順をメモ。 Python 3.6 Fortran90 C/C++ を使って科学技術的な計算をする人向け。 まず、 Cygwin上でmatplotlibは諦めよう 頑張ればできるのかもしれない。しかしその時間を開発にあてれば生産性は何倍にもなるだろう。 すこしのがまんで十分な環境が手に入る。 Anaconda導入 なにも考えることはない。 Python 3.6 Version 64bit-installer(32bitなら32bit)をダウンロードしてインストール。 https://www.continuum.io/Downloads 2019/03/22追記 Anacondaのドメインが変わっているのでこちらへ。 https://www.anaconda.com/distribution/ Cygwin導入 とりあえず公式
![[メモ]cygwin環境の構築 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/60bb71811e5e6bf49c5cca424fb0a20d7a5bf276/backend=imagemagick;height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFtYXpvbmF3cy5jb20lMkYwJTJGMTI0MDc2JTJGcHJvZmlsZS1pbWFnZXMlMkYxNDczNzE1Nzc0P2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZiZz1GRkZGRkYmZm09cG5nMzImcz1iNjkyMDgwNTY0N2M5MWY4YzA3OTM2YzQyNTVmMWU5Zg%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D00b140b309729e94669e2cfc8a96ddc9%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCJUUzJTgzJUExJUUzJTgzJUEyJTVEY3lnd2luJUU3JTkyJUIwJUU1JUEyJTgzJUUzJTgxJUFFJUU2JUE3JThCJUU3JUFGJTg5JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LXBhZD0wJnM9ZmUzOTlmYTExNDJkNmVhNTQyNTQ0OGZmZmI1NzBmYWU%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBzdXMzMDQmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtcGFkPTAmcz0wMGVkZGYxZGFkZDQyOGNmYWVjYzMzMjk5YTkzZDFmNw%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3Db4f617aa804324beeb5c840a8a9df978)
Python3で数理生態
このサイトは自習用に始めたPython3のプログラミングのメモ・解説です．私はこれまで微分方程式の数値計算等はC言語，統計解析はR言語，グラフ作成はgnuplotおよびRを用いてきました．オブジェクト指向言語は10数年前にJavaをかじって挫折後，Python3で再び挑戦します． 問い合わせは三木健まで：tks.miki.ecology@gmail.com https://sites.google.com/view/quantitative-ecology-lab/home C言語を用いた生態モデリングの講義資料はこちら（英）GUIアプリXPPAUTOを用いた生態・生命モデリングの講義資料（新規モデルを作成するノウハウ）はこちら（英）R言語を用いた多変量解析の講義資料はこちら（日英）
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Add a Column in a Pandas DataFrame Based on an If-Else Condition
60 Web Design Galleries for Design Inspiration « AcrisDesign – Web Design Resources and Inspiration
Visual Studio Codeで始めるPythonプログラミング
Smoothing of a 1D signal — SciPy Cookbook documentation
Juliaの速さを体感する2 (参考 : Python(Numba)とFortranの速さも体感する) - Qiita
