Python：統計量の母数推定（非線形回帰の応用） - Qiita
2018.10.25 プログラムを母数推定部（計算のみ）と作図部の２部に書き換え はじめに 2018年10月10日に海外での業務完了につき帰国した．現在は休暇中であり，のんびりしているが，全く何もやらないのもちょっと気が引けたので，仕事の練習として，Pythonを使った非線形回帰のプログラムを作ってみた．昔は同じことをFortranプログラムでやっていたが，scipyの統計関数や，非線形回帰機能を使うことにより，非常にシンプルにやりたいことを実現できることを確認した． やっていることは，観測値を，仮定した確率分布関数に回帰し，母数（確率分布関数における係数）を推定するというものである．母数推定の方法は，これまでに積率法（モーメント法）などが研究されてきたが，ここでは Python：scipy の optimize.leastsq を用いる方法をとっている． 例として用いる観測値は，筆者の自
Pythonのベクトルの類似度計算高速化 - Qiita
3万文書をベクトル化し、類似度計算するときに大量ベクトルの類似度計算にすさまじい時間がかかっていたので、効率的な計算方法を調査。scipyのライブラリを使うことで100倍くらい速くなったのでメモ。 from scipy.spatial import distance # ベクトルの作成 (Mは30,000×100の配列） M = [a.vector for a in articles] # a.vectorは100要素のnp.arrayベクトル # 30,000の記事の総当たり類似度を計算 dist_M = distance.cdist(M, M, metric='cosine') 結果がコサイン類似度ではなくコサイン距離で出るので注意。 今回の場合同じ配列同士を計算しているので、上三角形だけ計算するpdistの方がいいらしい。（計算時間が２分の１になる）。後ほど試す。
Pythonのベクトルの類似度計算高速化 - Qiita
3万文書をベクトル化し、類似度計算するときに大量ベクトルの類似度計算にすさまじい時間がかかっていたので、効率的な計算方法を調査。scipyのライブラリを使うことで100倍くらい速くなったのでメモ。 from scipy.spatial import distance # ベクトルの作成 (Mは30,000×100の配列） M = [a.vector for a in articles] # a.vectorは100要素のnp.arrayベクトル # 30,000の記事の総当たり類似度を計算 dist_M = distance.cdist(M, M, metric='cosine') 結果がコサイン類似度ではなくコサイン距離で出るので注意。 今回の場合同じ配列同士を計算しているので、上三角形だけ計算するpdistの方がいいらしい。（計算時間が２分の１になる）。後ほど試す。
実験系研究者のための画像処理技術(その２)～OpenCVで粒子の形状分布を測定する～ - Qiita
はじめに 前回の記事では画像の前処理方法であるバンドパスフィルターを解説しました。 実験系研究者のための画像処理技術～バンドパスフィルターを用いた画像処理をPythonで実装する～ ただ、フィルター処理の方法を解説しただけで、実際に形状分布をどのように測定するかは説明しませんでした。 なので、今回は、OpenCV-Pythonを用いた粒子の形状分布測定を解説します。 解析対象として、Wikimedia Commonsから持ってきた以下の画像を用いました。 作者 Zephyris [CC BY-SA 3.0 (https://creativecommons.org/licenses/by-sa/3.0) または GFDL (http://www.gnu.org/copyleft/fdl.html)], ウィキメディア・コモンズより(リンク) ガラスコロイド粒子の光学顕微鏡像です。これを色々と
研究者のための実践データ処理～Pythonでピークフィッティング～ - Qiita
はじめに X線光電子分光(XPS)やX線回折法(XRD)などで得られたスペクトル状のデータを分析することはよくあると思います。 例えばこんな感じのデータとか。 (データは自作です) 最近の分析装置では、ピークフィッティングの機能は解析ソフトにくっついていることが多いです。 しかし、時には生データを自分で分析する必要に迫られることもあります。 そこで、上のように複数の分布が重畳したスペクトルを例にとって、Pythonを使って自動でフィッティングしてみます。 解析に使うサンプルデータはこちら。 使用するパッケージ 解析にはJupyter-Notebook(Python=3.6.5, scipy=1.1.0)を用いています。 %matplotlib inline from scipy.optimize import curve_fit import numpy as np import matp
Scipyの高速フーリエ変換のデータ数(2のべき乗か否か)と計算時間の関係について - Qiita
初めに 高速フーリエ変換(FFT)は通常の離散フーリエ変換(DFT)と比較して計算速度も速くて非常に便利ですが、データ数が2のべき乗個のでないと計算効率が良くないという欠点があります。 Scipyのfftpackのfft場合、2のべき乗個でなくても計算はしてくれるのですが、大量のデータを計算した時に体感でもかなり速度が低下したことがわかります。 ちなみに理論的にはFFTの計算量はNlogN、DFTはNの自乗の計算量になるらしいです。詳しくはwikideiaのFFTのページを参照ください。 理論はともかく、今回2のべき乗のデータとそうでないデータを作成して実際に計算速度を比較してみました。 環境は scipy version 1.0.0 numpy version 1.12.1 CPU core i5 7200U となっています。Jupyter Notebookのマジックコマンド%timei
ボクセルデータをPythonでデータ拡張する - Qiita
データ拡張とは機械学習モデルを作成するとき、モデルの汎化性能を向上させるための追加データとして、元データに加工を施してデータを増やすことです。 例えば画像の場合には、元画像を反転する、水平・垂直にピクセルを移動させる、ノイズをピクセル値に加える等の方法が典型的です。 3Dデータの一種にはボクセルデータ(x, y, zの3次元格子をもつ、2次元画像データの拡張)があり、CADモデルやCTスキャンのデータがこの形式で表されることがあります。 このボクセルデータを対象にして、3D CNNで分類やセグメンテーションを行う、といったケースに用いられています。 本記事では、Pythonのscipyとnumpyを使ってボクセルデータの拡張データを生成してみます。 (拡張データを使った学習は本記事では扱いません。) 拡張元データ PRINCETON MODELNETの10クラスのものを使用しています。 h
Scipy Lecture notes > data/populations.txt > サイトからダウンロードする | PDFには明示されていない - Qiita
Scipy Lecture notes > data/populations.txt > サイトからダウンロードする | PDFには明示されていないscipydocumentation @ Scipy lecture notes, Edition 2017.1 https://www.scipy-lectures.org/_downloads/ScipyLectures-simple.pdf 3.2.2 Basic reductions Worked Example: data statistics p64 https://www.scipy-lectures.org/intro/numpy/operations.html#other-reductions Data in populations.txt describes the populations of hares and lynx
geometry > star shaped (星形) > Voronoi diagram - Qiita
GeForce GTX 1070 (8GB) ASRock Z170M Pro4S [Intel Z170chipset] Ubuntu 16.04.4 LTS desktop amd64 TensorFlow v1.7.0 cuDNN v5.1 for Linux CUDA v8.0 Python 3.5.2 IPython 6.0.0 -- An enhanced Interactive Python. gcc (Ubuntu 5.4.0-6ubuntu1~16.04.4) 5.4.0 20160609 GNU bash, version 4.3.48(1)-release (x86_64-pc-linux-gnu) scipy v0.19.1 geopandas v0.3.0 MATLAB R2017b (Home Edition) ADDA v.1.3b6 gnustep-gui-
[python高速化] scipyがNumbaのjitに負けるとき - Qiita
はじめに pythonの高速化で割とハマったのでここにまとめておく．結論を言うと計算量に応じて最適な高速方法が違うようで，データ数が小さいときはnumbaのjitで最適化したnumpyのcodeがscipyや生のnumpyのcodeより高速であった．つまり，沢山の小さいデータを扱うときはnumpy+jitの方が便利と考えられる．大データを扱う際はscipyやnumpyをjitを無しで使った方が速い．ここでは，相関係数(pearson'r)を計算するprogramで実演しておく． 方法 scipy，numpy，numpy+jit，for-loopを使っただめなcode，for-loopを使っただめなcode+jitのパターンで相関係数を計算するcodeを書いた（codeは末尾に記した）．各codeの実行時間を%timeitで計測した．相関を計測する二つのデータはnp.random.randで
![[python高速化] scipyがNumbaのjitに負けるとき - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/067271f1a566db545e6766ff618c792cd7332492/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCcHl0aG9uJUU5JUFCJTk4JUU5JTgwJTlGJUU1JThDJTk2JTVEJTIwc2NpcHklRTMlODElOENOdW1iYSVFMyU4MSVBRWppdCVFMyU4MSVBQiVFOCVCMiVBMCVFMyU4MSU5MSVFMyU4MiU4QiVFMyU4MSVBOCVFMyU4MSU4RCZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9YzBlY2I1YWU1ZWYxZjYxMDViMmFhYzhhNDcwOThiNWI%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB0bmFnYWktZ2l0aHViJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz0wMjQyNWRlNzc5N2IwYzlkMDBlMjE1NjE2ZjQ5Mzk4Yg%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D26a964ebb52702edefb703aebd8f9027)
返り値が複数ある関数に対してscipy.optimize.fminするとValueErrorが出るときの解決策 - Qiita
若干ハマって解決法が出てこなかったのでメモ。 X,yともにデータ(m件)が入っていて、Xがm×nの行列、yがm次元のベクトルとします。例えばロジスティック回帰のコスト関数 import numpy as np from scipy.optimize import fmin def cost_function(theta, X, y): h_theta = 1 / (1 + np.exp(np.dot(-X, theta))) J = np.sum(-y * np.log(h_theta) - (1 - y) * np.log(1 - h_theta)) / len(y) grad = np.zeros(len(theta)) for j in range(len(theta)): grad[j] = sum((h_theta - y) * X[:, j]) / len(y) return
pythonによるShapiro wilkは使えず、Rを使用した。 - Qiita
pythonによるShapiro wilkの使用方法。 以下を利用したが、 http://doratai.hatenablog.com/entry/2018/02/07/%E6%AD%A3%E8%A6%8F%E6%80%A7%E3%81%AE%E6%A4%9C%E5%AE%9A%28Shapiro-Wilk%E6%A4%9C%E5%AE%9A%29 欠損値を許してもらえない。 結局Rを使うことにした、しかし、ハマった。 下記が参考になった。 https://stackoverflow.com/questions/28962152/shapiro-test-is-numeric-x-is-not-true Register as a new user and use Qiita more conveniently You get articles that match your needsY
python 統計 t-test - Qiita
ググったら、pythonでのt-検定のやり方が日本語で少なかったため、メモ。 １、_indと_rel t-検定 scipy.stats.ttest_ind() 対応のあるt-検定 scipy.stats.ttest_rel（）（自信ない） ２、P値とt値 P値は以下でみれる。 scipy.stats.ttest_ind().pvalue t値は以下でみれる。（自身ない） scipy.stats.ttest_ind().statistic ３、stats.ttest_ind(df_true["age"],df_false["age"]) 引数は、pandasのデータフレームから列指定（シリーズ）を二つ並べたらできた。 参考リンク https://docs.scipy.org/doc/scipy-0.15.1/reference/generated/scipy.stats.ttest_rel.
ニューラルネットワークの超概要を理解してpythonに落とし込んでみる - Qiita
レベル ニューラルネットワークってなに？ってレベルの人向け（超初心者） 主に自分への備忘録も兼ねてます 参考文献 ニューラルネットワーク自作入門 1.ニューラルネットワークの概要（入力〜出力まで） 入力層・隠れ層・出力層の3*3のニューラルネットワークを想定 図と実際の値があった方がわかりやすいので以下に記載 図1.概念図 図2.リンクと重み 図3.計算方法（入力層への入力から出力層の出力まで） シグモイド関数と計算方法 そもそも、ニューラルネットワークは動物のニューロンの組織図を模倣して作っている。シグモイド関数は「入力が閾値に達成すると発火する」というニューロンの特性を関数で表現しやすい。 その他の特徴としては、 ロジスティック関数ともいう 計算が他のS字関数よりはるかに簡単 0から1の値を「ちょうどよく」出力してくれるのに適している 「入力が閾値に達成すると発火する」というニューロン
SciPyリファレンス scipy.optimize 日本語訳 - Qiita
英語版 Optimization and root finding (scipy.optimize) — SciPy v1.3.0 Reference Guide 参考リンク 非線形最適化関数 — 機械学習の Python との出会い 最適化と求根 (scipy.optimize) SciPy optimizeは、場合によっては制約を受けることのある目的関数を最小化（または最大化）するための関数を提供します。非線形問題（局所的および大域的最適化アルゴリズムの両方をサポートする）、線形計画法、制約付きおよび非線形最小二乗法、球根およびカーブフィッティングのためのソルバーを含んでいます。 異なるソルバー間で共有される共通の関数とオブジェクトは、次のものがあります。 show_options([solver, method, disp]) 最適化ソルバーの追加オプションのドキュメントを表示する。
scipyのquadベンチマーク - Qiita
\int_{-\infty}^\infty \frac{\mathrm{d}x}{\left(x^2 + 1\right)^{n + 1}} = \frac{\pi(2n)!}{2^{2n}(n!)^2} n = 3 def f(x): return 1.0/(x**2 + 1)**(n+1) I, _ = quad(f, -np.inf, np.inf) factorial = lambda n: np.prod(np.arange(1, n + 1)) ref = np.pi*factorial(2*n)/(2**(2*n))/((factorial(n))**2) print("reference:", ref) print("QUAD:", I) print("Error:", np.abs(I - ref))
二項分布の正規近似における連続修正の妥当性を検証 - Qiita
二項分布 $B(n, p)$ に $Z$ が従うとき, $n$ が大きい場合, 分布関数は, $$P(Z \leq x) \approx \Phi \bigg( \frac{x - np}{\sqrt{np(1-p)}}\bigg)$$ と近似できる（$\Phi(\cdot)$ は正規分布 $N(0, 1)$ の分布関数）. これを二項分布の正規近似という. ところで, 二項分布は離散分布であるから, $x$ が整数値であれば, 任意の $x' \in (x, x+1)$ に対して, $P(Z \leq x') = P(Z \leq x)$ であり, $$P(Z \leq x) \approx \Phi \bigg( \frac{x' - np}{\sqrt{np(1-p)}}\bigg)$$ とも近似できる. そこで, 中間をとって, $$P(Z \leq x) \approx \Phi
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
pythonを用いた統計的仮説検定、信頼区間推定方法まとめ - Qiita
Python：Scipyのcorrelate2D (convolve2d)でいろいろ数える - Qiita
Scipyの数値積分の使い方 - Qiita
