Pythonで統計検定（多重検定） : scikit_posthocs - Qiita
この記事で何ができるようになるか 1. データの正規性や等分散性も考慮した検定法の選択 2. パラ・ノンパラメトリックの多重検定 3. 一覧性の高いヒートマップによる結果図示 はじめに 自分は大学院で生物学を専攻しています。 Pythonは実験データをグラフで解析するのに非常に有用ですが、種々の検定（特に群間の有意差検定）を行うライブラリが少なく、結構困っていました。 解決策として Rでやる。 Rの関数をPythonで実装する。 等が考えられます。（2に関してはRpy2を導入すれば一応できました） しかし、どうしてもPythonでノンパラメトリック検定などを動かしたい！ そこで第３の手法 scilit_posthocs というライブラリを使ってノンパラメトリック検定を実装することにしました。 scikit_posthocsの実装にしか興味がありませんでしたら、一気に下の目次まで飛んで頂ける
【統計モデリング入門 】一般化線形モデル（GLM）を基礎から学ぶ -Pythonによる実践あり-｜はやぶさの技術ノート
最初に「モデリング」や「モデル」などの用語について整理しておきます。 モデリングとは あるデータを入力したとき、ユーザーがほしい情報を出力する箱をモデルと呼びます。 例えば下図は、あるパターンの波形を入力すると、その数秒先の波形を予測（出力）するモデルのイメージです。 引用元：MXNetとLSTMで時系列データ予測 -入門から実践まで- このモデルを設計する作業がモデリングです。具体的には、モデルの中身にあたるアルゴリズムを検討する作業のことです。 近年では深層学習モデルが人気です。実は上図もLSTMと呼ばれるアルゴリズムを活用した深層学習モデルです。
Pythonで作って学ぶ統計モデリング | AIdrops
Pythonで作って学ぶ統計モデリング 近年、AIや機械学習、深層学習といった用語に代表されるように、多種多様のデータを高度なアルゴリズムと計算機の力で解析し、将来予測などの価値を生み出す技術に注目が集まっています。 これらの技術の土台となっているのが、本記事で解説する統計モデリング（statistical modeling） と呼ばれる考え方です。元々は手計算が可能なレベルの比較的シンプルな数学的仮定を置いてデータを解析する方法論として発展しましたが、近年の計算機の性能発達に伴い、従来では取り扱えなかったより複雑なモデルを利用した高度な解析を実施する事例が増えてきています。特に、現在実践で広く使われている機械学習のモデルや、複雑な非線形関数を組み合わせた深層学習モデルなども、その多くは突き詰めれば統計モデルの一種であることが言えます。したがって、統計モデリングはそれ自体がデータ解析に対し
ビジネスで使えるPythonを使った統計的データ分析手法まとめ - Qiita
概要 WEB系のサービスで色々な試作を実施した後に効果を検証するのは非常に重要だと思いますが、 そのやり方として基本的な統計学が十分に使えると思っています。 今回は基本的な統計学からビジネスで使える試作の効果検証、データ分析を目的にPython+JupyterLab(Docker)を使った統計的データ分析のやり方をまとめました。 また今回使ったnotebookは以下にもありますのでご参考ください。 https://github.com/hikarut/Data-Science/tree/master/notebooks/statisticsSample 環境 以下を参考にDockerでJupyterLabが使える状態を前提とします。 Dockerで起動したJupyterLabでvimキーバインドを使う
東京都のCOVID-19
東京都の情報は2021-05-24以降は毎日16:45に東京都福祉保健局からPDFで発表されているが，手作業での更新のようで，うまくスクレープできないこともあった。そうこうしているうちに厚労省が16:00ごろ全国の都道府県についてオープンデータを更新することになったので、そちらを取得して COVID-tokyo.csv を作成し，自動ツイートしている（描画部分のコード：COVID-tokyo.py）。そのグラフ： 実効再生産数を，(直近7日間の陽性数/n日前7日間の陽性数)**(5/n)で近似したもの。東洋経済オンラインでは n=7 としているが，ここでは 1 から 7 までの7本のグラフを示した。 全区間にわたってプロットしたもの： 縦軸を対数目盛にしたもの： 奥村 晴彦 Last modified: 2022-12-31 16:26:39 JST
statistics — Mathematical statistics functions
Source code: Lib/statistics.py This module provides functions for calculating mathematical statistics of numeric (Real-valued) data. The module is not intended to be a competitor to third-party libraries such as NumPy, SciPy, or proprietary full-featured statistics packages aimed at professional statisticians such as Minitab, SAS and Matlab. It is aimed at the level of graphing and scientific calc
Pythonコードと図で分かる平均値と標準偏差の違い――「統計」とはデータから価値ある情報を抜き出すこと
統計量 「情報を抜き出す（数値や関数として）」と前述しましたが、この数値として抜き出された情報こそが「統計量」と呼ばれるものです。先ほど例として紹介した、合計や平均値も、その一種です。 一口に統計量といっても、その種類はさまざまで、それぞれの意味合いや算出するにふさわしいケースも異なれば、用法も異なります。 代表値 まずは「代表値」を紹介します。代表値とは「数列内の各要素の値が、だいたいどの程度なのか」を説明する統計量です。 下記のような数列（架空の店舗「a」と「b」の商品の価格などと仮定）を定義しておくとしましょう。 図1は、各要素の値とシーソーの目盛りが対応しており、重りの積み上げられた個数は各要素の出現回数に対応しています。また、現実のシーソーとは異なり、「板に重みはない」としており、「重りの重さだけで釣り合っている」とします。 数列「a」「b」を見比べてみると、5つ目の要素までは同
Pythonコードと図で分かる平均値と標準偏差の違い――「統計」とはデータから価値ある情報を抜き出すこと
Pythonコードと図で分かる平均値と標準偏差の違い――「統計」とはデータから価値ある情報を抜き出すこと：「AI」エンジニアになるための「基礎数学」再入門（3）（1/2 ページ） AIに欠かせない数学を、プログラミング言語Pythonを使って高校生の学習範囲から学び直す連載。今回から具体的に数学を学びます。統計とは、統計量とは何かを数学記号や数式、Pythonコード、図を交えて解説します。 AIに欠かせない数学を、プログラミング言語Pythonを使って高校生の学習範囲から学び直す本連載『「AI」エンジニアになるための「基礎数学」再入門』。 初回は、「AIエンジニア」になるために数学を学び直す意義や心構え、連載で学ぶ範囲についてお話ししました。また前回は、「世の中にはどのようなデータがあるのか？」という部分を主に取り上げました。今回は、「それらデータをどう活用していくのか？」「活用するために
ナンバーズ予想で学ぶ統計学
本書は数字選択式宝くじ ナンバーズ の予想方法を研究する人と、統計学を独学したいけど同じ勉強するなら(宝くじという)エキサイティングな要素も欲しいという人に向けた統計解析の解説書です。 統計学を学ぶためにナンバーズのデータを利用し、ナンバーズの予想のためにどのような統計的手法が使えるかを学ぶことができる文書です。 本書の目指すところ 統計的手法の使い方を学ぶ。 統計学の理論は無視する(高度な数式を勉強しない)。 統計的手法を使ってナンバーズを予想してみる。 統計学の基礎的な知識を学ぶ。 データマイニングも含む。 ナンバーズの予想に使えないかもしれないけどおもしろそうな予想方法も勉強してみる。 統計解析のソフトウェアは Python と関連ライブラリ ( pandas や SciPy library ) を使用します。 エクセル や Google スプレッドシート 、 R もありますけど個人
統計的因果推論のためのPythonライブラリDoWhyについて解説：なにができて、なにに注意すべきか - Unboundedly
機械学習など主に予測を目的とした統計手法に強いイメージのPythonでしたが、統計的因果推論を行うためのライブラリ、“DoWhy”がついにリリースされました。 DoWhy | Making causal inference easy — DoWhy | Making Causal Inference Easy documentation これまで因果推論があまり浸透してこなかった*1データサイエンス界に新しい風が吹くのではと期待が高まります。 一方でこのパッケージが何を可能にし、逆に何ができないのかを理解しなければ、雑なデータ分析が増えて逆に有害なのではと思い、今回ブログを書くことにしました。 先に言っておくと、私自身はPythonをメインに使っているわけではありません（使ったことはあるので一応コードを読んで何が起こっているかくらいはわかります）。したがって本記事の目的は、DoWhyライブ
統計学基礎の基礎 - Qiita
このスライドの中で解説されている標準偏差のさらに詳細な説明は【統計学】初めての「標準偏差」（統計学に挫折しないために）にもありますので、よければご参照ください。 以下、スライド中でグラフ描画や、乱数生成を行ったPythonコードです。 モジュールインポート %matplotlib inline import matplotlib.pyplot as plt from matplotlib import gridspec import seaborn as sns import numpy as np import numpy.random as rd import pandas as pd import html5lib, time, sys from datetime import datetime as dt import statsmodels.graphics.tsaplots a
pandas入門 DataFrame 基本統計量の算出 | Python学習講座
行数、要素数 行数（レコード数） 行数を出力する場合はlen関数を使用します。また、sizeメソッドを使用すると要素数を取得することができます。 import pandas as pd df = pd.DataFrame([[1, 10], [2, 20], [3, 30]], columns=['col1', 'col2']) # col1 col2 # 0 1 10 # 1 2 20 # 2 3 30 len(df) # 3 上のサンプルでは2列3行のDataFrameの行の長さをlenで取得しています。 要素数 sizeプロパティで要素数を取得することができます。 # 上のサンプル続き df.size # 6 DataFrameのメソッドを使用して、列ごとの基本統計量を取得することができます。 平均、最大最小、標準偏差、分散など df.count() 要素数 # col1 3 # c
CUBE SUGAR CONTAINER
PyTorch に慣れるためにコードをたくさん読み書きしていきたい。 今回は MNIST データセットを使ってシンプルな AutoEncoder を書いてみる。 使った環境は次のとおり。 $ sw_vers ProductName: macOS ProductVersion: 14.5 BuildVersion: 23F79 $ python -V Python 3.11.9 $ sysctl machdep.cpu.brand_string machdep.cpu.brand_string: Apple M2 Pro $ pip list | egrep "(torch|matplotlib)" matplotlib 3.9.0 torch 2.3.1 torchvision 0.18.1 もくじ もくじ 下準備 サンプルコード 下準備 下準備として必要なパッケージをインストールする。
統計量 (理解しておきたい統計用語) - ナンバーズ予想で学ぶ統計学
統計量とは 統計量とはデータの特徴を表す値のことです。 統計量にも種類がありますが、ここで説明する統計量は要約統計量や基本統計量と呼ばれます。
統計を始めたい人に僕がPythonよりＲを勧める理由 - 蛍光ペンの交差点
今回は「ほぼＲしか使ったことがない」人間*1が、できる限り二者の優劣をくっきり述べる。 僕はほとんどＲしか使ったことがない。Pythonはtfidfやクイックソートをライブラリ無しで実装した程度。 前半の主張は以下である。 「過去のＲでの１０回程度の解析において、Ｒで不十分さを感じてPythonを使った経験は１度だけ、しかも部分的にしかなかった。Ｒの使いにくさを感じることも最近はだいぶ無くなった。だから初学者には「事足りる」Ｒを勧める。」 前半の主張 今までにＲでやった解析の内容は大体以下である。 （未発表）は途中で頓挫した、もしくは現在進行中／契約により詳細＆解析結果の公開不可能のプロジェクトである。 [ビジネス・製造業] 米国新車価格の線形重回帰分析（授業の期末課題） [ビジネス・不動産] 不動産賃貸価格の線形重回帰分析（発表スライド） [ビジネス・ＩＴ] ＥコマースサイトのＡＲＩＭＡ
Pythonで統計の環境構築から集計とグラフ描画まで - 工作とかオーディオとか
これまでRとかExcelとかで回帰分析やってたけど、Pythonでもできるように環境整えるところから始めます。 メモって置かないと次、構築するときに忘れるのでメモです。 OSはWindows7(64bit)で試しましたが8でも同じはず。 Pythonは2.7.5(32bit)。 0. Pythonのインストール すでに終わってるとは思いますが念のため。 http://www.python.org/ からPython2.7.x系のインストラーをダウンロードします。 対応しているモジュールの関係でまだ32bit版のほうがいいです。 3.3.x系でも特に問題はないと思いますが、多少文法変わってたり、モジュールが使えなかったりするので、2.7.x系のほうが無難だと思います。 インストールが終わったら、環境変数に「python.exe」のあるディレクトリ(特に変更していない場合はC:\Python2
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
サービス終了のお知らせ
https://pandas.pydata.org/pandas-docs/stable/api.html