タグ

statisticsに関するyuu_kimyのブックマーク (38)

  • Rでt検定 1

    t検定の仮定 来,t検定には,さまざまな仮定が伴うものである。 各群の標が,いずれも正規母集団から得られたものであること(正規性) 各群の母分散が等しいこと(等分散性) したがって,t検定の実施に先立って,これらの仮定が成り立つかどうかを判断しなければならない。 そのために,正規性と等分散性について,それぞれ異なる検定を行う必要がある。 正規性の検定 2群のデータの分布が,正規分布に従うかどうかを検定する。 この目的には,Kolmogorov-Smirnov(コロモゴロフ・スミノフ)検定がよく用いられる。 Rでは,この頭文字をとって ks.test() という名前の関数が用意されている。 この検定の帰無仮説は「あるデータが,正規分布をなす」である。 したがって,P値が大きければ,正規分布であると判断できる。 > ks.test(x$A,"pnorm",mean=mean(x$A),sd

  • Rによるコルモゴロフ・スミルノフ検定

    Rにてコルモゴロフ・スミルノフ検定 (Kolmogorov-Smirnov test) を行う。コルモゴロフ・スミルノフ検定は得られた2つのデータ間の確率分布の相違の検定、または、1データにおける確率分布の正規性を行う検定法である。旧ソビエト連邦の数学者Andrey Nikolaevich KolmogorovとNikolai Vasilyevich Smirnovによって開発された。スチューデントのt検定等をはじめとする多くの検定手法において標分布 (データ) が正規分布に従うことが仮定されていることを考慮すると、得られたデータが正規分布に従うか否かは、その後の統計検定を行うにあたり非常に大きな意味を持つ。その観点からコルモゴロフ・スミルノフ検定は重要な検定法のひとつであるといえる。Rでは、デフォルトでインストールされているパッケージの関数 'ks.test' にて実行する。 以下のよ

    yuu_kimy
    yuu_kimy 2015/02/16
    なるほど、、ポアソン分布かどうかを検定する場合は、ks.test関数を利用すれば良いのね?!(しかし、コルモゴロフ・スミルノフ検定って言い辛い。。。笑
  • 第4章 統計的検定の概念

    yuu_kimy
    yuu_kimy 2015/02/16
    これは分かり易い資料~★統計検定は、まず、ここから参照すると良いかな! #statistics
  • 次回の放送 | スーパープレゼンテーション|Eテレ NHKオンライン

    yuu_kimy
    yuu_kimy 2014/10/15
    今日のスーパープレゼンも面白そう!統計学が好きな人は、是非見よう~(笑) #NHK #TED
  • Microsoft PowerPoint - Lecture_ISM_MV-TS_20111021.pptx

    多変量データ解析と時系列解析 吉田 亮 (統計数理研究所; モデリング研究系) e-mail: yoshidar@ism.ac.jp スライドのダウンロード: http://daweb.ism.ac.jp/~yoshidar/index_j.htm 1 1日目: 記述統計、確率分布 2日目: 推定・検定 3日目: 回帰分析 4日目: 多変量解析、時系列解析 10:00~11:10 主成分分析 主成分分析 11:20~12:30 判別分析 13:30~14:40 クラスタ分析 クラスタ 14:50~16:00 時系列解析 前日までの講義内容と比較して難易度はやや高めです。 統計学の実践をデモンストレーションすることで、統計学がどのように使われてい るかを実感して頂きたい。 フォローしきれない人は、各々の要素技術をどのような局面で使うべきか、使うこと でどのような情報抽出ができるか、

    yuu_kimy
    yuu_kimy 2014/08/12
    メモメモ..
  • R言語で学ぶマーケティング分析 競争ポジショニング戦略

    5. 自己紹介 ◆ 統計解析やデータマイニングをビジネスに適用 ◆ 里 洋平(@yokkuns) ◆ 元Webエンジニアのデータサイエンティスト ・今は主にマーケティング周りを見てる ・時系列解析とか異常検知とか最適化とか ・いろんなモデルの構築 ◆ Tokyo.Rの主催者 2013年6月1日土曜日

    R言語で学ぶマーケティング分析 競争ポジショニング戦略
  • 機械学習や統計に関する情報収集 - Qiita

    機械学習界隈の情報収集方法 http://d.hatena.ne.jp/kisa12012/20131215/1387082769 いきなりですが上記の記事に機械学習に関する有力な情報源がまとまっています。まずはここを参考にするのが良いかと思います。ただ情報が多すぎですので、筆者は Wikicfp と arXiv.org あたりの論文、それにはてなブックマークをチェックしています。 また論文については機械学習の論文を探すにも良い情報がまとまっています。こちらも参考になります。 機械学習は日進月歩の世界ですので、最新の査読済み論文を追って概略だけでも理解する能力を身に付けると良いかと思います。 書籍としては次の 2 冊が聖書とも言える必読書で、気で機械学習をやりたければ必ず参考になるかと思います。 パターン認識と機械学習 (上・下) http://www.amazon.co.jp/dp/4

    機械学習や統計に関する情報収集 - Qiita
  • ANOVA君/多重比較の方法 - 井関龍太のページ

    Bonferroniの方法とその改良版の方法† 多重比較には様々な方法がありますが,その中でも,Bonferroniの方法とその改良版の方法は特に適用範囲が広いことで知られています。 しかし,検出力を改善した改良版の方法について触れた日語の文献は少なく,あまり知られていないのが現状ではないかと思います。 ここでは,Bonferroniの方法とその改良版の方法について(特に,後者について)簡単に説明します。 ANOVA君では,これらの改良版の方法を採用しています。 なお,ここで述べる方法は,入戸野(2004)でも紹介されています。 また,永田・吉田(1997)では,くわしい解説とともに,計算例を使っての具体的な手順が説明されています。 さらなる詳細については,これらの文献を参照してください。 ↑ Bonferroniの方法† ここで紹介する多重比較の方法の中では,最も有名なものであると思い

    yuu_kimy
    yuu_kimy 2014/03/20
    メモメモ..(分散分析の調整後の有意水準は、そうやって計算するのね。。)
  • 母集団,標本,平均,分散,標準偏差

    ■母平均,母比率の推定 母集団から標を抽出して,標調査によって母集団の性質を調べることを考える. 標の要素の個数を「標の大きさ」といいnで表わす. ※ 「標」という用語は,個々のもの(個々のデータ)を指すのでなく,母集団から取り出された集合(部分集合)に付けられた名前となっており,「標の大きさ」という用語は個々のデータの大きさのことでなく,標という集合の要素の個数を示している. ○1 母平均 μ ( ミュー:ギリシャ文字 ) ,母標準偏差 σ ( シグマ:ギリシャ文字 ) の母集団から大きさ n の無作為標を復元抽出するとき,

    yuu_kimy
    yuu_kimy 2014/03/19
    ちょっとした振り返り用にメモメモ..
  • 統計の落とし穴と蜘蛛の糸|実験医学online:羊土社 - 羊土社

    § 涙なしの統計学は可能か 講師のひとりとして私も参加したある統計研修の受講生が別の講師が担当した講義内容に関して次のような質問を投げました: 多くの確率分布があることはわかったのですが,いずれも数式で説明されていて,ほとんど理解できませんでした.グラフや図を用いてもっとイメージしやすい説明はできないのでしょうか?それぞれの確率分布は,実生活のこんな場面で使えますとか,こんなデータに当てはまりますというような身近な事例を用いて説明できませんか? 読者のみなさんもご存知のように,いわゆる数理統計学の理論体系では,現実世界のデータの挙動をある数式で表現された確率密度関数をもつ確率分布によってモデル化します.たとえば,確率変数(変量)が連続的ならば正規分布,離散的ならば二項分布のような確率分布がこれまで数多く提示されてきました.そして,数理統計学に基づく統計分析の道は,いかにすればこれらの確率

    yuu_kimy
    yuu_kimy 2014/03/12
    うん、激しく同意。先ずは、データをよく見ることは大事ですよね。
  • Free books on statistical learning | R-bloggers

    [This article was first published on Hyndsight » R, and kindly contributed to R-bloggers]. (You can report issue about the content on this page here) Want to share your content on R-bloggers? click here if you have a blog, or here if you don't. Hastie, Tibshirani and Friedman’s Elements of Statistical Learning first appeared in 2001 and is already a classic. It is my go-to book when I need a quick

    Free books on statistical learning | R-bloggers
  • 調査観察データにおける因果推論(3) - Rによる傾向スコア,IPW推定量,二重にロバストな推定量の算出 - About connecting the dots.

    目次 調査観察データにおける因果推論(1) - 無作為割り当てされていないことの問題 - About connecting the dots. 調査観察データにおける因果推論(2) - 傾向スコアとIPW推定量,二重にロバストな推定量 - About connecting the dots. 調査観察データにおける因果推論(3) - Rによる傾向スコア,IPW推定量,二重にロバストな推定量の算出 - About connecting the dots. 査観察データにおける因果推論(4) - Rで傾向スコアを出す際の共変量選択基準 - About connecting the dots. Rでの実行 さて,前回まででざっと理屈を紹介したところで,実際にRのコードをみていきましょう.使うデータは{Matching}パッケージのlalondeデータです.これは1976年に実施された米国職業訓練

    調査観察データにおける因果推論(3) - Rによる傾向スコア,IPW推定量,二重にロバストな推定量の算出 - About connecting the dots.
  • 状態空間モデル | Logics of Blue

    最終更新:2017年6月1日 状態空間モデルとはいったい何で、どんな時に使うといいのか、使うとどんなご利益があるのかということについて書きます。 ●状態空間モデル関連のページ なぜ状態空間モデルを使うのか 状態空間モデル:状態空間モデルのことはじめ dlmの使い方 :Rで正規線形状態空間モデルを当てはめる ローカルレベルモデル:dlmパッケージを使ってローカルレベルモデルを当てはめる 季節とトレンド:dlmパッケージを使って季節成分とトレンドの入ったモデルを作る dlmによる時変形数モデル:dlmによる「時間によって係数が変化する回帰モデル」の作成 Pythonによる状態空間モデル:R言語ではなくPythonを使いたい方はこちらをどうぞ 時系列分析と状態空間モデルの基礎:サポートページ:時系列分析と状態空間モデルの入門書を書きました。 状態空間モデルに関しては、大枠を説明してから 少しずつ

  • 日経BizGate|課題解決の扉を開く

    経営に関するキーワード的なテーマは種類が多く、かえってリーダーを惑わせがちです。SDGs(持続可能な開発目標)やESG(環境、社会、企業統治)もその一例。アルファベット略語や横文字言葉が…

    日経BizGate|課題解決の扉を開く
  • 第1回BUGS/Stan勉強会を開催しました - Analyze IT.

    こんにちはStanエヴァンジェリストの駆け出しベイジアンです。掲題の通り、第1回BUGS/stan勉強会を開催したので報告します。 BUGS/Stanって何? 改めて、BUGS/Stanとは何ぞやということを説明しておくとベイズ推定による柔軟なモデリングを実現するためのDSL言語です。 これでモデルを記述すると、非エンジニアなデータ解析屋のみなさんでも(比較的)簡単にデータ分析が出来ます! このあたりの技術は日語で枯れていないのでこの勉強会を通して色々と技術を枯らして行きたいと思います。 特にベイズモデリングは恣意性が高く、細かいテクニックと経験が必要なのでそういった悩みのあたりも共有できたらと思っています。 会場はドリコムさんの100人くらいは入る広い会場をお借りしました。ドリコムさんに感謝!! 参加者は全員で10名程度でした。かなり高学歴な方ばかりが集まっていらっしゃったので大変恐縮

    第1回BUGS/Stan勉強会を開催しました - Analyze IT.
  • 傾向スコア:その概念とRによる実装

    2. 今回の資料&元ネタ 星野・岡田 (2006) J Natl Inst Public Helth 55(3): 230-243 『傾向スコアを用いた共変量調整による因果効果の推定と臨床医学・疫学・ 薬学・公衆衛生分野での応用について』 R-package Matching using data lalonde , lindner 星野崇宏 (2009) 『調査観察データの統計科学』 宮川雅巳 (2004) 『統計的因果推論』 里洋平さんweb資料 『Rで学ぶ傾向スコア解析入門』 http://www.slideshare.net/yokkuns/r-9387843 12年4月27日金曜日 3. もくじ (星野・岡田 2006に準拠) (1) はじめに (2) 因果効果の定義と無作為割付の重要性 (3) 既存の共変量調整法とその問題点 (4) 傾向スコアの定義 (5) 傾向スコアを用いた

    傾向スコア:その概念とRによる実装
  • R Statistics With MongoDB

    Big Data is on every CIO’s mind. It is presently synonymous with open source technologies like Hadoop, and the ‘NoSQL’ class of databases. Another technology that is shaking things up in Big Data is R (www.r-project.org, #rstats). R is an open source programming language and software environment designed for statistical computing and visualisation. The statistical software R is the fastest growing

    R Statistics With MongoDB
  • 統計・解析ビジネスユーザー必読のデータマイニング本 - データサイエンティスト上がりのDX参謀・起業家

    久々の更新です。前々から注目していた『Data Mining and Statistics for Decision Making』が届きました。ちょっと読んだだけでも、ここ数年で一番の応用だと感じました。単なる応用ではなく、解析やデータマイニングがビジネスに利用されることを非常に強く意識されている内容です。 Data Mining and Statistics for Decision Making (Wiley Series in Computational Statistics) 作者: Stéphane Tufféry出版社/メーカー: Wiley発売日: 2011/04/18メディア: ハードカバー購入: 15人 クリック: 478回この商品を含むブログ (2件) を見る 見出しを読むだけでも素晴らしいのが分かります。おしゃれStatistics勉強会で使っている『Stati

    統計・解析ビジネスユーザー必読のデータマイニング本 - データサイエンティスト上がりのDX参謀・起業家
  • Amazon.co.jp: 偶然と必然の方程式 仕事に役立つデータサイエンス入門: マイケル・J・モーブッシン (著), 田淵健太 (翻訳): 本

    Amazon.co.jp: 偶然と必然の方程式 仕事に役立つデータサイエンス入門: マイケル・J・モーブッシン (著), 田淵健太 (翻訳): 本
  • 無料統計ソフトEZR (Easy R)

    ******** Click here for English version ******** EZR論文の引用回数が2023/11/29に1万回を超えました!! 2024年6月30日 EZR version 1.68公開 【重要】 EZR Ver 1.60からバージョン 4.20以降のRを使用しています。Rは4.20から標準の文字コードとしてUTF-8を使用するようになったため、従来のWindows形式の日語を含むファイルがうまく読み込めない場合があります。対応方法についてはFAQを参考にしてください。また、32ビット版は廃止されました。 EZRのグラフのサンプル (棒グラフ、Waterfall plot、累積発生率の積み上げグラフ サブグループ解析のforest plot、Swimmer plot、current survival CONSORTダイアグラム、サンキーダイアグアム)

    yuu_kimy
    yuu_kimy 2013/10/09
    医療用だけど、結構アリかもしれない..