Google が公開している、より良いデータ分析のためのガイドブック「Good Data Analysis」で、データ分析の要所が簡潔にまとめられていて感動した
Google が公開している、より良いデータ分析のためのガイドブック「Good Data Analysis」で、データ分析の要所が簡潔にまとめられていて感動した 2022-03-08 Google の非公式ブログで、The Unofficial Google Data Science Blog というデータサイエンスをテーマにしたブログがある。 その中で、 Practical advice for analysis of large, complex data sets の記事を元にして作られた Google Developers Guides: Machine Learning Guides > Good Data Analysis を昨日見かけて読んでいたら素晴らしいドキュメントだったので、ここでその感動を共有したかったので筆をとったしだい。 Good Data Analysis の概
構造方程式モデリングは，因子分析，分散分析，パス解析の すべてにとって代わるのか？
1 2 Does structural equation modeling outperform traditional factor analysis, analysis of variance and path analysis? Yutaka Kano It is well-known that structural equation modeling (SEM) can represent a vari- ety of traditional multivariate statistical models. This fact does not necessarily mean that SEM should be used for the traditional models. It is often said that a general model is more difficu
「全数調査なら何でもわかる」という誤解 - 間違えがちな母集団とサンプリングそしてベイズ統計 - - ill-identified diary
この文章は pandoc-hateblo で tex ファイルから変換しています. PDF 版はこちら 2021/10/15 追記: 後半のベイジアンブートストラップに関する解説はこちらのほうがおそらく正確です ill-identified.hatenablog.com 概要挑発的なタイトルに見えるかも知れないが, 私はしらふだしこれから始めるのは真面目な話だ — 正直に言えばSEOとか気にしてもっと挑発的なタイトルにしようかなどと迷ったりはしたが. 「全数調査できれば標本抽出の誤差はなくなるのだから, 仮説検定は不要だ」という主張を見かけた. いろいろと調べた結果, この問題を厳密に説明しようとすると最近の教科書には載ってない話題や視点が必要なことが分かった. ネット上でも勘違いしている or よく分かってなさそうな人をこれまで何度か見かけたので, これを機に当初の質問の回答のみならず関
決定係数や標準化偏回帰係数が高いと「影響力が強い」といえるのか？ | Ryota Mugiyama
はじめに OLS回帰分析は変数間の関係を見るうえで最も基本的な分析方法である。回帰分析の元の式がこのような形だとする。 $$Y_i = \beta_0 + \beta_1X_i + \varepsilon_i$$ これをデータに当てはめると、以下の予測式が得られる。 $$\hat{Y}_i = \hat{\beta}_0 + \hat{\beta}_1X_i$$ このように回帰式を推定するだけでなく、そのモデルのフィッティングであったり、変数間の関係を知るための方法がいくつもある。そのなかでもよく用いられるものとして、決定係数と標準化偏回帰係数がある。 これらは、やや不用意な使われ方をしている場面に出くわすことも少なくないように思う。とくにそれは異なるサンプル（例えば、異なる時点であったり、属性であったりでサンプルを分割するなど）を用いた比較分析するときによく出くわす。たとえば同一の変数を
ロジットとプロビットの使い分け - アドファイブ日記
出力変数（被説明変数）がYes/Noみたいな２値で表されるようなモデルを学習させたい場合についてググるとロジスティック回帰とかプロビット回帰とか出てきて、 「どうやらロジスティック回帰を使うのが定石っぽいけど、プロビットっていう良くわからないのがいっつもくっついて説明されてて困るなぁ」 と思ったりするのは僕だけじゃないはず。そこで自分なりに違いを考えたのでシェアしてみます。 問題１（プロビットが合う） 「ある人の年齢Nを聞いたとき、その人が既婚者か」を確率P(N)で表わすという問題を考えてみます。 結婚という「変化のイベント」について考えると、なんとなく平均結婚年齢あたりにピークがあって、その前後ではなだらかに頻度が少なくなっているイメージがあります。なのでその分布を正規分布だとしましょう。そうすると、年齢Nを聞いたときにその人が結婚してるかどうかは、正規分布の累積分布関数P(N)、すなわ
Rで評点者間信頼性："irr"パッケージ - 草薙の研究ログ
評定者間信頼性かあ。Rでやったことがない。 でも調べたらやっぱあった。知らんかった。 http://cran.r-project.org/web/packages/irr/irr.pdf 水本先生*1のκ係数についてのページにあるデータを例にしよう。 カッパ係数 評定者A 評定者A 1 b b 2 a a 3 c c 4 b b 5 b c 6 c c 7 b c 8 a a 9 c c 10 c c 11 c c 12 c c 13 b b 14 a a 15 b b 16 c c 17 a b 18 c c 19 a a 20 b b こんなデータ。 まずirrパッケージをインストール。 install.packages("irr") 使えるようにする。 library(irr) 準備はOK。 データを読み込む。 「数字のところだけ」エクセルとかでコピーして， dat<-read.ta
単一事例実験データの分析方法としてのランダマイゼーション検定
単一事例実1験計画(シングルケース研究法)で得られたデータの評価方法として、いくつがの統計的方法が提案されている。ランダマイゼーション検定は、(1) データの系列依存性を問題としない、(2) 時系列分析ほど多くのデータポイン1・を必要としない、(3) 様々なデザインに適した方法が考案されている、といった理由からシングルケースデータの分析方法として近年注目されてきている。本稿では、これまで多くの研究者によって提案されてきた、様々な単一事例実験データ分析のためのランダマイゼーション検定の方法を、(1) 測定時期への処理のランダム振り分け、(2) 介入ポイントのランダム振り分け、(3) フェーズへの処理のランダム振り分け、とランダム振り分けの方法の違いにより大別し、さらにそのカテゴリ下に分類される種々のランダマイゼーション検定の方法について概説するとともに、この検定を実際のデータに適用する際の問
brmsを使ってみる - まずは蝋の翼から。
brmsというStanのラッパーパッケージで遊ぶ。 概要 例えば、rstanを使う場合はStanコードを別ファイルの.stanに記述してそれを呼び出す形でbayes推定をおこなう。一方、brmsを用いるとStanコードをわざわざ書かなくてもbrmsパッケージの関数を用いればbayes推定ができる。正確には、関数を介して内部的にStanコードを走らせているらしい。そのため、brmsを用いて書いたbayes modelが内部的に持っているStanコードはどうなっているか知りたい場合はそのコードを出力することも可能。 また、指定するための事前分布が豊富に存在するので、例えばStanで記述するのが面倒なゼロ過剰ポアソン分布なども簡単に使えるらしい。 ちなみに、brmsははBayesian Regression Models using Stanの略。 今回、brmsの練習のために「StanとRでベ
刺激の効果を侮るなかれ―ランダム刺激効果を含んだ線形混合モデルの重要性と落とし穴―
When researchers analyze data from an experiment with multiple experimental stimuli, they tend to aggregate responses to the experimental stimuli before performing a statistical test (e.g., t-test, analysis of variance). This common practice, however, ignores sampling errors of experimental stimuli, resulting in a substantial increase in Type-1 error rate. This article reviews the relevant literat
Statistics by Jim
Welcome to my statistics blog! If you are interested in learning statistics at a deeply intuitive level, you’re at the right place! Please explore! I have organized the topics by statistical area, which you can find in the menu bar at the top. I’m rapidly adding new statistical content. You can also use the search box in the right-hand menu. Currently, the categories are: Basic statistical concept
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「教科書が教えてくれない『交絡』の話」の講義資料を公開しました - Unboundedly
https://vincentarelbundock.github.io/Rdatasets/datasets.html
（ほぼ）図（だけ）で説明する回帰分析
MLwiN | Centre for Multilevel Modelling | University of Bristol
Multilevel analysis page of Tom Snijders
datasets
Statistical Notes
Mediation Moderation Workshop for MPA 18
UCI Machine Learning Repository
https://dczhang.shinyapps.io/expectancyApp/