【RとIATとBayesian hierarchical diffusion model】階層ベイズモデリングはIATの分析になぜ良いのか – nishiyuka.net
※本ページにはプロモーションが含まれています。 しばらく間が空いてしまいました。すみません。新しい研究を2つ同時に走らせようとして、調べ物と実験づくりをやっておりました。 さて、思い出していただきたいのですが、このセルフ連載の目的は「IATの結果をBayesian hierarchical diffusion modelを使って分析すること」です。データとモデルを照らし合わせて、IATでの結果（反応時間）がどのようにして生成されたのかを理解したいです。 そしてこれまでは、IATとは何なのか、diffusion modelとは何なのかを（ザックリとではありますが）紹介してきました。なので今回は、「Bayesian hierarchical」の部分についてお話ししようと思います。 今回の話を書く上で、StanとRでベイズ統計モデリング (Wonderful R) を参考にしました。通称アヒル本
生態学データ解析 - FAQ 一般化線形モデル
ここでは R の glm() を使って解析した場合の説明をしてみます 参照: FAQ 系ペイジ一覧, GLM 参照, summary(glm()) の星 この説明もしっかり読みましょう！信頼区間って難しい… [項目] 研究発表で「GLM を使った」と説明するときにはどうしたらよいでしょうか? GLM で得られた結果を発表・説明するときにはどうしたらよいでしょうか? 説明変数，応答変数って何ですか? family で指定する確率分布は「誤差の分布」ですか? family 指定はどうすればよいのでしょうか? 応答変数のばらつきが family 指定ではうまく表現できないときはどうすればいいのでしょうか? (一般化) 線形モデルは必ず交互作用項を含んでいなければならないのですか? glm() とかで Y ~ X1 + X1:X2 というふうに X2 は使わないときに交互作用項 X1:X2 だけを
声優統計第九号 声優力 - 驚異のアニヲタ社会復帰の予備
この記事は R Advent Calendar 2016 Stan Advent Calendar 2016 ごちうさ Advent Calendar 2016 まんがタイムきらら Advent Calendar 2016 の25日目の担当記事です。 C91 で声優統計ネタとして声優力を推定します。声優力とはなんぞや、という話ですが、ある声優がアニメに出演するとき、主役だったりメインヒロインだったりすると、上位にキャストされると思います。そのキャストされるのがどれだけ上位か、というのをデータから得て、声優力の推定をします。 例えば総勢 人の声優が出演するとき、その 番目に名前があったとしたら、として声優力を[0,1] のデータにします。1 に近いと上位にいて、0に近いと末尾に名前があることに相当します。 これは[0,1] にしたかったので適当な変換になります。[0,1] にすると、 がベー
情報量規準LOOCVとWAICの比較 - StatModeling Memorandum
この記事はStan Advent Calendar 2016およびR Advent Calendar 2016の12月7日の記事です。StanコードとRコードは記事の最後にあります。 背景は以下です。 [1] Aki Vehtari, Andrew Gelman, Jonah Gabry (2015). Practical Bayesian model evaluation using leave-one-out cross-validation and WAIC. arXiv:1507.04544. (url) [2] 渡辺澄夫. 広く使える情報量規準(WAIC)の続き （注４）【WAICとクロスバリデーションの違いについて】 (url) [3] Sumio Watanabe. Comparison of PSIS Cross Validation with WAIC. (url) le
iCluster: オミックスデータの統合 - 驚異のアニヲタ社会復帰の予備
読んだ。 Bioinformatics(2009)25(22):2906-2912. コピーナンバー(CNV)、発現データ(mRNA)、メチル化などのオミックスデータで、症例数 に対してパラメータ数 のデータ行列が複数ある。 各々の実験を勝手にやるのは、それはそれでいいが、CNV、発現、メチル化、プロテオームetc と 種類のいろいろなデータを取ったら、統合して考えたいと思うのは自然な発想である。 ここで、 次元のデータ行列 が、適当な係数行列、latent と呼ばれる、裏で共通して存在しているであろう(だが、観測はできない)因子 と誤差 を用いて として を求めたい。 iCluster パッケージにある。 あるオミックス実験(gene exprssion とか)は の行列データをヒートマップ化して、階層的クラスタリングで系統樹を書くことが多いが、 個のオミックス実験で 症例たちがk-me
モデル選択とAICとcross validationの関係を大雑把に実験してみる - 渋谷駅前で働くデータサイエンティストのブログ
Stanの開発者でもある統計学界の重鎮、Andrew Gelmanがこんなブログ記事をupしていました。 ちなみに@berobero11さんがこの件についてこんなコメントをされてました。 AkiらのPSIS-LOOがWAICより良いとする論文が出た。https://t.co/BWYNALp88K 渡辺先生の反論はこちら。https://t.co/MLQQvQuwM7 ・WAICはCVではなく汎化誤差を小さくするもの ・MCMCを何度もやった場合の揺らぎを見よ— Kentaro Matsuura (@berobero11) October 21, 2016 WAICとcross validationの関係については渡辺澄夫先生の本にも当然のように記述があって、そこで密林でポチって読んでみたのですが、いかんせん僕の数学力が弱すぎてまだ全然理解できてない有様ですorz ベイズ統計の理論と方法 作
「StanとRでベイズ統計モデリング」松浦健太郎 という本を書きました - StatModeling Memorandum
僕が筆者なので、この記事は書評ではなく紹介になります。まずこの本はRのシリーズの一冊にもかかわらずStanという統計モデリングのためのプログラミング言語の方がメインです。このようなわがままを許してくれた、ゆるいふところの深い石田先生と共立出版には感謝しかありません。 StanとRでベイズ統計モデリング (Wonderful R) 作者:健太郎, 松浦発売日: 2016/10/25メディア: 単行本 目次と概要 共立出版のページを見てください。GitHubのリポジトリもあります。 前提とする知識 「はじめに」の部分で触れていますが、確率と統計の基本的な知識はある方、R（やPython）で簡単なデータ加工や作図が一通りできる方を想定しています。そのため、確率分布なんて聞いたことがない、プログラミングがはじめて、Rがはじめて、という方が読み進めるのは厳しいかもしれません。なお、Rの基本的な関数し
AIC & BIC vs. Crossvalidation | R-bloggers
[This article was first published on Are you cereal? » R, and kindly contributed to R-bloggers]. (You can report issue about the content on this page here) Want to share your content on R-bloggers? click here if you have a blog, or here if you don't. Model selection is a process of seeking the model in a set of candidate models that gives the best balance between model fit and complexity (Burnham
e-Stat APIバージョン2.1をRから使う - Technically, technophobic.
e-Stat APIがちょっとバージョンアップしていて、統計データ取得APIのデータ形式にCSVが追加されました。 前にRからe-Stat APIを使ったときはちょっとJSONをdata.frameに直すのが大変すぎて、 estatapiというパッケージをつくったんですが、 …ひょっとしてもうパッケージいらない？と思ったので試してみました。 変更点 JSON形式のパスはこうでした。 http://api.e-stat.go.jp/rest/<バージョン>/app/json/getStatsData?<パラメータ群> CSV形式のはこうなります。2.1以降でしか使えないので今のところ<バージョン>には2.1一択です。 http://api.e-stat.go.jp/rest/<バージョン>/app/getSimpleStatsData?<パラメータ群> 参考：政府統計の総合窓口（e-Stat
Rで計量時系列分析：VARモデルから個々の時系列データ間の因果関係を推定する - 渋谷駅前で働くデータサイエンティストのブログ
前回の記事ではVARモデルの基礎までを取り上げました。ということで、今回はVARモデルに基づいて異なる時系列同士の因果関係を推定する3つの手法について取り上げてみようと思います。 ということで毎回毎回しつこいですが、使用テキストはいつもの沖本本です。 経済・ファイナンスデータの計量時系列分析 (統計ライブラリー) 作者:竜義, 沖本朝倉書店Amazon 以下タイトルにのっとってRで各モデルの挙動を見ながらやっていきます。 必要なRパッケージ＆サンプルデータ {vars}をインストールして展開して下さい。なお、Granger因果のグラフ構造表現及び偏Granger因果は、実はそもそもRでは実装されていません。ここだけMatlabの話題になりますので、悪しからずご了承を。。。 それから今回のサンプルデータですが、また{vars}同梱のCanadaでは芸がないので違うデータを使うことにします。沖
一階線形常微分方程式を使った流行語のモデル - 廿TT
モデル化 流行語は話題にする人が増えれば増えるほどさらに流行しやすくなり、ある時期を超えると忘れられていくと考えられる。 このダイナミクスをなるべく簡単な微分方程式で記述したいのでこのような仮説を置いた。 流行語の拡散スピードは話題にされる量に比例する 単位時間経過ごとに流行語を話題にする人は減っていく これを式で表すとこのようになる。 r は流行語の伝達スピードについての係数なので「拡散係数」とよぶことにする。 k は流行の減衰についての係数なので「忘却係数」とよぶことにする。 この方程式は解析的に解け、解は となる。 ただし r は話題が飽和する時期 τ を超えるとゼロになるものとした。 c は流行の規模に関わるパラメータと解釈できるが、今回は Google トレンドのデータを使うのであまり意味を持たない。Google トレンドの「人気度」はもともと適当にスケーリングされている。 キー
rstanでGLMMが簡単に実行できるglmmstanパッケージを作りました。 | Sunny side up!
すでに関数自体は作っていたglmmstanですが，それをパッケージ化しました。 関数名と同じ，glmmstanパッケージです。 インストール glmmstanパッケージは，CRANに登録していないので，install.packages()ではインストール出来ません。 そこで，GitHubにおいてあるパッケージをインストールするためのdevtoolsパッケージをまずインストールする必要があります。
📈統計的問題を回避するためのデータ解析のプロトコル (Zuur et al. 2010): 4 データの中にゼロがたくさんあるか？ - cucumber flesh
この記事では統計的問題を回避するためのデータ解析のプロトコル (Zuur et al. 2010)で扱われているゼロ過剰問題を取り扱っている。 uribo.hatenablog.com 離散値の整数かならるカウントデータの多くはポアソン分布に従うことが一般的である。しかし、ある生息地における生物の観察数やスポーツにおける試合の得点など、０を多く含むデータが存在する。 そうしたデータについて統計モデルを適用する場合、ポアソン分布や負の二項分布を仮定した一般化線形モデル GLMなどを行うと、ポアソン分布で期待されるよりも過剰（あるいは過少）にデータが観測されることがあり推定がうまくいかないことがある。そのデータのように０の割合が多いデータに対して有効なモデルがゼロ過剰なポアソン分布モデル Zero-inflated Poisson Distribution: ZIPモデルである。 📉 カウン
データの不備を統計的に見抜く (Gelman's Secret Weapon) - ほくそ笑む
リクルートの高柳さん、Yahooの簑田さんと共同で翻訳した本が出版されます。 「みんなのR」(原題：R for Everyone)です。 みんなのR -データ分析と統計解析の新しい教科書- 作者: Jared P. Lander,Tokyo.R（協力）,高柳慎一,牧山幸史,簑田高志出版社/メーカー: マイナビ発売日: 2015/06/30メディア: 単行本（ソフトカバー）この商品を含むブログ (7件) を見る この本は、統計言語 R のインストール・基本的な使い方から始まり、統計解析の基礎からちょっと高度な話題まで、幅広く取り扱っています。 特徴としては、 RStudio の使用を推奨 グラフィクスはすべて ggplot2 を使用 plyr, data.table, stringr といった、モダンな便利パッケージを使用*1 説明に使用されるデータはすべて Web からダウンロード可能 R
マイナーだけど最強の統計的検定 Brunner-Munzel 検定 - ほくそ笑む
対応のない 2 群間の量的検定手法として、最も有名なのは Student の t 検定でしょうか。 以前、Student の t 検定についての記事を書きました。 小標本問題と t検定 - ほくそ笑む しかし、Student の t 検定は、等分散性を仮定しているため、不等分散の状況にも対応できるように、Welch の t 検定を使うのがセオリーとなっています。 ただし、これら 2つの検定は分布の正規性を仮定しているため、正規性が仮定できない状況では、Mann-Whitney の U検定というものが広く使われています。 Mann-Whitney の U検定は、正規性を仮定しないノンパラメトリック検定として有名ですが、不等分散の状況でうまく検定できないという問題があることはあまり知られていません。 今日は、これらの問題をすべて解決した、正規性も等分散性も仮定しない最強の検定、Brunner-
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - tushuhei/statisticalDataModeling: Practice repo for the book "Statistical Modelling for Data Analysis"
過分散データへのGLM適用時のp値: Taglibro de H
densratio: New R Package for Density Ratio Estimation | R-bloggers
めったに起きないコンバージョンの成長の非定常ポアソン過程によるモデル - 廿TT
RPubs - RecursiveBayes