Rで統計解析を行う際には、しばしばモデルからのデータの抜き出しや結果の描画が面倒です。それはパッケージ間で出力結果の形式が異なったり、出力された結果自体が複雑な構造を持つオブジェクトに格納されるためです。 それを解決するのがeasystatsパッケージ群であり、Qiitaでこの一年その便利さをたびたびご紹介してきました。 せっかくのAdvent Calendarなので、ここではそれらの記事の振り返りもかねて自分なりにeasystatsパッケージ群の便利さをご紹介したいと思います。 他の方による紹介記事であるeasystatsについて①: パッケージ群の紹介もご覧いただくと、より理解が深まるかと思います。 easystatsとは？ easystatsはRのパッケージ群です。このパッケージ群は、おっかないRの統計とそのやっかいなモデルたちを、手懐け、しつけて、うまく利用するための統合的で一貫し

前回のブログ記事は、論文紹介という地味なテーマだったにしてはだいぶ話題を呼んだ*1ようで、個人的にはちょっと意外な感があったのでした。確かに、今をときめくTransformerにも苦手なものがあるという指摘は、NN一強の現代にあってはセンセーショナルなものと受け止められても不思議はなかったかと思います。 しかし、それは同時に「データセットが持つ本質的な性質」と「データ分析手法の性質」とのミスマッチと、それが引き起こす問題とについてこれまであまり関心を持ってこなかった人が多いということなのかもしれません。そして、そのミスマッチは冗談でなく古来からある程度定まった類型があり、データ分析業界の古参なら「そんなの常識だよ」というものばかりだったりします。 ところが、最近僕の周囲でもそういうミスマッチが深刻な実問題を招いているケースが散見され、思ったよりもそれは常識ではないのかな？と思わされることが

CausalImpactについては、過去にこのブログでも何度か話題にしてきたかと思います。端的に言えば、seasonalityによるバイアスを補正するための実験計画であるDID（Difference in Differences：差分の差分法）によって得られたtest/controlグループの時系列データセットに対して、介入後期間において反実仮想(counterfactual)ベースラインを予測値として与えた上で、これと実測値との差を分析することで介入の因果効果を推定するというものです。以前このブログで取り上げた記事と、ill-identifiedさんの詳細な解説記事とを以下に挙げておきます。 実際の使い方については、このブログで取り組んだ事例の記事を以下に挙げておきます。これはコロナ禍における政府の人流抑制策が、現実としてどれくらいの効果があったかを検証しようとしたものです。 業界全体を

という質問を受けた。 結論から言うとおかしくない。メタアナリシスのweight は各研究内の分散 と研究間の分散により （fixed model の場合）もしくは（random effect model の場合） で決まるから、分散が小さい、すなわち推定精度の高い研究はweight が大きくなる。サンプルサイズが大きいと推定精度が増すので、サンプルサイズが大きいことがweight を大きくする要因だが、分散がそもそも小さいことも重要である。 とあるメタアナリシスで、サンプルサイズが114+115のKienast という研究（29%）より、サンプルサイズが33+23のBaudoという研究（57%）のほうがweight が大きい。 Baudo の研究だけ取り出してみると、分割表は であるが、周辺度数を固定したときに、この分割表の取りうる運命は、 を変動させて となる。 を変動させて、そのときの

こんにちは。データサイエンスチームの t2sy です。 この記事は DataScience by DATAHOTEL tech blog Advent Calendar 2017 の8日目の記事です。 2回に渡り、欠損データの可視化・検定・代入に関するCRANパッケージをご紹介します。 今回、ご紹介するCRANパッケージは以下になります。 VIM BaylorEdPsych imputeMissings mice 実行環境は R 3.3.2 です。 例として米国ボストン市郊外における地域別の住宅価格のデータセットである BostonHousing を扱います。BostonHousing データセットには以下のカラムがあります。 crim: 人口1人当たりの犯罪発生率 zn: 25,000 平方フィート以上の住居区画の占める割合 indus: 小売業以外のビジネスが占める面積の割合 chas

はじめに 千葉大学・株式会社Nospareの川久保です． 今回は，回帰モデルのうち，目的変数が連続変数ではなく，カウントだったり二値変数だったりする場合のモデルを含んだ一般化線形モデル（Generalized Linear Model, GLM）について解説します．また，GLMに変量効果を導入した一般化線形混合モデル（Generalize Linear Mixed Model, GLMM）も解説します． 一般化線形モデル（GLM） 線形モデル（LM）のおさらい 目的変数 $y_i \ (i=1,\dots,n)$ を説明変数 $x_i = (x_{i1},\dots,x_{ip})^\top$の線形結合で説明することを目的とした， $$ y_i = x_i^\top \beta + \varepsilon_i, \quad \varepsilon_i \overset{\mathrm{ii

SPPSによる多重ロジスティック回帰分析の結果の見方をわかりやすく解説　ロジスティック回帰モデルにおけるオッズ比とは？　偏回帰係数・AIC・Hosmer-Lemeshow（ホスマーレミショー）検定って何？ 前回の記事で多重ロジスティック回帰分析の方法についてご紹介させていただきました． ここでは多重ロジスティック回帰分析の結果の見方についてご紹介させていただきます．

naniarパッケージを用いた方法 library("naniar") Little (1988)の検定統計量を用いて、データが完全にランダムに欠落しているかどうか(MCAR)を評価する。この検定の帰無仮説は、データがMCARであるというもので、検定統計量はカイ二乗値である。 mcar_test(airquality) 結果。 statistic df p.value missing.patterns 1 35.1 14 0.00142 4 P値が5%以下であるため、このデータは完全にランダムに欠損値が発生しているわけではないことがわかる。 mistyパッケージを用いる方法 library(misty) na.test(airquality) 結果。 Little's MCAR Test n nIncomp nPattern χ² df pval 153 42 4 35.11 14 0.0

統計の分野の人がリコードと呼ぶ作業をPhindで実験してみた。リコードという呼び方は方言(ジャーゴン)だそうで、プログラミングの分野ではnormalizeかcanonicalizeと呼ぶらしい。統計でnormalizeというと正規分布を用いて0から1までの数字にすることなどを指すことが多いので、まだまだ難しい問題が横たわっている。少なくとも、現在のAIでは詳しく作業内容(プロンプト)を説明しないといけない。 Phindのコマンド Rのコードを作成してください。 dataというデータフレームにtimeという変数が入っており、データタイプはnumeric型です。 値は1から7までの値をとります。dplyrパッケージを用いて、 値1を0.5に、2を0.75、3を1.5、4を2.5、5を3.5、6を4.5、7を欠損値に書き変えるコードを書いてください。 library(dplyr) data %>

これはR Advent Calendar2019の第1日目の記事です。 はじめに R言語の特徴として 統計解析向けの手法がたくさん実装されている CRANやGitHubに誰でもパッケージを公開できる というものがあるかと思います。他にも tidyverse パッケージ群の登場によってデータハンドリング、可視化周りが強くなったり、shiny パッケージでwebアプリが作れたりと最近は色々できるようになっていますが、上記の特徴は大きな特徴の一つと僕は思います。 さて、いろんな手法を別の人が実装した結果、各パッケージのアウトプットが異なるという問題がおこります。（手法が違えば出力が違うのはしょうがないのですが。）例えば、同じデータでいくつかの手法で試してみてその結果を比較したいとき。 model1 <- lm(Sepal.Length ~ Petal.Length, data=iris) mod

東京大学・株式会社Nospareの菅澤です． 今回は状態空間モデルによる時系列予測手法を用いた因果効果の推定手法であるCausalImpactについて紹介します． CausalImpactとは CausalImpactはGoogleによって開発された因果効果推定の方法です．手法の詳細はBrodersen et al. (2015, AoAS)に記載されており，手法を実装したRパッケージも公開されています． CausalImpactは，ある介入が時間変化するアウトカムにどのような影響を与えるかを推定（推測）するための手法です．時間変化するアウトカム（時系列データ）に対して因果効果を推定する有名な方法としてDifference-in-Difference (DID)がありますが，DIDよりも緩い仮定のもとで時間変化する因果効果を推定できる方法として知られています． CausalImpactのコ