機械学習における欠損値補完について考える - rmizutaの日記
※この記事で使用している多重代入法のパッケージは正式な多重代入法の枠組みとは異なりますのでご注意願います。 はじめに 最近多重代入法という欠損値補完の手法があることを知りました。 統計学の界隈では欠損値補完は多重代入法を使用するのがベターのようですが、 機械学習の文脈ではあまりその手法が使用されている形跡がなかったので、 なぜそうなのか調査・実験した結果を記述します。 参考資料 欠測データ処理: Rによる単一代入法と多重代入法 欠損値について 欠損には大きく以下の３種類があります。 ・MCAR(Missing Completely At Random):完全にランダムに欠損 ・MAR(Missing At Random):観測データに依存する欠損 ・MNAR(Missing Not At Random):欠損データに依存する欠損 多くの学習器は欠損値を入力できないので欠損値に対応する必要が
欠測データの相関係数の推定法について発表しました - ほくそ笑む
先日行われた BUGS/stan勉強会 #3 で発表させていただきました。 タイトルは「Stan で欠測データの相関係数を推定してみた」です。 欠測データに対して相関係数を求めるとき、普通のやり方では実際の値より小さい値になってしまいます。そこで、片側だけしか観測できていない不完全データを用いて推定精度を上げる方法を紹介しています。 スライドは下記にアップしています。 Stan で欠測データの相関係数を推定してみた from hoxo_m 最終的なコード全体はこちらに載せています。 Stan の勉強にあたっては、ごみ箱さん、beroberoさん、伊東さんにアドバイスを頂きました。ありがとうございます。 hoxo_mさんのバイアスの掛かったデータの相関係数の問題、よく使われる統計手法からの発展としてすごくいい例だし、片方しか観測されていないデータを使ってもあれほど改善するとは驚いた。#Tok
多重代入法の書き方 公開用
6. 6 MARsBP (mmHg) Age 150 90 124 45 149 75 138 79 165 58 142 66 NA 34 NA 22 156 68 165 83 NA 23 160 55 NA 28 sBP (mmHg) Age 150 90 165 83 138 79 149 75 156 68 142 66 165 58 160 55 124 45 NA 34 NA 28 NA 23 NA 22 Age でソート 実際問題として、 MARなのか MNARなのか見 極めは非常に難 しい。 7. 7 多重代入法の流れ(I Step, P step) 欠測を含まない完全 データの平均ベクト ル、分散共分散行列 欠測を補った完全デ ータ Stochastic regresion etc. 欠測を補完した完全 データの平均ベクトル と分散共分散行列(事 後分布ができる) 完全
第14回 欠測値処理の理論と実際｜奥村泰之の情報公開
要項など 要項 日時: 2014/3/15 (土) 13:30-17:40 場所: 東京医科歯科大学 参加登録者数: 45名 (男性 31名，女性 14名, リピーター 29名)
欠損値があるデータの分析 | Sunny side up!
HAD11.3から，欠損値のあるデータを分析できるようになりました。 この記事では，欠損値の処理と，その推定方法について簡単に書きます。ただ，この記事は数式とかそういう話はないので，詳しいことを知りたい方は村山航さんの記事(PDFが開きます)や，広大の徳岡君の資料などを参考にしてみてください。これらはとてもよくまとまっていて，わかりやすいです。 欠損値の3つのタイプ 欠損値が生じる要因として，大きく分けて3つが考えられています（細かく言えばもっとある）。 データが，完全にランダムに欠損する データが，測定されている値に依存して欠損する（欠損データとは無関係） データが，欠損データに依存して欠損する 違いがちょっと分かりにくいですね。具体的に説明しましょう。 まず，データが完全にランダムに欠損するとは，データに反応しないのが，「たまたま」ということです。データになんにも依存していなくて，ほん
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
傾向スコアマッチと多重補完法の解説 その２
https://www.kamishima.net/archive/2005-tr-jsai_kbs-PR.pdf
http://stat.w3.kanazawa-u.ac.jp/sympo/30930.pdf
https://www.nstac.go.jp/sys/files/static/services/society_paper/25_05_01_PowerPoint.pdf
http://www.screencast.com/t/FtwNdBuQ5t1