タグ

ブックマーク / hoxo-m.hatenablog.com (5)

  • R で超簡単に並列処理を書けるパッケージ pforeach を作った - ほくそ笑む

    ※この記事は R Advent Calendar 2014 : ATND の 22 日目の記事です。 0. この記事の要約 R の foreach パッケージを改良して、デフォルトで並列計算するようにしたパッケージ pforeach を作りました。 pforeach - Easy to parallel processing in R これにより、R での並列計算を下記のようにシンプルに書くことができます。 library(pforeach) pforeach(i = 1:100)({ i ** 2 }) これは、従来の foreach で次のように書いたものと同じ動作をします。 library(foreach) library(doParallel) cl <- makeCluster(detectCores()) registerDoParallel(cl) foreach(i = 1

    R で超簡単に並列処理を書けるパッケージ pforeach を作った - ほくそ笑む
  • ベイズ統計の入門書が出版ラッシュなのでまとめてみた - ほくそ笑む

    【宣伝】2016/09/14 このページに来た方へ。あなたが求めているはこれです。 StanとRでベイズ統計モデリング (Wonderful R) 作者: 松浦健太郎,石田基広出版社/メーカー: 共立出版発売日: 2016/10/25メディア: 単行この商品を含むブログ (10件) を見るまずこれを予約してから下記を読むといいです。 【宣伝終】 最近、ベイズ統計の入門書がたくさん出版されているので、ここで一旦まとめてみようと思います。 1. 基礎からのベイズ統計学: ハミルトニアンモンテカルロ法による実践的入門 (2015/6/25) 基礎からのベイズ統計学: ハミルトニアンモンテカルロ法による実践的入門 作者: 豊田秀樹出版社/メーカー: 朝倉書店発売日: 2015/06/25メディア: 単行この商品を含むブログ (6件) を見る データ分析業界ではかなり有名な豊田秀樹先生のです

    ベイズ統計の入門書が出版ラッシュなのでまとめてみた - ほくそ笑む
  • 欠測データの相関係数の推定法について発表しました - ほくそ笑む

    先日行われた BUGS/stan勉強会 #3 で発表させていただきました。 タイトルは「Stan で欠測データの相関係数を推定してみた」です。 欠測データに対して相関係数を求めるとき、普通のやり方では実際の値より小さい値になってしまいます。そこで、片側だけしか観測できていない不完全データを用いて推定精度を上げる方法を紹介しています。 スライドは下記にアップしています。 Stan で欠測データの相関係数を推定してみた from hoxo_m 最終的なコード全体はこちらに載せています。 Stan の勉強にあたっては、ごみ箱さん、beroberoさん、伊東さんにアドバイスを頂きました。ありがとうございます。 hoxo_mさんのバイアスの掛かったデータの相関係数の問題、よく使われる統計手法からの発展としてすごくいい例だし、片方しか観測されていないデータを使ってもあれほど改善するとは驚いた。#Tok

    欠測データの相関係数の推定法について発表しました - ほくそ笑む
    Diomedeidae
    Diomedeidae 2014/07/15
    欠損値を含むデータを扱うのは結構頭が痛い問題なので参考になります。
  • 主座標分析について簡単に紹介するよ! - ほくそ笑む

    今日は主座標分析(Principal Coordinate Analysis; PCoA)の紹介を簡単にしたいと思います。 主座標分析は古典的多次元尺度構成法(Classical Multidimensional Scaling; CMDS)とも呼ばれる統計解析手法です。 この解析手法を使用する主な目的は、高次元のデータを2次元や3次元に落として視覚化したいという時に使います。 以前紹介した主成分分析と同じような感じですね。*1 主成分分析との違いを簡単に言うと、主成分分析はユークリッド距離をなるべく保ちながら低次元に落とす方法ですが、主座標分析はユークリッド距離だけでなく、他の距離や類似度*2が使えるという点にあります。 例えば、ユークリッド距離の代わりに相関係数を使えば、相関の高いもの同士が近い配置になるようなプロットを作ることが可能です。 データを用意する さっそくやってみたいのです

    主座標分析について簡単に紹介するよ! - ほくそ笑む
    Diomedeidae
    Diomedeidae 2014/01/15
    主座標分析についての解説。Rのコード有。
  • log 変換する?しない?AICでモデル比較するときの注意点 - ほくそ笑む

    データを分析にかける前に、出力変数を log 変換する、というのはよくあることだと思います。 次のデータを見て下さい。 このデータ、線形モデルに当てはめる前に log 変換したほうがよさそうだなーというのが見てとれます。 それもそのはず、このデータは次のように作っています。 N <- 100 x <- runif(N, min = 1, max = 2) y <- exp(x + rnorm(N, sd = 0.3)) data <- data.frame(x, y) それでは、log 変換しないバージョンと、するバージョンでモデルを作成して、AIC を比較してみましょう。 model <- lm(y ~ x, data) model.log <- lm(log(y) ~ x, data) aic <- AIC(model, model.log) print(aic) ## df AIC

    log 変換する?しない?AICでモデル比較するときの注意点 - ほくそ笑む
    Diomedeidae
    Diomedeidae 2013/12/24
    ちなみにlmの代わりにglmを使ってリンク関数に対数を指定することで同じ結果が得られるようですね。しかし複雑な変数変換を要するときにはこのやり方が役に立ちますね。
  • 1