タグ

ブックマーク / shuyo.hatenablog.com (3)

  • PRML 12章 主成分分析を EM アルゴリズムで解いてみる - 木曜不足

    PCA を試す、PPCA を試す とくると、次は確率的主成分分析を EM アルゴリズムで解いてみよう。今回も R で実装。 さすがにそろそろコードが長くなってきたので、全体は github にて。 http://github.com/shuyo/iir/blob/master/pca/ema.r E-step と M-step のところくらいは載せておこうか。 しかし R にはどうして行列のトレースをとる関数がないのだろう。sum(diag(〜)) なんて、微妙にカッコ悪いんだけど。そう言えばノルムを取る関数もなかったな……。 ### E-step: # E[z_n] = M^-1 W^T (x_n - x^bar) (PRML 12.54) Ez <- t(M_inv %*% t(W) %*% xn_minus_x_bar); # E[z_n z_n^T] = sigma^2 M^-1

    PRML 12章 主成分分析を EM アルゴリズムで解いてみる - 木曜不足
  • PRML Wednesday (平日読書会) と読み始める人のための参考リンク集 - 木曜不足

    毎週決まった平日の夜に 「機械学習とパターン認識」(PRML) を読み進めようという PRML Wednesday のキックオフにのこのこ顔を出してきた。主催の naoya_t さん&参加者のみなさん、お疲れ様でした&ありがとうございました。 PRML-Wednesday : ATND ほとんど初顔の方ばかりの中で好き放題しゃべってしまい。まあ例によって反省はしていないのだけれど(苦笑)。 会であれこれ言ったこと(めんどくさいので、ここでもう一度繰り返すことはしないw)はあくまで「素人から出発して PRML をひと通り読み終わった個人が、その経験から感じたこと」であり、絶対の正解なんかではない。 気に入らなかったら「なるほど、お前の中では(ry」で片付けて欲しい。勉強なんて続かなかったら意味が無いので、自分が続けられる方法やスタンスを模索して選びとっていかないとしょうがないのだから。 PR

    PRML Wednesday (平日読書会) と読み始める人のための参考リンク集 - 木曜不足
  • R でベイズ線形回帰の予測分布 - 木曜不足

    一番は「やっぱりR覚えよう……」としみじみ実感したことかもしれない(苦笑)。 というわけで R 始めました。 同じことやっても仕方ないので PRML 3.3.2 のベイズ線形回帰による予測分布をやってみることに。 とはいえ、昨日インストールして、今日 R-Tips を読みながら使い始めたという、おしりに立派な殻がついた ひよこちゃんなので、心優しい人が突っ込んでくれることを期待して、 step by step で書いてみる。 R-Tips を読んで、R とは ベクトルと行列の操作が全ての基。とても便利に使えるようになっている ベクトルとスカラーを演算すると、スカラーが自然にベクトルに拡張される。たとえば v + 3 は ベクトル v の全要素に 3 を加えたベクトルを返す スカラーを取る関数にベクトルを与えることもできる。たとえばベクトル (1,2,3) を log() に入れると、(l

  • 1