タグ

2016年2月24日のブックマーク (3件)

  • non-Negative Matrix Factorization (NMF) - naoyaのはてなダイアリー

    以前に Latent Semantic Indexing (LSI) や HITS 絡みで SVD や主成分分析について少し書きました。 http://d.hatena.ne.jp/naoya/20090212/latent_semantic_indexing http://d.hatena.ne.jp/naoya/20090301/hits LSI では SVD を使って単語文書行列を分解し、低階数近似を行います。これにより、似たような次元をまとめたりといった効果が得られるのでした。自分の考察では HITS も同様のことを行っているという認識でした。 さて、集合知プログラミングを読んでいたら、第10章で "non-Negative Matrix Factorization" (非負値行列因子分解, 以下NMF) という手法が出てきました。NMF も SVD や主成分分析に同じく行列を分解

    non-Negative Matrix Factorization (NMF) - naoyaのはてなダイアリー
    teddy-g
    teddy-g 2016/02/24
    NMFのアルゴリズムの簡易な説明。というかCollective Intelligenceに書いてある内容の概略。
  • すべてがMFになる - Fire and Motion

    すべてがFになる,映像化するみたいですね.犀川創平も西之園萌絵も配役がイメージと違って一部で話題になっていました.さて,最近テンソル分解を使った論文をよく見かけるのですが,いまだにきちんと整理できずにいます.テンソルかわいいよ,テンソル. そこで,まずは行列分解(matrix factorization, matrix decomposition)を整理してみようと思います.行列の分解手法というと線形代数的な観点からは簡単に思いつくだけでも 固有値分解 LU分解 コレスキー分解 などがありますが,これらは分解前の行列と分解後の行列が一致する(たとえばA=LU)方法です.一方で,機械学習やデータマイニング界隈(特にレコメンデーション等)で出てくる行列分解というのは,大規模データや関係性データの中から低ランクの構造を抽出することや次元圧縮を目的としています.なので,正確に言うならば,行列分解と

    すべてがMFになる - Fire and Motion
    teddy-g
    teddy-g 2016/02/24
    SVD、PCA、CUR分解、NMFの違いと類似性を図を使って説明してる。直感的に理解するのによい。
  • 統計学入門−第16章

    第1主成分スコアの各変数の係数(重み)を見ると、符号が全て正のため合計点的な主成分つまりレベルを表す主成分であることがわかります。 そして国語と英語と社会の成分の絶対値が数学と理科よりも少し小さいことから、国語と英語と社会の重みを少し軽くして合計していることがわかります。 実際、表16.2.1の合計点と第1主成分スコアを比較すると、大小関係がよく似ていることがわかります。 そしてこれらの間の相関係数を計算すると0.976であり、非常に高い相関があります。 しかし5番目の生徒と16番目の生徒の合計点はどちらも271ですが、第1主成分は-11.9909と-1.65413であり、5番目の生徒の方が少し小さくなっていることがわかります。 これは5番目の生徒は国語と英語と社会の点数が数学と理科の点数より高いのに対して、16番目の生徒はその反対の傾向があるためです。 一方、第2主成分スコアの係数の符号

    統計学入門−第16章
    teddy-g
    teddy-g 2016/02/24
    長いけどじっくり読むとPCAの意味がよく分かる。特に主成分負荷量。