非負値行列因子分解(NMF)とK-meansが等価である話 - Qiita
NMF(Non-negative Matrix Factorization)とK-meansが等価であるという話を聞いたので参考論文を基にメモ書き程度に残しておきます。 なお、本稿では簡単な対称NMFについてしか記述しないので、それ以上を求める方は参考論文を辿って下さい。 NMF(Non-negative Matrix Factorization) 各成分が非負であるデータ行列$X=[\boldsymbol{x}_1 , ..., \boldsymbol{x}_n] \in \mathbb{R}^{p \times n}$であるとする(画像の各ピクセル値がデータ数分の行列となっている状態)。NMFではSVDやPCA等と異なり、この行列を非負行列で近似する。要するに下のようになる。 $F$ : $[ \boldsymbol{f}_1 , \ldots, \boldsymbol{f}_n] \
Nonnegative Matrix Factorization:NMFの最適化法についてのまとめ - 楡楡
この記事について この記事はNMFの最適化方法についてまとめたものです。 基本的には、追加の制約なしのNMFの高速化手法についてになります。 筆者の研究サーベイは2015年ほどで止まっているのでそれ以降の研究はフォローしていません。 注意してください。 また、この記事は2015年10月に投降した記事の修正版になります。 何故、修正版を2年後に再度公開しているか？そういう気分になったためです。 Nonnegative Matrix Factorization 非負値行列分解(Nonnegative Matrix Factorization:NMF)は，非負の行列を低次元な非負行列の積に分解する手法 制約はすべての行列のすべての要素が非負 最適化問題は、以下になる。 (非負制約は省略）を最小化することになる。 しかし、この問題はU,Vに対して同時に凸ではないので、 1. 片方を固定してもう片方
Robust NMF 論文リスト（適当版） - 北の大地から
2016 - 08 - 29 Robust NMF 論文リスト（適当版） Robust NMFについて，Robustという言葉が混じっている論文のリスト． 把握しきれていないけど読んで実装して実験環境もあわせて可能な限り公開していきたい． Robust NMF NMFは主にFrobenius normの二乗かKL-divergenceを用いた目的式の最適化を行う． しかし，これらはGaussian NoiseとPoisson Noiseを考慮した場合において最適になるモデル． そのため，ある値が極端に変な値を取るようなImpulse noiseや Laplace noiseに対しては頑健じゃない． 具体的には，Frobinus normの二乗を目的式に用いた場合，2乗で評価されるために極端な値に引っ張られるということがおきる． Robust NMFはこれらのnoiseに対してr
A Deep Semi-NMF Model for Learning Hidden Representationsを読んだ( ICML'14) - 北の大地から
2016 - 01 - 17 A Deep Semi-NMF Model for Learning Hidden Representationsを読んだ( ICML'14) 行列を並べるとdeepになるという話をどこかで耳に挟んでいたので，その論文か定かじゃないけど，それらしき論文があったので読んだ． 記法 非負の行列を ，制約なしの行列を とする． モチベーション まず，Semi-NMFっというのは何かというと NMFは非負の行列を非負の２つの行列の積に分解する手法． Semi-NMFは分解後の行列の片方の非負制約をとっぱらった手法． （分解前の行列も非負じゃなくてよくなる） Semi-NMFは 個のデータを 次元特徴で表現するようなデータを行列 で表現した場合に が非負のため， クラスタ へのソフトなメンバーシップを表していると解釈できる．だからソフト クラスタリング とし
NMFアルゴリズムの紹介 その② GCD - 北の大地から
2015-10-05 NMFアルゴリズムの紹介 その② GCD 研究が進んでいないので，記事を書いて，モチベーションを高めることに．．．． 今回の紹介アルゴリズムはNMFで現在(2015年10月)で最速といわれている(筆者の知る限り）手法Greedy Coordinate Descent Algorithmの紹介です． 元論文は， Hsieh, C.-J., & Dhillon, I. S. (2011). Fast coordinate descent methods with variable selection for non-negative matrix factorization. In ACM SIGKDD (pp. 1064–1072). https://www.google.co.jp/url?sa=t&rct=j&q=&esrc=s&source=web&cd=3
高速な非負値行列分解（Nonnegative Matrix Factorization:NMF)についての簡単まとめ - 北の大地から
2015-10-03 高速な非負値行列分解（Nonnegative Matrix Factorization:NMF)についての簡単まとめ 非負値行列分解(Nonnegative Matrix Factorization:NMF)は，非負行列を低次元な非負行列の積に分解する手法 この行列を見つけるために (非負制約は省略) を最小化することになる． しかし，この問題はU,Vに対して同時に凸ではないために，片方を固定して最適化するを交互に行う交互最適化を行う必要がある． この交互最適化はEMアルゴリズムのように，大域最適解の保証はされない． 実際に，非負制約もあることで，NMFの大域最適解を見つけることはNP-hardであることがVavasisらによって示されている． この記事では，どのような手法があるのか列挙し，コメントを残すだけで，詳しい言及は避ける．（気力があれば少しずつ
NMFアルゴリズムの紹介 その① HALS - 北の大地から
2015-10-04 NMFアルゴリズムの紹介 その① HALS 昨日は，NMFの簡単なまとめをしたが，今回は，その一つの手法を取り上げることにします． 本当はMultiplicative Update ruleを最初に取り上げるべきなのでしょうが， 既に多くの記事で取り上げられているので，同じ内容を二度もやる必要はないだろうということで省きます． わかりやすい記事としては， Non-negative Matrix Factorization（非負値行列因子分解） - あらびき日記 Natureの例などを載せてくれていて，非常にわかりやすいです． smrmkt.hatenablog.jp リコメンデーション等の例もあり，直観的にわかる内容の記事になっています．なんとなくNMFを試してみるかという場合は，Multiplicative Update ruleで問題ありません． し
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.kecl.ntt.co.jp/people/kameoka.hirokazu/publications/Kameoka2011MUS07.pdf
Efficient initialization for nonnegative matrix factorization based on nonnegative independent component analysis
Quick Intro to NMF (the Method and the R Package) | R-bloggers