PyTorchでもMatrix Factorizationがしたい！
『PyTorchのautogradと仲良くなりたい』でPyTorchに入門したので、応用例としてMatrix FactorizationをPyTorchで実装してみようね 1。 Matrix Factorization Matrix Factorizationは以前『Courseraの推薦システムのコースを修了した』でも触れたとおり、ユーザ-アイテム間の $m \times n$ 行列を、ユーザの特徴を表す行列 $P \in \mathbb{R}^{m \times k}$ (user factors) とアイテムの特徴を表す行列 $Q \in \mathbb{R}^{n \times k}$ (item factors) に分解する： これを二乗損失のSGDで素直に実装すると、user_factors と item_factors の更新や評価値予測はこんな感じ： import nump
Tucker分解の導出と実装 - でかいチーズをベーグルする
CP分解の次はTucker分解を導出して実装する。丁寧にTucker分解の導出を説明してる文献（Web含め）が全然なかったので、自分で書く。CP分解についてはある程度知ってる前提とする。CP分解についてはこちらから。 yamaguchiyuto.hatenablog.com まとめ Tucker分解とは ALSでTucker分解の更新式の導出 PythonでTucker分解を実装 人工データを使って実験 Tucker分解とは Tucker分解は、テンソルを１つのテンソル（コアテンソルと呼ぶ）と、それぞれのモードに対して一つずつの行列に分解する。 上の図の例では、もとのテンソルのサイズは IxJxK だけど、これをコアテンソルのサイズの RxSxT (R<=I, S<=J, T<=K) まで小さくしている。また、あとで説明するけど、行列 U、V、W は全て直行行列となるように分解する。このコ
Alternating Least Square (ALS) でCP分解 - でかいチーズをベーグルする
テンソル分解の基本中の基本のCP分解を導出して実装した。最適化の方法は色々あるらしいけど多分いちばんよく使われる Alternating Least Square (ALS) を使った。ちなみにここでテンソルって呼んでるのはただの多次元配列のこと。 まとめ CP分解とは AlSによるCP分解の更新式を導出 ALSによるCP分解をpythonで実装 人工データを使って実験 CP分解とは CP分解が何かを知るためには、まず Matrix factorization (MF) について知ると良い。 MFでは、N x M 行列 X を以下のように分解する ここで、は N x R 行列で、は M x R 行列。この分解を要素ごとに書くとこうなる つまり要素 を なんかよくわからない次元のベクトル との内積で表現することにしましょうと言っているわけ。 じゃあこの と っていうベクトルたちをどうやって求
Mining Large Time-evolving Graphs Using Matrix and Tensor Tools
3-1 CMU SCS Roadmap • Motivation • Matrix tools • Tensor tools • Case studies • Tensor Basics • Tucker – Tucker 1 – Tucker 2 – Tucker 3 • PARAFAC • Incrementalization CMU SCS Tensor Basics 3-3 CMU SCS Reminder: SVD – Best rank-k approximation in L2 A m n Σ m n U VT ≈ See also PARAFAC 3-4 CMU SCS Reminder: SVD – Best rank-k approximation in L2 A m n ≈ + σ1u1°v1 σ2u2°v2 See also PARAFAC 3-5 CMU SCS
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Random Matrix Theory Proves that Deep Learning Representations of GAN-data Behave as Gaussian Mixtures
The Society for Industrial and Applied Mathematics
Minimax optimal alternating minimization \\ for kernel nonparametric tensor learning
Reweighted Low-Rank Tensor Decomposition based on t-SVD and its Applications in Video Denoising
https://www.cis.jhu.edu/~rvidal/talks/learning/StructuredFactorizations.pdf