Robust PCA (Principlal Component Pursuit) の実装 - やったことの説明
はじめに 多変量データは実世界の様々なところで現れる(e.g., 画像、音声、動画)．これらの多変量データの多くは、データ自体がもつ次元 (e.g., ピクセル数)よりも小さい次元(自然画像の多様体的なやつ)で表現することができる． データから低次元の構造(低ランク行列)を取り出す代表的な方法として、PCAがある． しかし、実世界で観測されるデータには外れ値が含まれていることが多く、PCAはこの外れ値の影響を強く受けて低ランク行列を求めてしまうという性質がある． 外れ値にロバストに低ランク行列を推定する方法 (a.k.a., robust PCA)として、Principal Component Pursuitが提案されている． ここではPCPの簡単な説明と実装を行い、PCAと比較する． 低ランク行列 なんらかの低ランクな構造を持っている(日本語あやしい)多変量データは低ランクな行列とノイズ
株式会社ALBERT（レコメンドエンジン）
データ分析から導き出されたインサイト無しにAI（人工知能）の活用は始まりません。私たちは、各業界知識とデータ・アナリティクス技術を駆使しデータドリブン経営を強力に支援します。 データ、アナリティクス、AIは企業にとって競合他社との差別化を図るかつてないほど大きな要因になっています。今日の経営幹部が効率を向上しながら新たな収益源を開拓し、新しいビジネスモデルをタイムリーに構築する方法を模索する中、価値を生み出し成長を続ける企業には「データ活用」という共通項があります。私たちは、無数のデータから企業にとって本当に必要なデータを活用するための方法を知っています。 将来を見据えたオペレーション体制を備えている企業の半数以上（52％）は、すでにデータとアナリティクスを大規模に活用しています。データとAIに関する取り組みをビジネス戦略に沿って実施することで投資利益率を迅速に最大化し、最終的にはAIをビ
データの次元削減に関する資料集 - めも
次元削減とは データの次元削減(Dimensionality reduction) + データの可視化(Data Visualization) PCA Principal Component Analysis(PCA) randomized PCA Online Robust Principal Component Analysis(OR-PCA) 多様体学習 t-Distributed Stochastic Neighbor Embedding(t-SNE) Multidimensional Scaling(MDS) Isomap Locally Linear Embedding (LLE) Laplacian Eigenmaps(LE) Semidefinite Embedding (SDE) Latent Dirichlet Allocation(LDA) Labeled LDA P
次元削除 ( t-SNE ) - puyokwの日記
今回は、kaggle のOtto Group Production Classification Challenge の上位の方々が次元削除の手法としてt-SNE(t-distributed stochastic neighbor embedding) を使用されていたので調べてみようと思いました。個人的には、pca(主成分分析) ぐらいしか思い付かなかったのですが、それぞれ比較しながら見ていきます。 t-sne の詳細についてこちらを参考にするといいかと思います。 http://jmlr.org/papers/volume9/vandermaaten08a/vandermaaten08a.pdf こちらに書かれているようにt-SNE は高次元のものを2 または3 次元に写像するように作られています。とりあえず、R のtsne package を試してみます。(あとでより高速なRtsne
高次元データの次元削減および2次元プロット手法 - Qiita
はじめに 本記事はPython2.7, numpy 1.11, scipy 0.17, scikit-learn 0.18, matplotlib 1.5, seaborn 0.7, pandas 0.17を使用しています． jupyter notebook上で動作確認済みです．(%matplotlib inlineは適当に修正してください) SklearnのManifold learningの記事を参考にしています． 多様体学習と言われる手法について，sklearnのdigitsサンプルを用いて説明します． 特にt-SNEはKaggleなどでもたまに使用されている，多次元データの可視化に適した手法です． また可視化だけでなく，元のデータと圧縮されたデータを結合することで，単純な分類問題の精度を向上することができます． 目次 データの生成 線形要素に注目した次元削減 Random Proj
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
