タグ

ブックマーク / qiita.com/stfate (2)

  • t-SNE-CUDAで大規模データの超速次元圧縮&可視化 - Qiita

    概要 以前t-SNEの説明記事を書きましたが,t-SNE-CUDAなるパッケージが出ていました. 名前の通りt-SNEをCUDAで高速化するものですが,HPML2018(High Performance Machine Learning 2018 Workshop)で発表されました. 論文 スライド 単にGPU実装がんばりました,だけではなくアルゴリズム上の工夫もしていて, SGDの更新式を物理の知見を用いてAttractive ForcesとRepulsive Forcesの項に分けた上で, 以下の各ステップの計算をCUDAで高速化しているようです. $P_{ij}$の計算 $P_{ij}$と$Q_{ij}$の積 Attractive forcesの計算 Repulsive forcesにおけるBarnes-Hut treeの構築 Replusive forcesのtree走査 低次元空

    t-SNE-CUDAで大規模データの超速次元圧縮&可視化 - Qiita
  • t-SNEによるイケてる次元圧縮&可視化 - Qiita

    こんにちは,クラスタリング&可視化おじさんです. 記事は「機械学習数学」Advent Calendar14日目です. (ちなみにAdvent Calendar初投稿です.よろしくお願いします) はじめに データ分析とか機械学習やられてる方は高次元データの次元削減と可視化よくやりますよね. この分野の代表選手といえばPCA(主成分分析)とかMDS(多次元尺度構成法)ですが, これらの線形変換系手法には以下の問題があります. 高次元空間上で非線形構造を持っているデータに対しては適切な低次元表現が得られない 「類似するものを近くに配置する」ことよりも「類似しないものを遠くに配置する」ことを優先するようアルゴリズムが働く 1.に関して,よく例に出されるのがSwiss roll dataset(下図)のようなヤツですね. PCAはデータが多次元正規分布に従うことを仮定しているので, その仮定から

    t-SNEによるイケてる次元圧縮&可視化 - Qiita
  • 1