機械学習ライブラリ「Spark MLlib」で作る アニメレコメンドシステムPFN執行役員 ロボットソリューションズ担当VPの海野裕也が、2021年7月6日の東京大学大学院 情報理工学系研究科 戦略ソフトウェア特論（稲葉真理先生）にオンライン登壇し、「ロボットで世界を計算可能にするー計算機の中の世界と、現実世界のすりあわせ」と題して、PFNのロボット関連技術や自然言語処理技術についてお話しさせていただきました。 講義動画はこちらです https://youtu.be/73W_rJLlfw8
Spark MLlibでcos類似度の総当たり計算が高速に実行できるDIMSUMがすごい(2)理論編 - Coyote blog
$A$: $m \times n$行列($m»n$) $s$: cos類似度の最小値 $L$: 一行の中で非ゼロ要素の最大数 特異値を保存する場合 $A^{\rm T}A$を近似計算する目的 行列Aは($m \times n$)の大きさで、$m$が$n$に比べて非常に大きいとします。$A$を直接固有値分解(SVD)するとき、そのまま行うと$A=U\Sigma V^{\rm T}$となりますが、比較的小さい$n \times n$行列の$A^{\rm T}A$を固有値分解しても、$A^{\rm T}A=V\Sigma^{2} V^{\rm T}$となり、$\Sigma$と$V$は求めることができます。このようにして$A^{\rm T}A$を利用すると固有値分解を小さい計算量で実現することができます。しかしながら、$A^{\rm T}A$の計算量は大きいので、固有値の精度が落ちない範囲で近似計
【機械学習】Yahoo Newsの記事をMLlibのトピックモデル(LDA)でクラスタリングする。 - Qiita
Sparkシリーズ第３弾の記事です。MLlibのLDAを使ってYahoo Newsの記事をトピックモデル(LDA:Latent Dirichlet allocation)でクラスタリングしてみます。 第一弾 【機械学習】iPython NotebookでSparkを起動させてMLlibを試す http://qiita.com/kenmatsu4/items/00ad151e857d546a97c3 第二弾 【機械学習】Spark MLlibをPythonで動かしてレコメンデーションしてみる http://qiita.com/kenmatsu4/items/42fa2f17865f7914688d 0. 環境 OS: Mac OSX Yosemite 10.10.3 Spark: spark-1.5.0-bin-hadoop2.6 Python: 2.7.10 |Anaconda 2.2.0
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
