[B! ml] t_horieのブックマーク

How to bootstrap installation of Python modules on Amazon EMR?

t_horie 2021/07/21

bootstrap actionでpipを入れる

ml
EMR

リンク

PySpark Collaborative Filtering with ALS

t_horie 2021/07/19

ALSモデルの交差検証

ml
pyspark

リンク

Sparkでコサイン類似度を求める - Qiita

たまに、レコードが持つ変数間でコサイン類似度を計算したい時があるので、備忘として書いておくなお、以下の例で扱うデータは、適当なIDと紐づけられたベクトルをもつデータフレームとする。 from pyspark.mllib.linalg import Vectors data = sc.parallelize([ ("a", Vectors.dense([0, 1, 2])), ("b", Vectors.dense([3, 4, 5])), ("c", Vectors.dense([6, 7, 8])) ]).toDF(["id", "features"]) # 適当に交差結合で組み合わせデータ _data = data.select(col("id").alias("_id"), col("features").alias("_features")) tgt_data = data.cr