Sparkでコサイン類似度を求める - Qiitaたまに、レコードが持つ変数間でコサイン類似度を計算したい時があるので、備忘として書いておく なお、以下の例で扱うデータは、適当なIDと紐づけられたベクトルをもつデータフレームとする。 from pyspark.mllib.linalg import Vectors data = sc.parallelize([ ("a", Vectors.dense([0, 1, 2])), ("b", Vectors.dense([3, 4, 5])), ("c", Vectors.dense([6, 7, 8])) ]).toDF(["id", "features"]) # 適当に交差結合で組み合わせデータ _data = data.select(col("id").alias("_id"), col("features").alias("_features")) tgt_data = data.cr
https://github.com/apache/spark/blob/master/mllib/src/main/scala/org/apache/spark/ml/recommendation/ALS.scala
How to get cosine similarity scores for all users and all the items in PySpark, if user's and item's embeddings are given?
Join two Spark mllib pipelines together
Extracting, transforming and selecting features - Spark 3.5.2 Documentation
