タグ

sparkとfilteringに関するishideoのブックマーク (1)

  • PySparkで協調フィルタリング - Qiita

    ratingの名前の通り、「ユーザーがその商品にどれだけ評価値を付けたかどうか」が来の使い方になりますが、上記の通り「商品を購入したかどうか」、または「ページにアクセスしたかどうか」といったデータでも実装は可能です。前者の場合は「ユーザーがその商品を購入するスコアはどのくらいか」、後者は「ユーザーがそのページにアクセスするどのくらいか」を予測するモデルになります。 学習データを加工する ユーザーIDや商品IDがint32の最大値(2,147,483,647)までしか扱えないため、それを超えるIDがある場合にIDを改めてナンバリングし直します。また整数値しか扱えないので、文字列含まれる場合も同様にナンバリングし直します。 IDが整数値かつint32の最大値を超えない場合は、この工程は飛ばしてください。 #!/usr/bin/env python # -*- coding: UTF-8 -*

    PySparkで協調フィルタリング - Qiita
  • 1