プログラマのための文書推薦入門勤務先の社内勉強会での発表資料です。自然言語処理の基本として TF-IDF ベースの類似文書推薦について説明します。発展的な内容として LDA についても簡単に説明します。Wikipedia の要約データを対象として実際にコードを書いて文書推薦を試みます。Read less
4. MLlib(機械学習) - AMPcamp-ja
4. MLlib(機械学習) この章では「パーソナライズされた映画のリコメンド」という実例を通じて機械学習を学びます。 ここで使用するデータは、MovieLensによって取得された、ユーザが実際に映画を評価したデータ群で、以下のような規模のものです。 リコメンド総数：約1,000万件 ユーザ数：約72,000ユーザ 映画の種類：約10,000本 上記のデータは、training/data/movielens/largeに格納されています。 また高速に処理を行うためにデータ規模を小さくしたものがtraining/data/movielens/mediumに格納されています。 このデータは以下のような規模にそれぞれ縮小したデータセットです。 リコメンド総数：約100万件 ユーザ数：約6,000ユーザ 映画の種類：約4,000本 4-1. データセットの説明 training/data/movi
Pythonでコンテンツベースのレコメンドを作ったときに参考にしたURL
21 Nov 2015 とある経緯でPythonでコンテンツベースのレコメンドを習作として軽く作ってみました。その際に参考にしたURLをまとめておきます。 レコメンドについての説明で参考にしたURL レコメンドには様々な種類がありますが、その辺りを理解する上で役にたったサイトや書籍はこちらです。 【レコメンド】内容ベースと協調フィルタリングの長所と短所・実装方法まとめ こちらは協調フィルタリングの説明がメインのため今回の実装方法と異なりますが、非常にわかりやすく説明されておりおススメ。 プログラマのための文書推薦入門 コンテンツベースでの推薦についてまとめられています。今回のテーマだとこの資料がかなり有用でした。 『簡単・高速』なAmazonっぽいレコメンドcf_recommenderを開発して公開 協調フィルタリング（レコメンド）をredisとpythonで実装してみた こちらも同じ人の
非負値行列因子分解（NMF）によるレコメンドのちょっとした例 - About connecting the dots.
最近線形代数についていろいろ読みなおしたりしてるのですが（線形代数チートシートを前の記事でまとめてあります），その一環でレコメンドアルゴリズムについていくつか試してみたので，それを解説します．順序としては，基本の協調フィルタリング（ユーザベースド，アイテムベースド）→特異値分解（SVD）→非負値行列因子分解（NMF）になります． 基本的な考え方 ここで取り扱うのは，すべて以下のようなユーザ×商品のマトリックスをベースとしたレコメンドになります*1．ここでは映画レンタルサービスを例にして考えます．6人のユーザが，4つの映画*2のうちレンタル視聴したものについては，1-5点の5段階評価を行いました．0になっているものは「みていない」ということになります． まずはざっと評価の状況をみると，「千と千尋の神隠し」が最もよく視聴されていて，6人中4人がみています．次にみられているのは「となりのトトロ」
Spark MLlibの協調フィルタリングを活用したMovie Recommendation - KAZ log TechMemo
Sparkを触る機会が増えてきてるので、知識の棚卸しを兼ねてMLlib使ってレコメンデーションシステムを実装してみました。SparkSamit2014などMLlibのチュートリアル的に色々使われているSparkのMovie Recommendationですが、edXのIntroduction to Big Data with Apache Sparが内容的にも良さそうだったので、題材にしながら実装しました。本講座はSpark 1.3.1での実装ですが少し古すぎるので、1.6.1で使える機能は使う形でコード変えてます。 おおまかな手順 ①データの準備 元データを訓練、評価、テストデータにそれぞれ分割 ②評価数500以上の映画の中から平均評価点が高いものを表示 ③協調フィルタリングの実装 ④訓練データに自分をuserID"0"として加え、好きな映画を評価 ⑤自分の評価をもとに、アルゴリズムに映
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
レコメンドアルゴリズムの基本と周辺知識と実装方法
