はてなブックマーク

Sparkを触る機会が増えてきてるので、知識の棚卸しを兼ねてMLlib使ってレコメンデーションシステムを実装してみました。SparkSamit2014などMLlibのチュートリアル的に色々使われているSparkのMovie Recommendationですが、edXのIntroduction to Big Data with Apache Sparが内容的にも良さそうだったので、題材にしながら実装しました。本講座はSpark 1.3.1での実装ですが少し古すぎるので、1.6.1で使える機能は使う形でコード変えてます。 おおまかな手順 ①データの準備 元データを訓練、評価、テストデータにそれぞれ分割 ②評価数500以上の映画の中から平均評価点が高いものを表示 ③協調フィルタリングの実装 ④訓練データに自分をuserID"0"として加え、好きな映画を評価 ⑤自分の評価をもとに、アルゴリズムに映

カーネルやら何やらを理解するために、非線形計画法を勉強中。 で、その前に線形計画法で実際に手を動かしたくなったので無償で使えるPuLPを使ってみた。 今回例題として解いたのは「これならわかる最適化数学」の第6章、線形計画法。 似たような例題がいくつか並ぶので、ピックアップしてPuLPでモデル化してみた。 【例題6.2】(P161) 2種類の容器A,Bを作るのに, 機械M1,M2を使う. 容器Aを1個作るのにM1を2分, 機械M2を4分使う必要がある.一方,容器Bを1個作るのに、機械M1を8分,機械M2を4分使う必要がある. 容器A,Bを作る利益は一つあたりそれぞれ29円,45円である. 利益を最大にするにはどのように計画すれば良いか. 利益を目的関数f、容器の個数をそれぞれx,yを問いてモデル化すると式は下記のようになる。 制約条件: 2x + 8y <= 60 4x + 4y <= 60

import numpy as np from numpy.linalg import inv import pandas as pd from pylab import * import matplotlib.pyplot as plt def func(x_train, y_train): # (3.4) Gaussian basis function def phi(s, mu_i, M, x): return np.array([exp(-(x - mu)**2 / (2 * s**2)) for mu in mu_i]).reshape((M, 1)) #(3.53)' ((1.70)) Mean of predictive distribution def m(x, x_train, y_train, S): sum = np.array(zeros((M, 1))) for

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?