【実践 機械学習】レコメンデーションをシンプルに、賢く実現するための3か条
これが行動履歴から傾向を判断し、推薦につなげていく基本的なアイディアになる。そして 共に好まれやすい傾向 をログから数値的に見つけ出してくれる機能を備えたのが、Mahoutというライブラリだ。 3. 高速な検索技術を活用する 今、きんモザとごちうさが共に好まれやすいという傾向がわかった。それでは、ここでもし新しい登場人物・サトシが "きんモザ BD" というキーワードでAmazonを検索していたら、Amazonのシステムはどう対応すべきだろう？ 答えはシンプルだ。すかさず、ごちうさのBDも こんな商品もいかがですか？ と表示すればいい。 （ここまで書いてから確かめたら案の定そうなった） これが現実的なシーンでの推薦システムの動きになる。傾向に基づいた推薦は闇雲に広告を打つよりよっぽど賢いし、効果的だ。 ただし、「きんモザで検索していたら、すかさずごちうさも表示する」という推薦処理は高速に行
EMR上でMahoutを使ってレコメンデーション | DevelopersIO
7月にAWS Big Data Blogというブログが始まったのですが、最初の記事がBuilding a Recommender with Apache Mahout on Amazon Elastic MapReduce (EMR)というタイトルでEMR上でMahoutを使ってレコメンデーションを行ってみるというものでした。EMR上でMahoutというと既にAmazon Elastic MapReduce入門 〜 Apache Mahoutでレコメンデーション！というエントリーがありますが、こちらはAmazon EMR CLIを使っていることもあり、ブログにしてみました。 Building a Recommender with Apache Mahout on Amazon Elastic MapReduce (EMR)について まず機械学習の概要について説明した上でMahoutを使って
mahoutでRandom Forestを使ってみるまでのメモ - そこに部品があるから
windows機に入れたPoderosaからセットアップを進めることにした。 セットアップされるのはESXiに入れたCentOS6.5 x64 sshでログインするためにすくなくともyum install opensshをしておくこと。 以下、rootで作業する ※これだけ見たらなんとなくすっきりする人のためにhistoryを貼っておく 4 rpm -ivh jdk-8u5-linux-i586.rpm 5 ls 6 wget http://archive.cloudera.com/cdh4/one-click-install/redhat/6/i386/cloudera-cdh-4-0.i386.rpm 7 yum --nogpgcheck localinstall cloudera-cdh-4-0.i386.rpm 8 yum ls 9 ls 10 rpm --import http:
Groovyで色々やってみた Apache Mahout をイジってみた
Javaバージョン：1.8.0 Apache Mahout： group: 'org.apache.mahout', name: 'mahout-core', version: '0.9' slf4j-log4j12： group: 'org.slf4j', name: 'slf4j-log4j12', version: '1.7.5' 開発環境：NetBeans 8.0 備考： NetbeansのGradle Supportを使用 バージョン：1.3.0 メモ： slf4j-log4j12に関しては本来必要ないかもしれないのですが、 テストの途中で必要になってしまい、やむなく導入することになりました。 その為、コード内にもlog4jに関する処理が少し入っています。 コード： package test import org.apache.mahout.cf.taste.impl.model
Cloudera Manager + EC2 で Mahout を5分（ぐらい）で動かす - Qiita
ゴール HadoopやMahoutはインストールから動く状態まで持っていくのに、慣れないうちは結構時間かかってしまいます。 しかし、これをさくっと終わらせることができます。 そう、Cloudera Managerならね。 さらにこれにEC2を組み合わせると、さらにさくっと終わらせることができます。 そんな訳で、今回はClouderaManager + EC2の組み合わせを利用して、まっさらな状態から Hadoopのインストール クラスタ構築 Mahoutのインストール デモ実行 までを5分（ぐらい）で終わらる手順を示したいと思います。 ※注 - サーバがEC2でなくても、大体似た感じでいけると思います - ほんとに5分（ぐらい）で終わるかどうかは、回線速度やサーバスペックによります。信じちゃいけません。 前提としている知識 EC2に関する基本的な知識 Hadoopに関する基本的な知識 ss
Apache Mahoutの使い方：テキスト分類のアルゴリズムを活用する
ビッグデータ活用：その分析実装として注目されるMahout 長年蓄積した企業内データや、ソーシャルネットワークサービス、センサ端末から集められる膨大なデータを活用し、企業における利益向上やコスト削減などに活用する動きが活発になってきました。 データの分析手段として最近とみに注目されている技術として「機械学習」があります。大規模データの処理を得意とする大規模分散処理基盤「Apache Hadoop」の強みを生かし、簡単に機械学習を行うためのライブラリが、「Apache Mahout」（以下、Mahout）です。 本稿ではMahoutを用いたデータ分析の例として「文書分類」を取り上げます。マシンを用いて分析実行する際の手順や陥りがちなポイント、チューニング方法の一例を紹介します。 Mahoutとは？ MahoutとはApache Software Foundationが公開しているOSSの機械
30分でできる分散レコメンデーション：パラメータを変更して、応用できるようにする。 - tetsuya_odakaの日記
仕事が忙しくて、更新に間があいてしまった。 前々回、前回のログでApache Mahout0.7で実装されている「Parallel ALS (Parallel Alternating Least Squares）アルゴリズム」をつかって、とても簡便にスケーラブルなリコメンデーションエンジンを構築してみた。 実行には、Amazon Elastic MapReduceのm1.mediumのインスタンスを使用した。Mahoutに付属するサンプルジョブは、m1.smallでも実行できるが、Hadoopの実行要件を考えれば、m1.medium以上で実行するのが適当。実際、「30分で構築するレコメンデーションエンジン」で利用したLibisetiデータのスケールでは、m1.smallを使うと、Heapが不足してジョブがエラーになってしまう。 さて、Libisetiのデータでは、λの値として0.20を選択
30分でできる分散レコメンデーション：パラメータを決定する。 - tetsuya_odakaの日記
先のログでは、Parallel ALS(Alternating Least Squares）による分散レコメンデーション環境を手っ取り早く用意して、チェコスロバキアの「Libimseti.czという出会い系サイト（http://www.libimseti.cz/）」の1700万件の評価データで、分散レコメンデーションを実行した。 Mahoutでの、Parallel ALSの実装には、２つのパラメータ（λと、フィーチャーの数）がある。実行用に用意したShellでは、λ=0.20、フィーチャーの数を20とした。これは、この２つのパラメータを変えて、簡単なシミュレーションをした結果から決定した。 Featuresの数 フィーチャーの数を20と50にし、RMSEを比較したところ以下の結果を得た。 フィーチャーの数は、縮約する次元を表しており、一見、多いほうがよい精度を得られるように感じられる。反面
Amazon EMRでMahoutのレコメンデーションのワクワク感を体験する：30分でできる分散レコメンデーション - tetsuya_odakaの日記
追記：2013/9/17 このログの続編の投稿が完了しましたので、記事の末にリンクを追加しました。これで、このログの方法を応用した分散レコメンデーションエンジンの構築もばっちり（のはず）です。 先のログでは、Parallel ALS(Alternating Least Squares)を用いたレコメンデーションの理論面のフォローアップと、Apache Mahoutでの実装を少し詳しくみた。 このアルゴリズムは極めてシンプルで、かつ、Apache MahoutではHadoop上でスケーラブルに実装されている。 Apache Mahoutは発展途上のプロジェクトなので、スケーラブルに実装されているアルゴリズムとそうでないアルゴリズムがあって、レコメンデーションについていえば、0.8では、アイテムベースのレコメンデーション、Slope Oneレコメンデーション、Parallel ALSを使ったレ
Apache Mahoutをローカル環境で実行する。 - 放浪するエンジニアの覚え書き
統計学的な話と平行して、機械学習についても進めて行きたかったのであるが、Hadoop MapReduceを使っての相関行列計算にかなりの時間を割いてしまった。 今回のログでは、Apache Mahoutをローカル環境で実行してみる。 Apache Mahoutのバージョンは0.7。ローカル環境は、Mac Book Pro (Mountain Lion）である。 注記（2013/8/14）；2013/7/25にMahout0.8がリリースされていたので、そちらへ変更。以下、「Mahout0.7」は「Mahout0.8」と読み替えてください。 Apache Mahoutは、ちょっと変わったプロジェクトだ。 「機械学習のツールを提供している」というよりも、「機械学習で使うための部品（アルゴリズム）を提供している」といった方が正確で、何をどうしたらいいのか分かりづらい。また、Hadoopと一緒に登
suz-lab.com - suz lab リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
Mahoutを使ったNaiveBayesによる機械学習 - Y's note
入門 ソーシャルデータ ―データマイニング、分析、可視化のテクニック 作者: Matthew A. Russell,奥野陽（監訳）,佐藤敏紀（監訳）,瀬戸口光宏（監訳）,原川浩一（監訳）,水野貴明（監訳）,長尾高弘出版社/メーカー: オライリージャパン発売日: 2011/11/26メディア: 大型本購入: 18人 クリック: 779回この商品を含むブログ (42件) を見る BigDataでの機械学習 膨大なデータに対して機械学習を行いたい時にlocalの端末一台では処理の時間が掛かりすぎてしまいます。学習、モデル作成、予測のそれぞれの処理を高速で行うための一つのSolutionがHadoop上で機械学習をしてしまうことだと思います。Hadoop上で機械学習をするための便利なライブラリとしてJAVAベースのMahoutがあります。この記事ではMahoutによるNaiveBayes分類学習を
第14回 データマイニング+WEB 勉強会＠東京( #TokyoWebmining 14th)－大規模分散データマイニング 祭り－ を開催しました - hamadakoichi blog
2011/10/16 "第14回 データマイニング+WEB 勉強会＠東京"を開催しました。 第14回 データマイニング+WEB 勉強会＠東京 ( #TokyoWebmining 14th)−大規模分散データマイニング 祭り−: Eventbrite Google グループ 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。 参加者ID・バックグラウンド一覧： 以下、全講師資料、関連資料、ツイートまとめです。 AGENDA： ■Opening Talk： O1.「データマイニング+WEB勉強会＠東京 について」(10分) 講師 ： id:hamadakoichi [Twitter:@hamadakoichi] オープニングト
Mahoutを実行できるまで – OpenGroove
Hadoopエコシステムの一員で機会学習のフレームワーク、Mahout。この分野は数学的素養、統計的学問のバックアップがないと云々とよく言われるが…「そんなこと言ってたらいつまでたってもできないんだよ。INPOSSIBLE is just opinion なんだよ！」と勝手に自分を奮い立たせてお試し導入してみた。 が、例によって躓きまくる。何も考えずにHadoop Hacks内Mahout Hacksに従ってソースからインストールしたら動かない。英語のフォーラムに書いてあったことだの、あれこれ試しまくったが、そもそもマシン上のHadoopはCDH4。yum install mahout であっさりCDH版インストール、環境変数も何も設定しなくとも動きましたよ…。 オプションも何も指定せずにmahoutコマンドを打つと、help？らしきものが出力される。 $ mahout MAHOUT_LO
第3回 Mahoutの環境構築とFP-Growthによるマーケットバスケット分析 | gihyo.jp
HadoopとMahoutをインストールする Hadoopのバージョンに注意 前回はマーケットバスケット分析の理論編として、アソシエーション分析とアプリオリアルゴリズムについて解説しました。今回は実践編として、Mahoutが実装しているアプリオリアルゴリズムを改良したFP-Growthを用いて、実際にマーケットバスケット分析を行ってみましょう。 そのための準備として、まずMahoutとHadoopをインストールする必要がありますが、 その際1つ注意する点があります。現在のMahoutの最新バージョンである0.7は、利用するHadoopのバージョンが0.20系である必要があります。しかし、Apacheの公式サイトからはすでにHadoopのバージョン0.20をダウンロードすることはできません。 Hadoopのバージョン0.20をお持ちでない方は、Cloudera社のページからダウンロードするこ
Mahout：環境構築 - HiiHahWIKI - making some notes for... -
Hadoopをセットアップ Mahout：環境構築 † Mahout in Actionを読んで勉強し始めました。 まずは環境構築から。 Mahout本ではMaven使えって書いてあったけど、使用するライブラリの依存関係が明確に見えないのがいやだったので（ちゃんと見れば見えるけどw）、必要な資材をDLして環境構築しました。 なお、Mahout本の最初の方ではHadoopはいらないけど、Hadoop上で実行するところまでやりたいので、Hadoopも合わせて構築してます。 ↑ Hadoopのセットアップ † HadoopはCDH3u6の0.20.2をインストールしてます。以下のURLよりtarballをDL。 http://www.cloudera.com/content/cloudera-content/cloudera-docs/CDHTarballs/3.25.2013/CDH3-Dow
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ビズリーチにおけるEMR（AWS）活用事例
Mahout使って分析しちゃいました。
Devsumi2013_15-c-7 アドテク・ターゲティング技術
ITニュース｜トピックス｜Infoseekニュース
