mahoutでRandom Forestを使ってみるまでのメモ - そこに部品があるから
windows機に入れたPoderosaからセットアップを進めることにした。 セットアップされるのはESXiに入れたCentOS6.5 x64 sshでログインするためにすくなくともyum install opensshをしておくこと。 以下、rootで作業する ※これだけ見たらなんとなくすっきりする人のためにhistoryを貼っておく 4 rpm -ivh jdk-8u5-linux-i586.rpm 5 ls 6 wget http://archive.cloudera.com/cdh4/one-click-install/redhat/6/i386/cloudera-cdh-4-0.i386.rpm 7 yum --nogpgcheck localinstall cloudera-cdh-4-0.i386.rpm 8 yum ls 9 ls 10 rpm --import http:
Cloudera Manager + EC2 で Mahout を5分（ぐらい）で動かす - Qiita
ゴール HadoopやMahoutはインストールから動く状態まで持っていくのに、慣れないうちは結構時間かかってしまいます。 しかし、これをさくっと終わらせることができます。 そう、Cloudera Managerならね。 さらにこれにEC2を組み合わせると、さらにさくっと終わらせることができます。 そんな訳で、今回はClouderaManager + EC2の組み合わせを利用して、まっさらな状態から Hadoopのインストール クラスタ構築 Mahoutのインストール デモ実行 までを5分（ぐらい）で終わらる手順を示したいと思います。 ※注 - サーバがEC2でなくても、大体似た感じでいけると思います - ほんとに5分（ぐらい）で終わるかどうかは、回線速度やサーバスペックによります。信じちゃいけません。 前提としている知識 EC2に関する基本的な知識 Hadoopに関する基本的な知識 ss
Apache Mahoutの使い方：テキスト分類のアルゴリズムを活用する
ビッグデータ活用：その分析実装として注目されるMahout 長年蓄積した企業内データや、ソーシャルネットワークサービス、センサ端末から集められる膨大なデータを活用し、企業における利益向上やコスト削減などに活用する動きが活発になってきました。 データの分析手段として最近とみに注目されている技術として「機械学習」があります。大規模データの処理を得意とする大規模分散処理基盤「Apache Hadoop」の強みを生かし、簡単に機械学習を行うためのライブラリが、「Apache Mahout」（以下、Mahout）です。 本稿ではMahoutを用いたデータ分析の例として「文書分類」を取り上げます。マシンを用いて分析実行する際の手順や陥りがちなポイント、チューニング方法の一例を紹介します。 Mahoutとは？ MahoutとはApache Software Foundationが公開しているOSSの機械
Amazon EMRでMahoutのレコメンデーションのワクワク感を体験する：30分でできる分散レコメンデーション - tetsuya_odakaの日記
追記：2013/9/17 このログの続編の投稿が完了しましたので、記事の末にリンクを追加しました。これで、このログの方法を応用した分散レコメンデーションエンジンの構築もばっちり（のはず）です。 先のログでは、Parallel ALS(Alternating Least Squares)を用いたレコメンデーションの理論面のフォローアップと、Apache Mahoutでの実装を少し詳しくみた。 このアルゴリズムは極めてシンプルで、かつ、Apache MahoutではHadoop上でスケーラブルに実装されている。 Apache Mahoutは発展途上のプロジェクトなので、スケーラブルに実装されているアルゴリズムとそうでないアルゴリズムがあって、レコメンデーションについていえば、0.8では、アイテムベースのレコメンデーション、Slope Oneレコメンデーション、Parallel ALSを使ったレ
第14回 データマイニング+WEB 勉強会＠東京( #TokyoWebmining 14th)－大規模分散データマイニング 祭り－ を開催しました - hamadakoichi blog
2011/10/16 "第14回 データマイニング+WEB 勉強会＠東京"を開催しました。 第14回 データマイニング+WEB 勉強会＠東京 ( #TokyoWebmining 14th)−大規模分散データマイニング 祭り−: Eventbrite Google グループ 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。 参加者ID・バックグラウンド一覧： 以下、全講師資料、関連資料、ツイートまとめです。 AGENDA： ■Opening Talk： O1.「データマイニング+WEB勉強会＠東京 について」(10分) 講師 ： id:hamadakoichi [Twitter:@hamadakoichi] オープニングト
Amazon Elastic MapReduce入門 〜 Apache Mahoutでレコメンデーション！ | DevelopersIO
よく訓練されたアップル信者、都元です。Hadoop使ってますか。試しにHadoopを使ってみよう、と思った時に主に障害となるのが以下の3つです。 Hadoopのクラスタを組むために実機を複数用意するのが厄介。それをクラスタとして組み上げるのも厄介。 Hadoopの上で動かすアプリケーションをMapReduceで書くのが厄介。 Hadoopで処理するほどのビッグデータを用意するのが厄介。 1つ目はAmazon Elastic MapReduce (EMR)を使う事でスマートに解決しましょう。 2つ目については、オープンソースのMapReduceアプリケーションを使います。私が強い興味を持っている分野に「機械学習」というものがあります。機械学習とは、コンピュータにデータを分析させ、未知の情報についての予測をさせたり、人間の知能に近い機能を実現しようという試みです。今回は、この機械学習の各種アル
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Mahout使って分析しちゃいました。