macにapache sparkをインストールをしてみたので手順をメモ ※macのOSはOS X 10.8.5 ダウンロード 以下からバイナリファイルのダウンロードリンクをコピーしてくる ダウンロードページにいくと、
![macにApache Sparkをインストール - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/27b32d2da83a2a5120eaf98d2a4e37a4acb533af/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9bWFjJUUzJTgxJUFCQXBhY2hlJTIwU3BhcmslRTMlODIlOTIlRTMlODIlQTQlRTMlODMlQjMlRTMlODIlQjklRTMlODMlODglRTMlODMlQkMlRTMlODMlQUImdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTczMThiMTNhN2NkZDJiZDdlMGM2ZmQ4ZDNmMzY1OTNj%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwa2FudW1hMTk4NCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9MzVhODg0YWQwNzUzOTljNzQxZTI3YjU5OWIwZmRmMzI%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D7be42344e6db0e32a6311d6636883027)
Spark上で実行されるmahout sparkのモジュールに、mllibと呼ばれる機械学習ライブラリが含まれていますが、mahoutもsparkに対応しました。 ただし、mahoutサイトにも記載されていますが、 Please keep in mind that this code is still in a very early experimental stage まだ実験段階のようですので感じだけでもつかめたらと思います。 今回、Playing with Mahout's Spark Shellを参考にspark-shell上でのmahoutの実行環境を構築しました。 Install 予めインストールしておくもの oracle JDK 7以上 maven 3.2.x以上 subversion Apache sparkのインストール 今回はcdh5のApache sparkをインスト
よく訓練されたアップル信者、都元です。Hadoop使ってますか。試しにHadoopを使ってみよう、と思った時に主に障害となるのが以下の3つです。 Hadoopのクラスタを組むために実機を複数用意するのが厄介。それをクラスタとして組み上げるのも厄介。 Hadoopの上で動かすアプリケーションをMapReduceで書くのが厄介。 Hadoopで処理するほどのビッグデータを用意するのが厄介。 1つ目はAmazon Elastic MapReduce (EMR)を使う事でスマートに解決しましょう。 2つ目については、オープンソースのMapReduceアプリケーションを使います。私が強い興味を持っている分野に「機械学習」というものがあります。機械学習とは、コンピュータにデータを分析させ、未知の情報についての予測をさせたり、人間の知能に近い機能を実現しようという試みです。今回は、この機械学習の各種アル
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
はじめに 大規模なデータをリアルタイムで分析するのフレームワークの一つに、Apache Sparkがあります。色々な特徴があるかと思いますが、 Apache Sparkについての特徴を公式ページより抜粋すると Apache Spark™ is a fast and general engine for large-scale data processing. Run programs up to 100x faster than Hadoop MapReduce in memory, or 10x faster on disk. Write applications quickly in Java, Scala or Python. とあります。 今回はこのApache SparkをMac上で動かす方法について書きたいと思います。 実行環境作成 では、手順です。先にも書いた通りMacで実行
前回はHadoopのインストールで、今回がいきなり実用的な内容で、ちょっと基礎を飛ばしてますが、気にしない。 レコメンドというと、パッと思いつくのはAmazonのレコメンドではないでしょうか。 商品を見ていると、「この商品を買った人はこれも一緒に買っています。」といった感じの物ですね。 今回はこのレコメンドを簡単に実装する方法を探ってみます。 まず、解析後に欲しいデータとして あるアイテム(item1)に対して、関連するアイテム(item2,item3,item4)をひもづけるデータです。 データベースに入れて使える状態で言うと (ユーザが今開いたアイテムのID), (ユーザが開いたアイテムに関連するアイテムのID) item1, item2 item1, item3 item2, item4 … というキーバリューのペアです。 この結果を得るために必要な情報ですが ユーザ毎にアクセスした
Linuxを触り始めた頃に tar xvzf compress.tar.gz などと出てきて、 オプションが4つもあるとそれぞれの意味を調べる気も喪失し、そのままコピペしたのを思い出したので書いておきます。 - はつけてもOK まず戸惑うのが tar のオプションはオプションのくせに - がついていない、変! これは別につけてもいいらしいです。 -xvzf みたいに。 man にも書いてある。 A function letter need not be prefixed with ``-'', and may be combined with other single-letter options. つまり書かないといけないぐらいちょっと風変わりな動作なわけですね。 古くからあるコマンドなんで「 - を打つのさえめんどくさい、ファッキュー!」な人がこんな事をしたんだと思います。多分。 ta
$ java -version java version "1.6.0_65" Java(TM) SE Runtime Environment (build 1.6.0_65-b14-462-11M4609) Java HotSpot(TM) 64-Bit Server VM (build 20.65-b04-462, mixed mode) $ brew info hadoop hadoop: stable 2.4.0 http://hadoop.apache.org/ /usr/local/Cellar/hadoop/2.4.0 (5592 files, 236M) * Built from source From: https://github.com/Homebrew/homebrew/commits/master/Library/Formula/hadoop.rb ==> Cav
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く