Apache SparkのSpark Standalone Modeを動かしてみる - CLOVER🍀
前回SparkでHello World的なことをやりましたが、今回はSpark Standalone Modeを試してみることにします。 Spark Standalone Mode https://spark.apache.org/docs/latest/spark-standalone.html が、そもそもこれってSparkでとりうるDeployment Modeの一種らしく、クラスタについての用語を見ておく必要がありそうです。 Cluster Modeの用語を読む Cluster Mode Overview https://spark.apache.org/docs/latest/cluster-overview.html ここでのGlossaryという項目に着目すると、それぞれこんな感じ…？ 用語 意味 Application ユーザーがビルドした、Spark上に載せられるもの。ク
Spark standalone cluster tutorial by mbonaci
Getting started with Spark Just got affiliate link (8%) from the publisher for my Spark in Action book. 50% off code: mlbonaci spark-in-action.html pic.twitter.com/JBE8vldPZc — Marko Bonaci (@markobonaci) April 8, 2015 This tutorial was written in October 2013. At the time, the current development version of Spark was 0.9.0. The tutorial covers Spark setup on Ubuntu 12.04: installation of all Spar
Hadoop0.21メモ(Hishidama's Hadoop0.21 Memo)
WindowsXPへのインストール HadoopはUNIXを想定しているようなので、Windowsで試す為にはCygwinが必要。 sshが必要なので、CygwinのOpenSSHもダウンロードして設定しておく。 （単独環境で動作させるだけならsshは不要） HadoopはJavaで動くので、JDK1.6もインストールしておく。 Hadoop Common リリースの 「今すぐダウンロードする」を選択してダウンロードページを開く。 ダウンロードページから適当にミラーサイトを選んで、アーカイブをダウンロードする。（hadoop-0.21.0.tar.gz） 適当な場所にアーカイブを展開する。（C:\temp\hadoop-0.21.0-c1\～） 展開したディレクトリーをCygwinのディレクトリーに移動する。（C:\cygwin\usr\local\hadoop-0.21.0-c1\～）
Hadoopメモ(Hishidama's Hadoop Memo)
S-JIS[2010-02-21/2021-05-17] 変更履歴 Apache Hadoop Apache Hadoop(ハドゥープ)は、分散コンピューティングの為のオープンソースのソフトウェア（フレームワーク）。 Hadoopというのは、製作者の子供のぬいぐるみの象の名前なんだそうだ。 公式ページの上の方に描かれている黄色い象がそれか？＾＾； （ぬいぐるみの写真→@ITの記事や工藤さんのブログの下の方） リンク集 インストール Windowsへのインストール Hadoop0.20 [2010-08-29] Hadoop0.21 [2010-08-29] HDInsight [/2013-02-26] HDP [/2013-05-26] Hadoop 2.1 [2013-08-31] CDH3のインストール [/2012-05-10] CDH4のインストール [2012-06-08] H
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
