MapR、Mesos、Marathon、Docker、Apache Sparkを使用し、最初のジョブおよびコンテナを展開、実行する | Hadoop Times
ホーム / 技術情報 / MapR、Mesos、Marathon、Docker、Apache Sparkを使用し、最初のジョブおよびコンテナを展開、実行する イントロダクション このブログの投稿では、Mesos、Marathon、Docker、SparkをMapRクラスタ上で展開する手順と、この展開を用いて様々なジョブやDockerコンテナ を実行する手順を説明します。 下記のコンポネントを使用します: Mesos: オープンソースクラスタマネージャー Marathon: クラスタワイドの初期化および管理システム Spark: オープンソースクラスタコンピューティングフレームワーク Docker: ソフトウェアコンテナ内のアプリケーション展開を自動化 MapRコンバージドデータプラットフォーム: 新世代ビッグデータアプリケーションを担う、HadoopやSpark、リアルタイムデータベースケ
LINE DEVELOPER DAY 2016 開催のお知らせ « LINE Engineers' Blog
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog saegusa2017-04-16Yoshihiro was a network engineer at LINE, responsible for all levels of LINE's infrastructure. Since being named Infra Platform Department manager, he is finding ways to apply LINE's technology and business goals to the platform. こんにちは。LINEでネットワークやデータセンターを担当している三枝です。2017年1月にJANOG39で登壇する機会を頂きましたので、今回
Hadoop YARNとApache Mesosの違いって何？ - 夢とガラクタの集積場
こんにちは。 CDH上でSparkがサポートされるという発表もあり、ニッチな領域をちょこちょこ調べていたはずが、 いきなりSparkがメジャーなステージに飛び出すのかなぁ・・と楽しみにしている今日この頃です。 ただ、CDH上でのSparkはリソースマネージャとしてHadoop YARNを使う模様。 Apache Mesosは使われないようです。 とはいえ、それ以前の問題として、Hadoop YARNとApache Mesosの違いがそもそもよくわかっていないという現状があります。 そのため、いい情報が無いかなぁ・・・と調べていたところ、丁度以下のスレッドが見つかりました。 How does YARN compare to Mesos? http://www.quora.com/How-does-YARN-compare-to-Mesos とりあえず、このスレッドに書かれている「差分」を訳し
Apache Spark on Mesos の環境構築（その３ - 夢とガラクタの集積場
こんにちは。 では、Mesosの環境構築＆確認を続けたいと思います。 1. テストフレームワークの起動 まずはテスト用に提供されているフレームワークを起動します。 Mesos-masterが起動しているサーバ上で以下のコマンドを実行します。 ・・・尚、C++とJavaのサンプルは実行ファイルが無かったり、jarファイルが無い等で起動しなかったため、 今回はpythonの確認のみを行っています。 # cd /usr/local/src/mesos-0.13.0 # src/examples/python/test-framework 192.168.100.241:5050 Registered with framework ID 201310100650-4049905856-5050-1735-0003 Got 3 resource offers Got resource offer 2
Apache Spark on Mesos の環境構築（その１ - 夢とガラクタの集積場
こんにちは。 では、準備も整った（？）ということで、Apache SparkをMesos環境上に構築して動作させる・・・ ということをやっていこうと思います。 http://spark.incubator.apache.org/docs/latest/running-on-mesos.html のページを読んでみると、Mesos上からApache Sparkを実行するには以下の手順が必要だそうです。 Apache Mesosクラスタの構築 Apache SparkをMesosクラスタからアクセス可能なストレージ(例：HDFS、Amazon S3)に配置 Apache Sparkの起動 Mesosがどこまで何を管理するかが微妙なのですが、とりあえずHDFS等のストレージ系の ものについてはMesos管理ではない・・・ということなんでしょう。 クラスタマネージャ、という名前がついている関係上M
Apache Spark on Mesos の環境構築（その２ - 夢とガラクタの集積場
こんにちは。 では、Mesosの環境構築＆確認を続けたいと思います。 1. mesos-masterの起動 Mesosをビルドしたディレクトリ配下にMesosがインストールされます。 かつ、シェルを見てみると以下のように「ビルドしたフルパス」が記述されているため、 一度ビルドした後は他の場所に移しにくくなっています。 げふ。 かつ、元のソースコードと同じディレクトリ配下にビルドされたファイルが展開されるため、 どれがどれ・・・というのもわかりにくいですね。 そのあたりは別途改良する必要がありそうです。 尚、起動を行うシェルだけでなく、そこから呼ばれる規模の大きなスクリプトについても ビルドを行ったディレクトリがかなりの数べた書きされているため、ビルドした後に まとめて書きかえるというのもかなりリスクが大きな修正になりそう。 そのため、Mesosのインストール方法については大いに改善が必要そ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
