Apache Spark on Mesos の環境構築（その１ - 夢とガラクタの集積場
こんにちは。 では、準備も整った（？）ということで、Apache SparkをMesos環境上に構築して動作させる・・・ ということをやっていこうと思います。 http://spark.incubator.apache.org/docs/latest/running-on-mesos.html のページを読んでみると、Mesos上からApache Sparkを実行するには以下の手順が必要だそうです。 Apache Mesosクラスタの構築 Apache SparkをMesosクラスタからアクセス可能なストレージ(例：HDFS、Amazon S3)に配置 Apache Sparkの起動 Mesosがどこまで何を管理するかが微妙なのですが、とりあえずHDFS等のストレージ系の ものについてはMesos管理ではない・・・ということなんでしょう。 クラスタマネージャ、という名前がついている関係上M
Apache Spark on Mesos の環境構築（その２ - 夢とガラクタの集積場
こんにちは。 では、Mesosの環境構築＆確認を続けたいと思います。 1. mesos-masterの起動 Mesosをビルドしたディレクトリ配下にMesosがインストールされます。 かつ、シェルを見てみると以下のように「ビルドしたフルパス」が記述されているため、 一度ビルドした後は他の場所に移しにくくなっています。 げふ。 かつ、元のソースコードと同じディレクトリ配下にビルドされたファイルが展開されるため、 どれがどれ・・・というのもわかりにくいですね。 そのあたりは別途改良する必要がありそうです。 尚、起動を行うシェルだけでなく、そこから呼ばれる規模の大きなスクリプトについても ビルドを行ったディレクトリがかなりの数べた書きされているため、ビルドした後に まとめて書きかえるというのもかなりリスクが大きな修正になりそう。 そのため、Mesosのインストール方法については大いに改善が必要そ
Methos アーキテクチャ #2 (Docker on Mesos)
こんにちは。@jedipunkz です。 Mesos アーキテクチャについて2つめの記事です。 http://jedipunkz.github.io/blog/2013/09/28/mesos-architecture-number-1/ 上記の前回の記事で Mesos 自体のアーキテクチャについて触れましたが、今回は Mesos + Marathon + Docker の構成について理解したことを書いていこうと思います。 mesos クラスタは 幾つかの mesos masters と沢山の mesos slaves から成っており、 mesos slaves の上では docker を操作する executor が稼働している。marathon は mesos master の上で稼働する mesos framework である。init や upstart の様な存在 であることが言
Mesos アーキテクチャ #1
こんにちは。@jedipunkz です。 今回はクラスタマネージャである Mesos について書こうと思います。 Mesos は Apache Software Foundation によって管理されるソフトウェアで分散アプリ ケーションをクラスタ化することが出来るマネージャです。Twitter が採用しているこ とで有名だそうで、開発にも積極的に参加しているそうです。 http://mesos.apache.org/ @riywo さんが既に Mesos + Marathon + Zookeper + Docker な構成を組む手順をブロ グで紹介されていますので是非試してみると面白いと思います。 http://tech.riywo.com/blog/2013/09/27/mesos-introduction-1/ 私は理解した Mesos のアーキテクチャについて少し書いていきたいと思
mesos introduction 1 - As a SW/Ops/DB Engineer
Today, Mesosphere released an important milestone. I really desired this integration. Mesosphere · Docker on Mesos Now, we can manage our “Computers as an OS”. Kernel Mesos Process Docker Init Marathon Cron Chronos I would like to learn this new generation “OS”, so I started to play with Mesos. Mesosphere is a great company and they built packages of Mesos and Marathon. Building Mesos and tools ar
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
