タグ

yarnとMesosに関するkimutanskのブックマーク (4)

  • Meet Myriad, a new project for running Hadoop on Mesos – Old GigaOm

    Hadoop vendor MapR and data center automation startup Mesosphere have created an open source technology called Myriad, which is supposed to make it easier to run Hadoop workloads on top of the popular Mesos cluster-management software. More specifically, Myriad allows the YARN resource scheduler — the linchpin of Hadoop 2.0 that lets the platform run processing frameworks other than MapReduce — to

    kimutansk
    kimutansk 2015/02/12
    Mesos上でYARNまで動作させてそちらにリソース管理させるMyriadと。確かにMesosの方が汎用的ではありますが・・出来るんですね。そして名前がどうしてもDryadを連想しますがw
  • Omega: flexible, scalable schedulers for large compute clusters

    Philosophy We strive to create an environment conducive to many different types of research across many different time scales and levels of risk. Learn more about our Philosophy Learn more

    kimutansk
    kimutansk 2014/03/04
    ただ、OmegaはMesos/YARNより更に上のレベルを行っているよ、という論文が。リソース自体を共有し、ロック無しで分配可能というのは・・・論文読んでみましょう
  • Spark Summit 2013の内容一覧 - 夢とガラクタの集積場

    こんにちは。 思いっきり見逃していた話なのですが、2013/12にSpark Summit 2013が開催されていました。 幸い、資料はほとんど公開されているようなので、 内容を確認してみようと思うのですが、まずは概要を確認しておこう、ということで内容一覧と概要をまとめてみました。 尚、概要については概要ページが用意されている発表についてはそれを訳し、 存在しないものについては資料の中身をざっと確認して概要を書いています。 先進的な企業に加えて、Yahooのような大きなHadoopクラスタを有する企業でもSparkを取り込み、 既存のデータ解析基盤と統合させようとする動きが出ているのが面白いですね。 加えて、YARN/Mesosの存在によってSparkの導入は「既存機能の置き換え」ではなく、 「既存機能との統合」という流れで発生しているのも興味深いところです。 というわけで、各セッションに

    Spark Summit 2013の内容一覧 - 夢とガラクタの集積場
    kimutansk
    kimutansk 2014/01/22
    YARN/Mesosの存在のおかげか、 #ApacheSpark は「既存の基盤(主にHadoop)と統合」という形で取り込まれる流れだったのが印象的でした
  • How does YARN compare to Mesos? What are the key differences?

    Answer (1 of 9): Good summary Jay, thanks. I'd like add some clarifications: # It's trivial to simulate the Mesos offer/reject model in YARN. You ask for *any*, i.e. non-locality specific, resources and then reject (return them to ResourceManager/Scheduler) at receipt. As a result, I'd argue tha...

    How does YARN compare to Mesos? What are the key differences?
    kimutansk
    kimutansk 2013/11/03
    Hadoop YARNとApache Mesosの違いまとめ。後でサマリ&まとめしてどこかに投稿しておきますか。
  • 1