Netflix、自社開発したコンテナマネジメントプラットフォーム「Titus」、オープンソースで公開
動画配信サービスを提供するNetflixは、Amazon Web Services上に巨大な動画配信用のシステムを構築していることはよく知られています。同社は先月、2018年4月の実績によると、そのシステム内で1週間あたり約300万ものコンテナを起動したそうです。 その膨大なコンテナのマネジメントプラットフォームとして同社が自社開発した「Titus」が、オープンソースとして公開されました。 Titus, the Netflix container management platform, is now open source 同社はこのTitusのうえで機械学習やビッグデータの分析、エンコーディング、社内エンジニア向けのツールなど、同社のビジネスを支える重要なシステムを稼働させています。 コンテナマネジメントプラットフォームには、すでにKubernetesやMesosphere DC/OS
Docker / Apache Mesos / Marathon による3倍速いIQONクローラーの構築 - ZOZO TECH BLOG
わーい！コンテナたのしー！🐾 こんにちは。流行りには積極的に乗っていきたい。インフラエンジニアの光野です。 弊社が運営するファッションサイトIQONでは、日々200以上の提携ECサイトから100万のオーダーで商品をクロールしています。 新商品の追加・商品の在庫状況・セールの開催など情報は日々変化するため、弊社において「正しくクロールすること」と「速くクロールすること」は肝心カナメの要素です。 本記事では、特に「速くクロールする」という目的で構築したコンテナベースの新クローラーシステムを紹介いたします。 このクローラーシステムは、最終的にクロール時間67%減、 維持コスト70%減という成果が得られました。 キーワード： コンテナ, Docker, Apache Mesos, Marathon, AWS Lambda, Amazon EC2 SpotFleet 問題解決手段の検討 -> コン
Apache Mesos だよ〜 - kuenishi's blog
これは、 Distributed computing (Apache Hadoop, Spark, ...) Advent Calendar 2016 - Qiita の13日目の記事である。 AMPLab発のなかでも屈指の地味さを誇る、データセンタースケジューラとかデータセンターOSと言われるソフトウェア、 Apache Mesos を紹介しよう。この記事も5分ほどで読めるはずだが、その5分が惜しい人は 忙しい人の5分で分かるMesos入門 - Mesos って何だ？ をご覧いただきたい。はい、なんというか、非常にわかりやすい。要するに、Mesosを利用するプログラムはMesos APIを叩いていろんなタスクを分散環境で起動、管理できるようになっているわけだ。これ以上のMesosそのものの紹介はもうあちこちでされているので、ここでは違った角度から紹介したい。 他製品との比較 個人の感想
Mac OS X + Vagrant上にDC/OS環境を構築する | DevelopersIO
はじめに これまでAWSとGCPという複数のプラットフォームでDC/OS環境を構築してみました。 AWS上にDC/OS環境を構築する GCP上にDC/OS環境を構築する 今度はローカル環境、手元のMacBook上にDC/OS環境を構築してみます。 やってみた 環境はMacBook Pro、OS X Yosemite(10.10.5)です。必要環境は以下の通り。 $ git --version git version 2.5.4 (Apple Git-61) $ vagrant --version Vagrant 1.8.4 $ VBoxManage -v 4.3.38r106717 手順は公式ドキュメントとGithub上のドキュメントに従います。 まず最初に、dcos-vagrantのレポジトリをgitコマンドでcloneします。 $ git clone https://github.co
「Container 2.0の時代へようこそ」、Mesosphereがコンテナ市場へ新たな挑戦状
Container 1.0の世界は、コンテナで何ができるかを議論するよいきっかけとなった。これからはContainer 2.0の世界の話をしよう。データセンター向けの基盤ソフトウェアを開発するMesosphereは、同社のブログでこう切り出したブログの記事「Welcome to the era of Container 2.0」を公開しました。 ステートフルとステートレスを同時にサポート Container 2.0とは何を指すのでしょうか。同社は次のように説明しています。 At its simplest, Container 2.0 is the ability to run (and orchestrate) both stateless and stateful services on the same set of resources. 簡単に説明するならば、Container 2.
自分で走らせたい人のためのMesos参考文献 - Qiita
最初にこれを見たとき Docker, Mesos, Sensu等を利用したBlue-Green Deploymentの仕組み 何これめっちゃカッコいい！！！ と、もともとは全然別のことを調べてたのに、当初の目的を忘れMesosを一生懸命勉強することに。 …が、このMesos…ドキュメントがとっ散らかってて死ぬほどわかりにくい…。というわけで私が調べた限りをまとめました。 最初にオフィシャルサイトは見ない方がよい 本当に、とっ散らかってる上に解説少ないんですよね。"Getting Started"からして「何がStartしたのか全然わからない無理ゲー」…。 Architectureがまた初心者の心を砕きます…。Zookeeperを知らないと、このArchitectureを理解することは無理でしょう。 まずはMesosに触る前に概要紹介 MesoSpehereというのはMesosを中心としたソ
Vagrant で Mesosphere DC/OS を構築
こんにちは。@jedipunkz です。 今回は DC/OS (https://dcos.io/) を Vagrant を使って構築し評価してみようと思います。 DC/OS はその名の通りデータセンタ OS として利用されることを期待され開発された OS で内部で Docker と Mesos が稼働しています。 一昔前に Mesos のマルチノード構成は構築したことあったのですが、DC/OS はデプロイ方法が全く変わっていました。 はじめに想定する構成から説明していきます。 想定する構成 本来 DC/OS は public, private ネットワーク構成ですが利用するレポジトリではこのような構成が想定されていました。 +----+ +----+ +----+ +------+ | m1 | | a1 | | p1 | | boot | +----+ +----+ +----+ +--
Hadoop YARNとApache Mesosの違いって何？ - 夢とガラクタの集積場
こんにちは。 CDH上でSparkがサポートされるという発表もあり、ニッチな領域をちょこちょこ調べていたはずが、 いきなりSparkがメジャーなステージに飛び出すのかなぁ・・と楽しみにしている今日この頃です。 ただ、CDH上でのSparkはリソースマネージャとしてHadoop YARNを使う模様。 Apache Mesosは使われないようです。 とはいえ、それ以前の問題として、Hadoop YARNとApache Mesosの違いがそもそもよくわかっていないという現状があります。 そのため、いい情報が無いかなぁ・・・と調べていたところ、丁度以下のスレッドが見つかりました。 How does YARN compare to Mesos? http://www.quora.com/How-does-YARN-compare-to-Mesos とりあえず、このスレッドに書かれている「差分」を訳し
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
忙しい人の5分で分かるMesos入門 - Mesos って何だ？