Rancherでmesosとmarathonやってみたcyberblack28 IchikawaInfrastructure Engineer,Frontend Engineer,Technology Evangelist
Apache Mesos / Marathon を本番で運用するための5つのTips - ZOZO TECH BLOG
こんにちは。 インフラエンジニアの光野です。 先日のブログ記事でご紹介したとおり、弊社のクローラーはDockerコンテナ化されています。このコンテナはApache MesosとMarathonのクラスタ上で動いています。 先日の記事はクローラーシステム全体を取り扱いましたが、本記事ではMesos/Marathonを導入するにあたって必要だった設定について「〜したい」という形で紹介いたします。 Tips集として導入や検討の参考にしていただければ何よりです。 記事中の用語については先頭の前提知識・用語まとめにまとめています。また、Tipsは各見出しごとに独立させていますので、お好きな部分を参照ください。 シリーズ一覧 新クローラーシステムの全体観 Docker / Apache Mesos / Marathon による3倍速いIQONクローラーの構築 クラスタへのデプロイについて Produc
Docker / Apache Mesos / Marathon による3倍速いIQONクローラーの構築 - ZOZO TECH BLOG
わーい！コンテナたのしー！🐾 こんにちは。流行りには積極的に乗っていきたい。インフラエンジニアの光野です。 弊社が運営するファッションサイトIQONでは、日々200以上の提携ECサイトから100万のオーダーで商品をクロールしています。 新商品の追加・商品の在庫状況・セールの開催など情報は日々変化するため、弊社において「正しくクロールすること」と「速くクロールすること」は肝心カナメの要素です。 本記事では、特に「速くクロールする」という目的で構築したコンテナベースの新クローラーシステムを紹介いたします。 このクローラーシステムは、最終的にクロール時間67%減、 維持コスト70%減という成果が得られました。 キーワード： コンテナ, Docker, Apache Mesos, Marathon, AWS Lambda, Amazon EC2 SpotFleet 問題解決手段の検討 -> コン
Apache Mesos だよ〜 - kuenishi's blog
これは、 Distributed computing (Apache Hadoop, Spark, ...) Advent Calendar 2016 - Qiita の13日目の記事である。 AMPLab発のなかでも屈指の地味さを誇る、データセンタースケジューラとかデータセンターOSと言われるソフトウェア、 Apache Mesos を紹介しよう。この記事も5分ほどで読めるはずだが、その5分が惜しい人は 忙しい人の5分で分かるMesos入門 - Mesos って何だ？ をご覧いただきたい。はい、なんというか、非常にわかりやすい。要するに、Mesosを利用するプログラムはMesos APIを叩いていろんなタスクを分散環境で起動、管理できるようになっているわけだ。これ以上のMesosそのものの紹介はもうあちこちでされているので、ここでは違った角度から紹介したい。 他製品との比較 個人の感想
さくらの勉強会「アプリケーションエンジニアでもわかるDockerとMesos勉強会」
《イベント概要》 ここ最近、インフラエンジニアで話題になっている「Docker」。さくらインターネットでは、Dockerコンテナホスティング「Arukas」をはじめ、それ以外のプロダクトでも本番環境でDockerを利用しております。 今回は、弊社テクノロジーエバンジェリスト前佛が「DockerとMesos」についての説明を行い、次に技術本部 池添より弊社でのDocker+Mesosプロダクション環境での事例をお話いたします。 《対象》 DockerとMesosに関心があるエンジニア 《タイムスケジュール》 19:00 受付開始（開場） 19:30 開会の挨拶と開場説明（企画者:山田 望） 19:40 「忙しい人の５分で分かるMesos」（講師: 前佛 雅人） 20:00 休憩 20:10 「アプリケーションエンジニアが語る、さくらインターネットでのDocker+Mesosプロダクション環境
もっと瞬殺で作るMesos + Marathon + Dockerクラスタ環境 on Azure - Mitsuyuki.Shiiba
この牛尾さんの記事からまだ1年半くらいしか経ってないのに、もうほんとに色々と変化の流れが速すぎて、僕はもう少し枯れたところでどんぐり拾いみたいなのするのが好きなのに、どうしてこうなった感。 qiita.com 僕のこの記事自体ももう来年には古くなってるんだろうな。あ、なので、2016年10月現在の情報ですので注意してくださいー。 Microservicesの素振り環境 Microservicesって仕事でいきなり「やってみたい！」って言って導入できるようなもんじゃないなって思って。技術力も運用力も組織力も、色んなもののレベルが高くないとひどく失敗してしまいそうだなって。とはいっても、結構色んな問題を解決してくれる一面もありそうだから、まずはどんなものなのか、技術的に少し体験しておきたい。というのが動機。 Javaが好きなので、Spring Cloudで作ったアプリをDockerに入れて、複
MapR、Mesos、Marathon、Docker、Apache Sparkを使用し、最初のジョブおよびコンテナを展開、実行する | Hadoop Times
ホーム / 技術情報 / MapR、Mesos、Marathon、Docker、Apache Sparkを使用し、最初のジョブおよびコンテナを展開、実行する イントロダクション このブログの投稿では、Mesos、Marathon、Docker、SparkをMapRクラスタ上で展開する手順と、この展開を用いて様々なジョブやDockerコンテナ を実行する手順を説明します。 下記のコンポネントを使用します: Mesos: オープンソースクラスタマネージャー Marathon: クラスタワイドの初期化および管理システム Spark: オープンソースクラスタコンピューティングフレームワーク Docker: ソフトウェアコンテナ内のアプリケーション展開を自動化 MapRコンバージドデータプラットフォーム: 新世代ビッグデータアプリケーションを担う、HadoopやSpark、リアルタイムデータベースケ
瞬殺で作るMesos + Chronos + Marathon + Dockerクラスタ環境 - Qiita
本記事では、瞬殺でApache Mesosの環境を簡単に試してみたい方のために、Apache Mesos + Chronos + Marathon + Dockerのクラスタを簡単にセットアップするための方法をご紹介いたします。 Apache Mesosとは Apache Mesosは、クラスタリソースマネージャであり、物理マシン（または仮想マシン）を１つのクラスタとして管理し、タスクを処理させたいときに、空いているマシンを探して、そこでリソースを割り当てて実行してくれるような仕組みです。この説明部分は正月休みだし Mesos 触ってみたという素晴らしい記事を参考にしています。すごくわかりやすい説明でした。 Marathonとは Apache Mesosでタスクを実行すると、どこかのサーバーでタスクを実行してくれるわけなのですが、タスクの実行をするのは一瞬です。これは、通常のOSでの挙動に
KubernetesとMesos：Dockerのスケジューリングツールの違いを理解する
注目されるDockerのスケジューリングツール Dockerには、基本機能だけでは自分自身がインストールされているホストのコンテナしか管理できず、複数ホストのコンテナを管理できないという問題がある。そのため、実際にサーバを複数台利用するような規模でDocker環境を運用することを考えると、コンテナのクラスタリングやスケジューリングなど、複数ホストにまたがってコンテナをオーケストレーションする仕組みが必須となる。 そのため、Docker環境の管理を行うスケジューリングツールが注目を集め、数多くの製品が登場しているが、その中で特に注目されているものに、KubernetesとMesosがある。KubernetesとMesosは、複数ホストのコンテナを簡単に管理できるという点では共通しているが、機能の対象範囲には違いがある。 今回は、KubernetesとMesosの特徴と相違点について整理し、そ
サルでもわかるMesos schedulerの作り方
The document discusses building a custom Mesos scheduler in a simple way. It provides an example of a basic "CommandScheduler" in Go that implements the main Scheduler interfaces of ResourceOffers and StatusUpdate. The scheduler launches tasks in response to resource offers from Mesos masters and handles task status updates. It demonstrates the basic communication flow and components in a Mesos cl
Delivering eBay's CI Solution with Apache Mesos - Part I
Problem statement In eBay’s existing CI model, each developer gets a personal CI/Jenkins Master instance. This Jenkins instance runs within a dedicated VM, and over time the result has been VM sprawl and poor resource utilization. We started looking at solutions to maximize our resource utilization and reduce the VM footprint while still preserving the individual CI instance model. After much deli
Cronの置き換え『Chronos』を試してみる - tsunokawaのはてなダイアリー
やりたいこと 物理、仮想含め数百台のサーバーを管理しているので、 cronを一括管理したい cronジョブの負荷を分散したい cronの結果を可視化(成功or失敗) Dockerコンテナのcronを外出ししたい Dockerコンテナが作成または削除される度にcron登録・削除をAPIで行いたい これらを実現したいと思っていました。 そこで『Chronos』です！ 結論から言うとChronosを使ってこれらを実現することができました。 Chronosとは そこでChronosって何？という話しになりますが、 Cronの置き換えを想定したジョブスケジューラです。 airbnb/chronos · GitHub Mesos上で動くので登録されたジョブをいい感じに分散して実行してくれます。 図にするとこのような感じだと思います。 検証環境 本エントリで例としてIPアドレスやmesos-master
JenkinsのMesosプラグインで分散処理を試してみた - tsunokawaのはてなダイアリー
やりたいこと 前エントリで『cronジョブの負荷を分散したい！』とChronosを検証してみました。 今回はJenkinsのMesosプラグインを使って同じように Mesosを使ったジョブの分散環境を作ってみたいと思います。 enkinsci/mesos-plugin · GitHub 概要 JenkinsのMesosプラグインを使うと図のようにJenkinsに登録されたジョブを Mesosがリソースが空いているサーバーに振り分けて分散して実行してくれます。 イメージ図 検証環境 本エントリで例としてIPアドレスが出てきますがこの図の構成を参考にしてください。 今回使用したソフトウェアのバージョンです。 OS CentOS6.5 Jenkins jenkins-1.579-1.1.noarch Mesos mesos-0.20.0-1.0.centos64.x86_64 ZooKeeper
Kubernetes + Mesos の組み合わせ
この記事は Kubernetes Advent Calendar 2014 の19日目の記事です。18日の記事は kazunori279 の GKE＋BQがうまく動かなかった話。 Kubernetes (k8s)とMesosがやっていることが似ているように見えて、 何が違うかイマイチわからない開発者が多いと思います。 それぞれがやっていることと、役割について書いて、その後、 組み合わせて使うにはどうしたらいいか少し書いてみたいと思います。 k8s について まず、k8s はどこまで何をしてくれるの？ という疑問がよくあると思う。 コンテナーのクラスターが作れるみたいだけど、 自動的にスケールしてくれるのかな？とか、考えてくるよね。 k8s は Docker コンテナーのクラスターを管理してくれるものだ。Docker自体はコンテナーを管理してくれるから k8s は なんで必要かと思っていしま
Deploy a Mesos Cluster with 7 Commands Using Docker
This tutorial will show you how to bring up a single node Mesos cluster all provisioned out using Docker containers (a future post will show how to easily scale this out to multi nodes or see the update on the bottom). This means that you can startup an entire cluster with 7 commands! Nothing to install except for starting out with a working Docker server. This will startup 4 containers: ZooKeeper
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Mesos consulで構築するマイクロサービスインフラ
忙しい人の5分で分かるMesos入門 - Mesos って何だ？
分散スケジューラMesosの紹介
GitBook
Static hosting for Bitbucket by Aerobatic
