Docker / Apache Mesos / Marathon による3倍速いIQONクローラーの構築 - ZOZO TECH BLOG
わーい！コンテナたのしー！🐾 こんにちは。流行りには積極的に乗っていきたい。インフラエンジニアの光野です。 弊社が運営するファッションサイトIQONでは、日々200以上の提携ECサイトから100万のオーダーで商品をクロールしています。 新商品の追加・商品の在庫状況・セールの開催など情報は日々変化するため、弊社において「正しくクロールすること」と「速くクロールすること」は肝心カナメの要素です。 本記事では、特に「速くクロールする」という目的で構築したコンテナベースの新クローラーシステムを紹介いたします。 このクローラーシステムは、最終的にクロール時間67%減、 維持コスト70%減という成果が得られました。 キーワード： コンテナ, Docker, Apache Mesos, Marathon, AWS Lambda, Amazon EC2 SpotFleet 問題解決手段の検討 -> コン
Chronos: A Replacement for Cron
Chronos is our replacement for cron. It is a distributed and fault-tolerant scheduler which runs on top of Mesos. It’s a framework and supports custom mesos executors as well as the default command executor. Thus by default, Chronos executes SH (on most systems BASH) scripts. Chronos can be used to interact with systems such as Hadoop (incl. EMR), even if the mesos slaves on which execution happen
Chronos: Fault tolerant job scheduler for Mesos
A fault tolerant job scheduler for Mesos which handles dependencies and ISO8601 based schedules Overview Chronos is a replacement for cron. It is a distributed and fault-tolerant scheduler that runs on top of Apache Mesos that can be used for job orchestration. It supports custom Mesos executors as well as the default command executor. Thus by default, Chronos executes sh (on most systems bash) sc
瞬殺で作るMesos + Chronos + Marathon + Dockerクラスタ環境 - Qiita
本記事では、瞬殺でApache Mesosの環境を簡単に試してみたい方のために、Apache Mesos + Chronos + Marathon + Dockerのクラスタを簡単にセットアップするための方法をご紹介いたします。 Apache Mesosとは Apache Mesosは、クラスタリソースマネージャであり、物理マシン（または仮想マシン）を１つのクラスタとして管理し、タスクを処理させたいときに、空いているマシンを探して、そこでリソースを割り当てて実行してくれるような仕組みです。この説明部分は正月休みだし Mesos 触ってみたという素晴らしい記事を参考にしています。すごくわかりやすい説明でした。 Marathonとは Apache Mesosでタスクを実行すると、どこかのサーバーでタスクを実行してくれるわけなのですが、タスクの実行をするのは一瞬です。これは、通常のOSでの挙動に
KubernetesとMesos：Dockerのスケジューリングツールの違いを理解する
注目されるDockerのスケジューリングツール Dockerには、基本機能だけでは自分自身がインストールされているホストのコンテナしか管理できず、複数ホストのコンテナを管理できないという問題がある。そのため、実際にサーバを複数台利用するような規模でDocker環境を運用することを考えると、コンテナのクラスタリングやスケジューリングなど、複数ホストにまたがってコンテナをオーケストレーションする仕組みが必須となる。 そのため、Docker環境の管理を行うスケジューリングツールが注目を集め、数多くの製品が登場しているが、その中で特に注目されているものに、KubernetesとMesosがある。KubernetesとMesosは、複数ホストのコンテナを簡単に管理できるという点では共通しているが、機能の対象範囲には違いがある。 今回は、KubernetesとMesosの特徴と相違点について整理し、そ
Apache Auroraの始めかた
OSC2015 Tokyo/Spring #osc15tk 2015年2月28日 14:00 - 明星大学 202 号室Read less
Mesosphere チュートリアル02：Mesosphere Chronos検証 #mesos - クリエーションライン株式会社
前回とりあげたMesosはOSでいうCPU動作を管理するカーネルに相当します。OSにinit.dやcronなどのサービスが存在しているように、Mesosにもそれらのサービスに相当するものがあります。 今回紹介するChronosは、OSでいうcronのように、Mesos上で動く各サービスの開始と停止（とエラー処理）を自動化するためのジョブ・スケジューラです。 本稿は下記の資料を参考に検証しております。 “How to run Chronos on Apache Mesos”："Apache Mesos上でChronosを実行する方法" 事前準備 『Mesosphere 3node-cluster検証』を参照して、Master 3ノード以上、Slave 1ノード以上のMesosphereクラスタ構成が作成できていること １．インストール(すべてのMasterノードで実行) Masterノードに
Mesosphere チュートリアル01：Mesosphere 3node-cluster検証(CentOS6.5) #mesos #mesosphere - クリエーションライン株式会社
1- 3．設定 /etc/zookeeper/conf/zoo.cfgを編集 (末尾に追加) server.1=192.168.2.80:2888:3888 server.2=192.168.2.98:2888:3888 server.3=192.168.2.95:2888:3888 /etc/mesos/zkを編集 zk://192.168.2.80:2181,192.168.2.98:2181,192.168.2.95:2181/mesos /etc/mesos-master/quorumを編集 2 Mesos-Slaveを無効にします。 /etc/init/mesos-slave.confを編集 cat /etc/init/mesos-slave.conf description "mesos slave" # Start just after the System-V jobs (
MesosとCephのクラスタをAWSに構築するTerraformのmoduleを書いた - As a Futurist...
冬休みの宿題として、Mesos+Docker でアプリちゃんと動かしたい！→Shared Filesystem が欲しい →Ceph やりたい！→AWS の orchestration が必要 →Terraform 面白い！という yak shaving を経て、なぜかずっと Terraform をいじってました。とりあえずちゃんと動くのができたので公開。 riywo/mesos-ceph Terraform module for Mesos + Ceph cluster and Packer template – As a SW/Ops/DB Engineer 細かい話は 1 年ぶりの英語で適当に書きなぐったつもりなので、こちらにはポエムでも。 Terraform 面白い このブログとかを移行しようと考えてて、AWS を遊びじゃなくて運用しようとしたら、VPC とかサーバ以外に管理しなき
Mesos + Marathon + Deimos + Docker を試してみた!
こんにちは。@jedipunkz です。 以前 Mesos, Docker について記事にしました。 http://jedipunkz.github.io/blog/2013/09/28/mesos-architecture-number-1/ http://jedipunkz.github.io/blog/2013/10/01/methos-architecture-number-2-docker-on-mesos/ Twitter で Docker 関連のオーケストレーションツールについて呟いていたら @everpeace さんから こんな情報をもらいました。 @jedipunkz 元々meos-dockerっていうmesos executorがあったんですけど、mesosがcontainer部分をpluggableにしたので、それに合わせてdeimosっていうmesos用のexter
cross.md
cross.md CROSS 2014 : CI/DevOps Github, Pull Request Webサービス開発現場から / 近頃の開発のやり方 ･･･ Github と Pull Request とコードレビュー pull request を利用した開発ワークフロー // Speaker Deck Hatena Blog Development Flow // Speaker Deck Continuous Integration/Delivery Continuous Delivery in COOKPAD // Speaker Deck Hatena Blog for Engineer // Speaker Deck ソフトウェアテスト テスト考2014 - Hidden in Plain Sight テスト書きすぎ問題 - hitode909の日記 RE: テスト考20
Mesos: A Cloud Scheduler (1) - steps to phantasien
WIRED に ”Return of the Borg: How Twitter Rebuilt Google’s Secret Weapon” という記事があった。Twitter が Mesos というクラスタ管理のソフトウェアを開発しており、 それは検索会社のなんとかいうシステムみたいなもんらしいよ、という話。 不勉強につきそのなんとかいうシステムのことはよく知らないけれど、 去年の今頃開かれた Twitter の Open House (ASCII のレポート) をのぞかせてもらった際、 Twitter 社のエライ人 Rob Benson が 「これからインフラは Mesos でいく!!」 と熱心に話していたのを覚えている。 WIRED の記事によれば、Mesos ベースに移行したマシンは二割。もう全部移行する勢いなのかとおもってたけど、インフラを変えるのは大変なのだろう。 そういえ
Fluentd on Mesos + Docker + Marathon - As a SW/Ops/DB Engineer
I just tried to run Fluentd instances on Mesos + Docker + Marathon in Vagrant boxes. Here is the sample repository. riywo/sample-fluentd-on-mesos-docker The overview diagram: How? See the github README.md. What? Fluentd Fluentd: Open Source Log Management Fluentd is one of log collector middleware. Most web companies in Japan use this for log collecting. td-agent is a package version of fluentd in
Docker コンテナにアプリケーションを立てて Graphite でいい感じに可視化するまで - wtatsuruの技術方面のブログ
このときにやった可視化部分の話。急いで作ったのでいろいろ雑な部分が多い。 開発合宿でDockerとMesosを使っていい感じにリソース提供とデプロイするやつを作ってた - wtatsuru's blog はじめに 元のやつから内部情報を削ったサンプルを置いておきます。適当にサーバ名など修正すれば使えるかもしれません。 https://github.com/tatsuru/docker-sample-app 全体の仕組みについてはここの図がわかりやすいと思います Docker + Mesos + Marathon + Graphite + Fluentd + Sensuを組み合わせたデプロイ管理ツールの話 - ゆううきブログ やりたいこと 目的はアプリケーションの現状を俯瞰できるダッシュボードを作ること。 それぞれのDockerコンテナは短命なので、下記の情報をうまく集約してやる必要がある。
Docker, Mesos, Sensu等を利用したBlue-Green Deploymentの仕組み - $shibayu36->blog;
本番環境のBlue-Green Deploymentの仕組みのプロトタイプを作っていた - $shibayu36->blog; 開発合宿でDockerとMesosを使っていい感じにリソース提供とデプロイするやつを作ってた - wtatsuruの技術方面のブログ Docker + Mesos + Marathon + Graphite + Fluentd + Sensuを組み合わせたデプロイ管理ツールの話 - ゆううきブログ この辺に書いたとおり、id:wtatsuru, id:y_uuki, id:hagihala と一緒に、DockerやMesosなどを利用してBlue-Green Deploymentのプロトタイプのようなものを作っていた。この前は非常にざっくりと書いただけだったので、もう少し中身に突っ込んで書いてみる。かなり長くなったので時間があるときにでもどうぞ。 デプロイや運用の
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
忙しい人の5分で分かるMesos入門 - Mesos って何だ？
Omega: flexible, scalable schedulers for large compute clusters
Mesosを使ったImmutable Infra 管理システムを作ってみた
正月休みだし Mesos-Docker でプライベート IaaS っぽいもの構築してみた : sonots:blog
正月休みだし Mesos 触ってみた : sonots:blog
