Rancherでmesosとmarathonやってみたcyberblack28 IchikawaInfrastructure Engineer,Frontend Engineer,Technology Evangelist
Apache Mesos / Marathon を本番で運用するための5つのTips - ZOZO TECH BLOG
こんにちは。 インフラエンジニアの光野です。 先日のブログ記事でご紹介したとおり、弊社のクローラーはDockerコンテナ化されています。このコンテナはApache MesosとMarathonのクラスタ上で動いています。 先日の記事はクローラーシステム全体を取り扱いましたが、本記事ではMesos/Marathonを導入するにあたって必要だった設定について「〜したい」という形で紹介いたします。 Tips集として導入や検討の参考にしていただければ何よりです。 記事中の用語については先頭の前提知識・用語まとめにまとめています。また、Tipsは各見出しごとに独立させていますので、お好きな部分を参照ください。 シリーズ一覧 新クローラーシステムの全体観 Docker / Apache Mesos / Marathon による3倍速いIQONクローラーの構築 クラスタへのデプロイについて Produc
Docker / Apache Mesos / Marathon による3倍速いIQONクローラーの構築 - ZOZO TECH BLOG
わーい！コンテナたのしー！🐾 こんにちは。流行りには積極的に乗っていきたい。インフラエンジニアの光野です。 弊社が運営するファッションサイトIQONでは、日々200以上の提携ECサイトから100万のオーダーで商品をクロールしています。 新商品の追加・商品の在庫状況・セールの開催など情報は日々変化するため、弊社において「正しくクロールすること」と「速くクロールすること」は肝心カナメの要素です。 本記事では、特に「速くクロールする」という目的で構築したコンテナベースの新クローラーシステムを紹介いたします。 このクローラーシステムは、最終的にクロール時間67%減、 維持コスト70%減という成果が得られました。 キーワード： コンテナ, Docker, Apache Mesos, Marathon, AWS Lambda, Amazon EC2 SpotFleet 問題解決手段の検討 -> コン
もっと瞬殺で作るMesos + Marathon + Dockerクラスタ環境 on Azure - Mitsuyuki.Shiiba
この牛尾さんの記事からまだ1年半くらいしか経ってないのに、もうほんとに色々と変化の流れが速すぎて、僕はもう少し枯れたところでどんぐり拾いみたいなのするのが好きなのに、どうしてこうなった感。 qiita.com 僕のこの記事自体ももう来年には古くなってるんだろうな。あ、なので、2016年10月現在の情報ですので注意してくださいー。 Microservicesの素振り環境 Microservicesって仕事でいきなり「やってみたい！」って言って導入できるようなもんじゃないなって思って。技術力も運用力も組織力も、色んなもののレベルが高くないとひどく失敗してしまいそうだなって。とはいっても、結構色んな問題を解決してくれる一面もありそうだから、まずはどんなものなのか、技術的に少し体験しておきたい。というのが動機。 Javaが好きなので、Spring Cloudで作ったアプリをDockerに入れて、複
MapR、Mesos、Marathon、Docker、Apache Sparkを使用し、最初のジョブおよびコンテナを展開、実行する | Hadoop Times
ホーム / 技術情報 / MapR、Mesos、Marathon、Docker、Apache Sparkを使用し、最初のジョブおよびコンテナを展開、実行する イントロダクション このブログの投稿では、Mesos、Marathon、Docker、SparkをMapRクラスタ上で展開する手順と、この展開を用いて様々なジョブやDockerコンテナ を実行する手順を説明します。 下記のコンポネントを使用します: Mesos: オープンソースクラスタマネージャー Marathon: クラスタワイドの初期化および管理システム Spark: オープンソースクラスタコンピューティングフレームワーク Docker: ソフトウェアコンテナ内のアプリケーション展開を自動化 MapRコンバージドデータプラットフォーム: 新世代ビッグデータアプリケーションを担う、HadoopやSpark、リアルタイムデータベースケ
瞬殺で作るMesos + Chronos + Marathon + Dockerクラスタ環境 - Qiita
本記事では、瞬殺でApache Mesosの環境を簡単に試してみたい方のために、Apache Mesos + Chronos + Marathon + Dockerのクラスタを簡単にセットアップするための方法をご紹介いたします。 Apache Mesosとは Apache Mesosは、クラスタリソースマネージャであり、物理マシン（または仮想マシン）を１つのクラスタとして管理し、タスクを処理させたいときに、空いているマシンを探して、そこでリソースを割り当てて実行してくれるような仕組みです。この説明部分は正月休みだし Mesos 触ってみたという素晴らしい記事を参考にしています。すごくわかりやすい説明でした。 Marathonとは Apache Mesosでタスクを実行すると、どこかのサーバーでタスクを実行してくれるわけなのですが、タスクの実行をするのは一瞬です。これは、通常のOSでの挙動に
Mesos + Marathon + Deimos + Docker を試してみた!
こんにちは。@jedipunkz です。 以前 Mesos, Docker について記事にしました。 http://jedipunkz.github.io/blog/2013/09/28/mesos-architecture-number-1/ http://jedipunkz.github.io/blog/2013/10/01/methos-architecture-number-2-docker-on-mesos/ Twitter で Docker 関連のオーケストレーションツールについて呟いていたら @everpeace さんから こんな情報をもらいました。 @jedipunkz 元々meos-dockerっていうmesos executorがあったんですけど、mesosがcontainer部分をpluggableにしたので、それに合わせてdeimosっていうmesos用のexter
FluentdをMesos + Docker + Marathonで動かしてみた - As a Futurist...
Fluentd Advent Calendar 2013の一部です。(PST だとまだ 20 日なのでお許し下さい。。。) 最初は iOS からCocoaFluentLoggerでなんか送って遊んでみようかと思ってたんですが、単にタップした場所のログ送るくらいだったらあっさりできてしまって(CocoaFluentLogger の出来が良い)、それ以上楽しいことをやるには iOS のスキルが足りなかったので、急遽 Mesos で遊ぶことにしました。動かなかったらごめんなさい！ riywo/sample-fluentd-on-mesos-docker 概要 今回は Mesos クラスタの上に Fluentd(td-agent)を好きな数だけ配置して、フロントとして HAProxy を立て、バックエンドに Elasticsearch を置いてみました。結果は Kibana で見ます。 Fluen
Fluentd on Mesos + Docker + Marathon - As a SW/Ops/DB Engineer
I just tried to run Fluentd instances on Mesos + Docker + Marathon in Vagrant boxes. Here is the sample repository. riywo/sample-fluentd-on-mesos-docker The overview diagram: How? See the github README.md. What? Fluentd Fluentd: Open Source Log Management Fluentd is one of log collector middleware. Most web companies in Japan use this for log collecting. td-agent is a package version of fluentd in
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitBook – Knowledge management for technical teams