Scaling Kubernetes to 2,500 nodes
We’ve been running Kubernetes for deep learning research for over two years. While our largest-scale workloads manage bare cloud VMs directly, Kubernetes provides a fast iteration cycle, reasonable scalability, and a lack of boilerplate which makes it ideal for most of our experiments. We now operate several Kubernetes clusters (some in the cloud and some on physical hardware), the largest of whic
The History of etcd | CoreOS
Red Hat Enterprise Linux 8.8 and 9.2 leverage Intel’s 5th Gen of features including higher cpu count, faster DDR5 memory, larger 3rd level caches, improved interprocessor bandwidth, and complete implementation of Intel’s Advanced Matrix Extensions. Included in this blog are two new Dell SAP HANA BW...
30分でサクッとETCDクラスターを構築する - Qiita
なにこれ 前回、Chefを使ってDockerSwarmを30分で構築するという記事を書きました。 今回は、ETCDクラスターをサクッとつくる方法について記述します。 http://qiita.com/xecus/items/d49579a9f28e1feefa4a あと、「etcdって何？」って感じの方もいらっしゃると思いますので、１つ記事を紹介させて頂きます。 http://qiita.com/pocket8137/items/ef44ca68ffc0f4e70995 注意 Production等で利用するには、セキュリティ対策が必要です 前回の記事と一緒にご覧くださいませ 手順 etcd-v2レシピを落としてくる $ vi Berksfile cookbook 'etcd-v2', '~> 1.0.6' $ berks vendor cookbooks $ vi metadata.rb
The History of etcd | CoreOS
Red Hat Enterprise Linux 8.8 and 9.2 leverage Intel’s 5th Gen of features including higher cpu count, faster DDR5 memory, larger 3rd level caches, improved interprocessor bandwidth, and complete implementation of Intel’s Advanced Matrix Extensions. Included in this blog are two new Dell SAP HANA BW...
Engineering at Monsanto: AWS上でのetcdのクラスタリング | Yakst
バイオ化学メーカーのモンサントはAWS上にetcdのクラスタを展開している。興味があったので読んでみた。 概要 数ヶ月の間、我々のチームはAWS上で自動化されたDockerコンテナを構築することにフォーカスしている。我々はCoreOSを基盤として使おうと決めた。CoreOSはコンテナをコアとした軽量なOSだ。 各マシンのコンテナのスケジューリングとしてfleetを使っている。fleetはホストがターミネートされたとしてもコンテナを稼働させ続ける。 CoreOSとfleetはクラスタ内のすべてのマシンと、稼働しているコンテナの状態を共有する必要がある。 これにはetcdが効果的だ。etcdはクラスタの情報と共通のコンフィグを保存する分散キーバリューストアとして使われる。 巨大なプロダクション環境にて、etcdは3つもしくは5つのホストで稼働するよう設計されている。 Bootstrapの問題
etcd/consulに認証情報を安全に保存する
etcd/consulに認証情報を安全に保存する 分散Key-Valueストアとしてetcdやconsulの利用が増えている．ここにアプリケーションの設定値などを保存し，各ホストからそれらを購読して利用する． また，X-as-a-Serviceといった外部サービスの利用も多くなってきた．その場合API Tokenやパスワードといった認証情報が必要になる．PaaSやTwelve-factor的なアーキテクチャを採用する場合は，それらの値を環境変数に保存して利用することが多い（危険であるという意見はある．cf. http://techlife.cookpad.com/entry/envchain）．etcdやconsulといった分散Key-Valueストアの利用を前提としたアーキテクチャでは，そこに外部に漏らしたくない設定値も一緒に保存してしまうのがシンプルになる． しかし，そういった設定値を
Raftを紹介する - obfuscatism
はじめに Raft Consensus Algorithm の論文 “In Search of an Understandable Consensus Algorithm” http://ramcloud.stanford.edu/raft.pdf について簡単に紹介する。 また、論文のついでに読んでおくと理解が捗ると思われる文献（スライド、ウェブサイト）も紹介する。 というのも先日、ふと システム系論文紹介 Advent Calendar 2014 という物を私が立ち上げてしまったので、言い出しっぺの自分が先陣を切らせてもらう。 とはいえ今回の論文紹介にじっくり時間をかけて取り組めなかったため、雑な紹介になってしまう点はご了承いただきたい。 12月6日（土）に開催される 第3回 システム系論文輪読会 – connpass もあるため、輪読の発表会に興味のある方は是非参加いただきたい。 R
CoreOS とその関連技術に関するここ半年間の私の活動まとめ
00-README.md CoreOS とその関連技術に関するここ半年間の私の活動まとめ はじめに 最近、社内で私が「何者で何をしているのか見えないので可視化して欲しい」という案件が出ているらしいので、ヘコヘコと徒然なるままに書いていきたいと思うのであります。 社内向けというだけでなく社外の人にも発信出来る内容に、との仕様も要求され、社外向けには出来るだけ旬なネタで、かつ、社内向けにはそれを理解する上で必要な関連する技術を個々に触れながら基礎知識が無くても理解出来るように、との追加仕様も提示されております。 で、何をネタにしてどのように書けばいいのか迷った訳ですが、自分が実際にやって来た内容である CoreOS であればそこそこ旬であるし、それをおさらいしつつ、関連技術も Docker、Omaha、systemd、BtrFS、Golang、etcd、Kubernetes 等々多岐にわたるの
CoreOS on EC2でDockerコンテナをクラスタリングする | DevelopersIO
はじめに ここ最近のDockerムーブメントの中で、キーワードとして良く取り上げられるようになったものの一つにCoreOSがあります。つい先日もGoogle Compute EngineがCoreOSを正式にサポートしたことが大きな話題となっていました。 CoreOSはLinuxディストリビューションの一つです。細かい説明については、外部サイトになりますがCoreOS 入門 - Qiitaという記事が非常に参考になりますのでご一読下さい。 ざっくり書くと、仮想化コンテナを大規模に運用することに特化したLinuxOSです。etcdという分散KVSとfleetという分散システムによるクラスタリング機能を標準的に持っています。 そこで今回は、Amazon EC2上でCoreOSを導入し、更にfleetを使ってDockerコンテナをクラスタリングして起動させる、ということをやってみました。 やった
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
kontena.io