分散KVSの「etcd」、Cloud Native Computing Foundationのインキュベーションプロジェクトに
分散KVSの「etcd」、Cloud Native Computing Foundationのインキュベーションプロジェクトに Kubernetesなどの開発をホストするCloud Native Computing Foundation（CNCF）は、オープンソースとして開発されている分散キーバリューストア「etcd」（読みはエトセディー）の開発がCNCFのインキュベーションプロジェクト（育成段階のプロジェクト）になったことを発表しました。 etcdはもともとCoreOS（現在はRed Hatが買収）がコンテナのクラスタの構成情報や状態などを管理するために開発した分散キーバリューストアです。 ネットワーク上に分散した多数のノードから構成されるクラスタでは、ノードの障害やネットワークの分断に対する強い耐性を持ちつつ、クラスタの情報を管理するために多数のノードからの書き込みや参照を高速に処理で
分散ユーザー管理システム「etcdpasswd」の紹介 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、アプリ基盤チーム兼Necoプロジェクト所属の @ueokande です。 本日はNecoで開発しているUNIXユーザーの管理ツールである「etcdpasswd」を紹介します。 github.com etcdpasswdは、etcdをバックエンドに持つ分散型のユーザー管理システムです。 etcdpasswdは自律型の分散システムで、一時的にホストがダウンしても、次回起動時にetcdのユーザーを参照して同期します。 etcdpasswdはLDAPのようなNSS (Name Service Switch) が外部サービスに問い合わせるのではなく、etcdpasswdが各ホストにある /etc/passwd を更新します。 なぜetcdpasswdなのか 現在のcybozu.comデータセンターでは、各ホストのユーザー追加・更新は、MySQLでユーザー管理されており、管理者が適用したタ
etcdからkubernetesの動きを見る「kube-ectd-helper」 - febc技術メモ
多分すごく限られた層にだけ響くツール「kube-etcd-helper」を作りました。 kube-etcd-helperは、kube-apiserverが利用しているetcdに直接アクセスし、 データのダンプや変更の検知を行うためのツールです。 kubernetesの全体のデータの動きを知りたい方や、kubernetesを開発プラットフォームとして利用するインフラエンジニアの方などは便利にお使いいただけると思います。 kube-etcd-helper Kubernetesオブジェクトの中身を見るには Kubernetesオブジェクトとは、Kubernetesのクラスタの状態を表す永続化されるエンティティのことです。 podとかserviceとかdeploymentなどですね。 Understanding Kubernetes Objects これらは通常kube-apiserverによって
Operator の紹介：運用の知見をソフトウェアに入れる ‣ Pocketstudio.Net
概要 CoreOS の Blog に “Introducing Operators: Putting Operational Knowledge into Software” という記事が掲載されました。先日の KubeCon でも Keynote で取り上げられていた、 Operator という Kubernetes 上で指定した状態を維持するためのツールについての概要です。 「運用知識をソフトウェアに」と興味深いタイトルに釣られ、ついつい読んでしまいました。記事を書かれた Brandon Philips さん（ @BandonPhilips ）に翻訳を許諾いただきましたので、ここで公開します。翻訳に間違いがありましたら、どうぞお気軽に @zembutsu までご指摘ください。 Operator の紹介：運用の知見をソフトウェアに入れる サイト信頼性エンジニア（SRE; Site Rel
CoreOS、分散環境設定サーバ「etcd v3.0.0」をリリース
etcdは、各種サービスやスケジューラなどの設定を共有できる、オープンソースのキーバリュー型データストア。分散型なので、あるサーバが停止した場合でもアプリケーションは継続して動作する。また、CoreOSの中核を成すソフトウェアである。 CoreOSでは、ここ数ヶ月の間etcd3 APIのリリースに向けて開発を続けており、今回リリースされた「etcd v3.0.0」は、etcd3 APIおよびデータモデルの、最初の安定版となる。従来のetcd2と同一のJSONエンドポイントと内部クラスタプロトコルを使用しているため、簡単にアップグレードできる。 ネイティブクライアントとの通信は、gRPCプロトコルを通じて行っており、従来のetcd2におけるクライアントサイドでのJSONによるパースと比較して、メッセージ処理のパフォーマンスを2倍に向上した。また、JSONクライアントでは各リクエストごとに新た
CoreOS 運用の所感
CoreOS Meetup Tokyo #1 での発表資料。 etcd, fleet オフにして使ってるので期待した内容ではないかもですが... http://coreos-meetup-tokyo.connpass.com/event/12596/
CoreOSに入門した
CoreOS is Linux for Massive Server Deployments · CoreOS CoreOS + Docker Meetup Tokyo #1に参加してCoreOSにめっちゃ感動したので，CoreOSに入門していろいろ触ってみた． まず，CoreOSの概要とそれを支える技術について説明する．次に実際にDigitalOcenan上にVagrantを使って実際にCoreOSクラスタを立てて，CoreOSで遊ぶ方法について書く． CoreOSとは何か CoreOSは，GoogleやFacebook，Twitterといった企業が実現している柔軟かつスケーラブル，耐障害性の高いインフラの構築を目的としたLinuxディストリビューションである．軽量かつ使い捨てを前提にしており，クラウドなアーキテクチャのベストプラクティスを取り入れている．CoreOSの特徴は大きく4つ挙
CoreOS + etcd + fleetによるクラスタリング事始め | さくらのナレッジ
CoreOSはDocker用に作られたとても小さなLinuxディストリビューションです。その中で提供されている大きな3つの機能として、Docker/etcd/fleetが知られています。この3つを組み合わせるとクラスタリング構成がとても簡単に実現できるようになります。 ということでさくらのクラウドを使ってフェイルオーバーする所までをトライしてみます。 サーバを立てる 今回は3台のサーバを立てます。OSは全てCoreOSになります。サーバの追加を行う際にアーカイブ選択で CoreOS 367.1.0 (stable) #112600559854 を選択します。後、今回は管理ユーザのパスワードを入力しています（理由は後述）。複数台のサーバを使いますのでホスト名を忘れずに設定しておきます。 サーバ追加画面。アーカイブからCoreOSを選びます。 CoreOSの設定 CoreOSはとてもシンプルな
Coordination Service(ZooKeeper，etcd ，consul) の比較
概要 最近，consul，etcd，ZooKeeper といった，いわゆる Coordination Service(この名前は ZooKeeper の論文から拝借した)の実装が頻繁に行われている．本記事では，開発が盛んな背景を踏まえた上で，オープンソース実装の Coordination Service の比較を行う． Chubby から現在まで Paxos が Google の手によって Chubby という形で実用化された後，故障検出+分散合意アルゴリズムを用いた高可用KVSという組み合わせによる Coordination Service のオープンソース実装がいくつが出てきた．そのはしりが ZooKeeper である．ZooKeeper は Hadoop ファミリではデファクトスタンダードの Coordination Service であり，Hadoop を初めとして HBase，M
serfの設定をetcdで動的生成を試みた話 | Pocketstudio.jp log3
以前、Etcd を使って Serf の設定ファイルを動的に生成できないかどうか、考えていた時期がありました。現在対象となったファイルはメンテしなくなったため、Gist 上に放流しています。 https://gist.github.com/zembutsu/c01c4a152c3ac4be8950 以下、自分のための、取り組みの切っ掛けであったり、考えを整理するためのメモ。 ■ Etcd とは Etcd は、GitHub 上の説明によりますと、”設定共有とサービス検出のための、高い可用性を持つキーバリュー・ストア” ( A highly-available key value store for shared configuration and service discovery ) とあります。最近であれば、CoreOS に始めから入ってる機能としての Etcd 、という方が認知されている
etcd + docker で簡単にリモートコンテナに接続しよう - Qiita
Docker 盛り上がってますね。 色々使ってみるとこんなこと思うことありませんか？ NAT じゃなきゃ楽なのに 他ホストの Docker と Link できたら楽なのに そうです。色々使ってみるとネットワーク周りをどうするか？という問題にぶつかります。 導入、運用を考えてる方々は多くの場合、この問題に取り組まないといけなくなると思います。 では問題をおさらいしてみましょう Docker のネットワークの問題 Docker はポータビリティを上げるため他コンテナに IP, Port 番号などを教える機能を提供しています。 Link 機能です。 $ sudo docker run -d --name redis crosbymichael/redis $ sudo docker run -t -i --link redis:db ubuntu bash root@451f4256fbc8:/
CoreOS 入門 - Qiita
CoreOS は Alex Polvi が設立した会社であり、OS、新しい Linux Distribution である。OSS で公開されている。 Polvi 氏といえば Rackspace に 買収された CloudKick を立ち上げ、その後も Rackspace 働いていたクラウドの専門家とも言えるだろう。 その Polvi 氏以外にも Googler や Linux 関連の人材、アドバイザーに Linux の stable branch のメンテナ を迎えるなど、Linux に関する知識がかなり豊富なメンバーが集まっている。 その彼らが作っているのが CoreOS である。 CoreOS は Google や Facebook などの環境を参考にしており、柔軟にスケールし、さらにはインフラ構築その もののプロセス自体も効率よく合理的に行えるよう設計されている。 また運用、管理（セ
CoreOS + Vagrant に etcd を使ってクラスタを構築する - Qiita
目的 fleet を触るため、ローカルでテスト環境を構築します。 デモ用は Vagrant 環境が無難なので、Vagrant で CoreOS のクラスタ構築をします。 注意 Docker の話は出てきません etcd を使うために Golang 1.2 環境が必要です ローカルに etcd を立てる必要があります。 ゴール CoreOS を Vagrant で複数台起動しクラスタを構築し fleetctl list-machines で確認する 前提環境 Mac OS X 10.7.x Vagnrat 1.5.1 VirtualBox 4.3.10 Golang 1.2.1 etcd をセットアップ discovery 用の etcd をローカルに構築します --addr で指定している IP アドレスは virtualbox のゲートウェイの IP アドレスです。 うまく行かない場合は
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
etcd based PostgreSQL HA Cluster
CoreOSクラスタにDockerコンテナをデプロイ #dockerjp