XARs: An efficient system for self-contained executables – Facebook Code
Distributing large pieces of software to thousands of machines with a wide variety of configurations can pose a significant operational challenge, requiring a process to identify and copy precisely the right combination of dependent libraries and data files for each device. To make this faster, more robust, and more efficient, we have developed and deployed XARs, or eXecutable ARchives, a system f
Customizing Upstream Helm Charts with Kustomize
Introduction The Helm charts repository has seen some amazing growth over the last year. We now have over 200 applications that you can install into your Kubernetes clusters with a single command. Along with the growth in the number of applications that are maintained in the Charts repository, there has been huge growth in the number of contributions that are being received. The Charts repo gives
AWSで秘密定数を外部に公開せず環境変数として定義するためのGo製ツール、「ssm2env」作った
ssm2env - Environments injection tool for AWS EC2, with SSM (EC2 Parameter Store). 詳細環境ごとに異なる秘密情報をAPIに渡す際、その管理方法は、twelve-factor appにもある通りデプロイ対象のサーバー内部の環境変数として定義するべき。 ただ、自動化されたデプロイフローでは、どういった手順で秘密情報を渡せばいいか悩むことが多い。 自分が考えた範囲では、 1. AWSのSSMにTerraform経由*1でシークレットな変数を設定 2. APIのデプロイ時にSSMから特定prefixのついたパラメーターを取得 3. パラメーターを全て環境変数として読み込ませる 4. APIが起動する際に秘密情報を定数として環境変数から読み込む*1) 正確にはCircleCIの環境変数設定に事前に入れた状態で、Circ
デプロイ自動化とServerspec
Serverspec本の献本ありがとうございました．とても面白かったです．詳しい書評はすでに素晴らしい記事がいくつかあるので，僕は現チームでどのようにServerspecを導入したか，どのように使っているかについて書きたいと思います． Serverspec導入の背景 今のチームではサーバーのセッアップおよびデプロイにChefを使っている．本にも書かれているようにこのような構成管理ツールを使っている場合はそのツールを信頼するべきであり，Serverspecのようなテストツールは必要ない．僕らのチームもそのような理由でServerspecの導入には至っていなかった． しかしアプリケーションが複雑になりChefのレシピも混沌とするようになるとそれは成立しなくなる．見通しの悪いレシピはChefへの信頼度を落とす．信頼度の低下はデプロイ不信に繋がり人手（筋肉）によるテストが始まる． サーバーの数がそ
デプロイ自動化を進めるためのチェックリスト | Ryuzee.com
アジャイル開発チーム向けのコーチングや、技術顧問、Scrum Alliance認定スクラムマスター研修などのトレーニングを提供しています。お気軽にご相談ください（初回相談無料） いままで色々なところで言ってきたことをだらだらとまとめてみました。 計画および準備段階要求される品質の定義をおこなうDevとOpsの双方で情報が共有されるようにするいつデプロイを開始するのかを明らかにするデプロイの際にインフラを変更する必要はあるのかを明らかにするデプロイを行う時間帯、行わない時間をあらかじめ決めておく(休み前を避ける)ブランチ戦略、マージ戦略を決める継続的インテグレーションの戦略を決めるログの出力戦略を決めるビルドとリリースの自動化人的要素を減らす繰り返し可能にする自動作業と手作業を混ぜないビルドを自動化する誰のマシンでもビルドできるようにするユニットテスト、結合テスト、UIテストなどテストを自動
DockerコンテナをConsulで管理する方法 - Qiita
はじめに Dockerを利用するとコンテナをぽこぽこ沢山立てることが多いと思います。 コンテナが沢山できるので、それらに対していかに効率よくアクセス出来るかが肝になります。 またコンテナで提供するサービスのポートをホストに割り当てて利用する場合(-pオプションを利用する場合)、 ポコポコ出来るコンテナのポートを静的に(-p 80:8080みたいに)割り当てるのは面倒です。 なので動的に(-p 80みたいにしてホストの適当なポートに)割り当てたいところです。 ただし、動的に割り当てるとどのコンテナがどのポートでサービスを提供しているか把握するのが難しくなり、さらにマルチホストになるとどのホストで動いているかどうかを把握する必要もあり、これも難しいです。 この辺うまいこと出来ないかな、ということでServiceDiscoveryといったらConsulですよねってことで組み合わせて使ってみます。
#10 Consulと連携するpull型デプロイツール stretcher - KAYAC Engineers' Blog
tech.kayac.com Advent Calendar 2014 10日目担当の @fujiwara です。 最近書いている stretcher というデプロイツールの紹介をしたいと思います。 長いので3行で push型デプロイはホスト台数が増減しやすい環境に適さない 各種問題を解決するpull型デプロイツールを書いた Consul と連携するよ 中央ホスト配布(push)型デプロイの問題点 カヤックの自社サービスでは久しく Archer というツールを利用し、中央ホストから各デプロイ対象ホストに rsync でファイルを配布する形のデプロイを行っていました。ここではこれを push 型と呼びます。 push型のデプロイは、ホスト台数が頻繁に増減する環境で以下のような問題があります。 新しくホストが起動してきた場合に、中央ホストからデプロイを行ったあとでないと (古い状態で起動してい
Chef ServerとCapistrano3を組み合わせて自動でデプロイ対象サーバを決める方法
タイトルが長い… 例えばAWS上でAuto Scalingを使っていたり、Disposableなインフラを構築していると、アプリケーションのデプロイ先のIPアドレスやFQDNはなかなか固定できません。 このような状況下でCapistranoを使ってデプロイする場合、毎回デプロイ先のホストの情報を取得して、自分で設定ファイルを書き換えるとかまじありえねー、な感じです。 ここでは簡単にデプロイ先サーバの情報を自動で取得する方法を紹介します。 なぜChef Server経由でアプリケーションをデプロイしないかアプリケーションのデプロイもChef Server経由でやればいいじゃん？という声も良く聞きますが、個人的にはこれはやらない方が良いと思っています。 Chefはあくまでインフラやミドルウェアをしかるべき状態に収束させるために作られており、アプリケーションのデプロイ用には作られていません。もち
Features
Model complex workflows Go's pipelines are the building blocks with which you model your deployment pipeline. With Go, you can easily configure dependencies for fast feedback and on-demand deployment. Parallel and sequential execution work exactly as you would expect. Here's a glimpse of what can be done in Go. With its fan-in/fan-out dependency management, Go always tries to do the "right thing,"
capistrano-rsync をつかってみた - blog.ryotarai.info
デプロイ先から Git サーバにアクセスさせたくないという要求があって、capistrano-rsync を使ってみました。ちょっとハマったのでメモ。 環境 ruby 2.1.0 capistrano v3.1.0 capistrano-rsync v1.0.2 まず Gemfile に適当に突っ込んでおく。 1 2 3 4 group :development do gem 'capistrano' gem 'capistrano-rsync' end 基本的には普通に capistrano v3 の設定をする。 はまったところ scm を rsync に capistrano-rsync を使ってデプロイするためにconfig/deploy.rbで scm を rsync にする。 1 set :scm, :rsync キャッシュ用ディレクトリの作成 このまま実行してみると、デプロイ先
Knife Sousを使って複数サーバーでChef Solo - ひげろぐ
複数サーバーでChef Soloを使うのにCapistranoとchef-soloを組み合わせてやっていたけど、最近モダンなやり方を勉強しようと思っていろいろ調べていたら、Knifeのプラグインとして動くKnife Sousなるものを見つけた。 少し触ってみただけだけど、まあいいかんじ。 RakeライクなDSLで環境ごとのネームスペースを設けてノードを管理できる、と言うのがKnife Sousの特徴。 加えて特定のネームスペースに属する複数ホストへのknife soloを一気に実行できる。 設定ファイルを書いた上で以下のように使う。 $ knife sous bootstrap production $ knife sous bootstrap production web1 # 一つだけ実行も可能 $ knife sous prepare vagrant $ knife sous coo
Docker + Mesos + Marathon + Graphite + Fluentd + Sensuを組み合わせたデプロイ管理ツールの話 - ゆううきブログ
開発合宿でDevOps界隈やモニタリング界隈で流行りのツールを組み合わせてBlue Green Deploymentできる何かを作りました。 同じチームで開発したid:shiba_yu36 先生やid:wtatsuru 先生が既にブログを書いてますが、自分の視点で書いてみます。（13/12/24追記: より詳細な内容が新規に書かれたのでリンク先を入れ替えました） Docker, Mesos, Sensu等を利用したBlue-Green Deploymentの仕組み - $shibayu36->blog; Docker コンテナにアプリケーションを立てて Graphite でいい感じに可視化するまで - wtatsuru's blog 僕は主に、各ツールから得られる情報をまとめて管理し、デプロイを実行するデプロイ管理ツールを作成していましたので、それについて書きます。 普段は運用の修行をして
Amazonは1時間に最大1000回もデプロイする。クラウドネイティブなデプロイとはどういうものか？ AWS re:Invent基調講演（Day2 AM）
Amazonは1時間に最大1000回もデプロイする。クラウドネイティブなデプロイとはどういうものか？ AWS re:Invent基調講演（Day2 AM） クラウドによってリソースの制約から解放され、サーバやネットワークを含む冗長性までプログラミング可能になった新しい世界では、どのような考えによってソフトウェアを構築すべきなのか。 Amazon.com CTOのWerner Vogels氏は、Amazon Web Servicesが先週ラスベガスで開催したイベント「AWS re:Invent」2日目午前中の基調講演で、新しい時代のアーキテクチャとはどういうものなのか、聴衆に向けてたっぷりと解説しました。 （本記事は「AmazonクラウドのCTO「クラウドネイティブなアーキテクチャには4つの戒律がある」。AWS re:Invent基調講演（Day2 AM）」の続きです。 戒律その2「リジリエ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - google/subpar: Subpar is a utility for creating self-contained python executables. It is designed to work well with Bazel.
If you liked ksonnet, you'll love Pulumi!
GitHub - tmc/rules_helm: rules_helm: Bazel rules for managing helm charts
Config | Configuration File Management
GitHub - kelseyhightower/confd: Manage local application configuration files using templates and data from etcd or consul
GitHub - flynn/flynn: [UNMAINTAINED] A next generation open source platform as a service (PaaS)![GitHub - flynn/flynn: [UNMAINTAINED] A next generation open source platform as a service (PaaS)](https://cdn-ak-scissors.b.st-hatena.com/image/square/0c4d09584494818cb6d1406b4366b80a73b3a8fe/height=288;version=1;width=512/https%3A%2F%2Fopengraph.githubassets.com%2Ff5a8c11c970422f32ca69265c99eab74c8a2cf43df85b4785243cec702738b4f%2Fflynn%2Fflynn)
fleet で CoreOS + Vagrant の Cluster にデプロイする - Qiita
