Ansible、Vagrant、Packerを用いたAWSの開発／本番／ステージング環境の構築
はじめに 受託開発において、比較的小規模なフルスクラッチのWebシステムを開発する場合、インフラ関連の工数の中でWeb／アプリケーション（AP）サーバの構築に対する工数が比較的多くなってきます。 また、複数のプロジェクトにおいて、同じような作業を繰り返し実施する必要があり、手作業で構築を実施する場合、繰り返し実施する中で手順書が修正され続け、いわゆる「秘伝のタレ」となり再現性が失われるケースが多々あります。 本稿では、開発環境及び本番／ステージング環境において、Web／APサーバを構築する際に「再現性があり」「繰り返し利用が可能で」「短時間で構築が可能な」方法として、Ansible、Vagrant、Packerを用いた実践方法をご紹介します。 Ansible、Vagrant、Packerの役割 Ansible、Vagrant、Packerは既に多くの事例でも採用されているため、ご存知の方も
Packerで作ったイメージを世代管理 - Qiita
この記事は Livesense - 自 Advent Calendar 2017 4日目の記事です。 本日はインフラストラクチャーグループの@nashioxがお送りします。 インフラストラクチャーグループの「自」といえばもちろん「自動化」ですね。 Packerでイメージ作成を自動化する リブセンスではPackerを使って「AMI」「OpenStackイメージ」などを作っています。 イメージの作成そのものはCIツールを利用してGitリポジトリのPush/Margeをフックしてpacker buildを実行すれば良いわけですが、気をつけなければいけないのがイメージの削除です。 Packer only builds images. It does not attempt to manage them in any way. Packerの公式ドキュメントにも書いてありますが、Packerはイメー
Packer初歩的な利用方法 - Qiita
00. はじめに HashiCorpさんの『Packer』 コチラの初歩的な使い方を整理してみました。 00-1. 検証環境 ・PackerはMulti Platformに対応しており、それが特徴でもありますが、今回はAWS上での確認のみになります。 ■検証環境 01. Packerとは 01-1. 特徴 ・公式ドキュメントに簡潔に記載されています。 https://www.packer.io/intro/index.html 上記説明をもとに私の理解は下記になります。 1) 各IaaS・仮想化ソフトウェア/コンテナ管理ソフトウェア(※)にて、カスタムしたマシンイメージを作成できるツール ※AWS、Azure、Google Cloud、VMware、VirtualBoxなど多数のプラットフォームに対応 2) 一度の実行で複数の環境へマシンイメージを作成することが可能 例: AWSでAMIを
高速な研究開発を支えるGPU計算機環境 - クックパッド開発者ブログ
研究開発部の染谷 ( @ayemos_y ) です。好きな ImageNet のラベル(Synset)は "Eccentric, eccentric person, flake, oddball, geek" です。 クックパッドの研究開発部は2016年7月に発足し、現在はアルバイトを含め13名の体制となっています。その中で、こちらの記事でも紹介されている料理／非料理判別モデルを開発するなど、機械学習／ディープラーニング分野に特に力を入れて取り組んでいます。 最近は、モデルを開発し改善する手法などについて多くの情報にアクセス出来るようになり、このような技術をプロダクトに応用していきたいという気持ちが高まっている現場が多いかと思います。しかし一方で、分析の為のデータへのアクセスや画像認識モデルの実装や実験を行うためのGPU環境の整備など、現場の都合に対応するコストによって開発の勢いが鈍化して
Packer + Ansible で Azure Managed Image (VHDではなく) を作る - Qiita
Packer (1.0.4〜) と Ansible で Azure Managed Image を作る方法です。 旧来の VHD を作る方法ではありません。 AWS の AMI (Builders >> amazon-ebs) と同じでしょ？と思ってましたが、実際はかなりハマったのでまとめ。 ハマりポイント Azure Managed Image が作れるのは Packer 1.0.3 から〜 〜1.0.2 で作れるのは VHD だけ Packer 1.0.3 は Ansible Provisioner が使えないバグ があります (sshがフリーズする) 2017/07/27現在は、未リリースの 1.0.4 を 自前でビルド して使う # install go. $ brew install go. # ← ここがMac専用 (あとはLinux共通) $ export GOPATH=$H
Packer で IDCFクラウドに仮想マシンテンプレートを作成する - Qiita
概要 いつの間にか cloudstack builder が support されていたので IDCFクラウドに仮想マシンテンプレートを作成。 環境 Packer v1.0.0 IDCFクラウド側の事前準備 エンドポイント URL, API_KEY, SECRET_KEY 取得 ソースのパブリック IP アドレス ID を取得※ Keypair 登録 ※packer にて temporary で public IP address を取得可能ですが、IDCFクラウドにおいては以下のエラーが出るため、デフォルトでついてくるソース IP アドレスを利用 ==> cloudstack: Failed to associate public IP address: CloudStack API error 431 (CSExceptionErrorCode: 4350): Unable to fi
Testing Packer builds with Serverspec | annaken
May 11, 2017 Lately I’ve been working on building base AMIs for our infrastructure using Packer, and verifying these images with Serverspec. In the opening stages my workflow looked like: Build AMI with Packer Launch instance based on AMI Run Serverspec tests against instance This works fine, and could potentially be converted into a Jenkins pipeline, but it feels a bit clunky. My AMI is based on
Packer の QEMU Builder で Ubuntu Cloud Images を使う - Qiita
Ubuntu Cloud Images で提供されている QCOW2 フォーマットのイメージを元に、Packer の QEMU Builder で OS イメージをビルドしたかったので、その手順をまとめます。 事前準備 今回は macOS Sierra 上でビルドするため、事前に Packer と QEMU をインストールしておきます。インストールには Homebrew を使用します。また、後述する一部の作業で Docker を使用するため、Docker for Mac もインストールしておきます。 cloud-init の設定イメージの作成 Ubuntu Cloud Images で提供されているイメージは、cloud-init を利用して AWS などのクラウドプロバイダーから初期設定を起動時に取得することを前提とした作りになっています。しかし今回は Packer を使用して QEMU
Packer で作る<br />インフラのCI環境 - Qiita
第25回【フリースタイル】PORTもくもく会 の資料 自己紹介 名前: sinsoku 会社: 株式会社grooves できる: Ruby, Rails できない: Clojure github: sinsoku twitter: @sinsoku_listy 宣伝おわり Packer 知ってます？ Packer by HashiCorp Vagrant の会社 json からイメージを作成できる AMI Docker container VirtualBox こんな感じ 実例の紹介 Git on AWS Lambda Lambda と同じ AMI でビルド amzn-ami-hvm-2016.03.3.x86_64-gp2 インストール先を /tmp にする ビルドしたディレクトリを圧縮 Lambda 実行時に /tmp に解凍 template.json builders docker
Packer + itamaeでDockerfileのないDockerライフ - Qiita
Dockerは Dockerfile という独自のDSLで記載されたファイルからDockerイメージを作成するのだが、 普段かいてるitamae使えないかなと思ったらどうやら Packerというものと組み合わえるといけるらしい Packerを使ってChef/Puppet/AnsibleでDockerのイメージをつくる ただ僕が普段使っているのはItamae。。。Packerでは現状対応してないという。 Packerとは？ VagrantとかTerafformとかを作っているHashicorp社製のソフトウェア 複数のプラットフォームのマシン、コンテナイメージを1つの設定ファイルから作成できる。 身近な例でいうと AMIの作成をコマンド一発で作れるようになる。 他にもbuild先を切り替えるとGCEとかVMwareとかのイメージが作れるようになる お題 rubyの2.3.1が動いていてrai
RubyConf 2016 で話してきた & MItamae v1.0.0をリリースした - k0kubun's blog
RubyConf 2016で登壇してきた 2016/11/10〜11/12にアメリカのオハイオ州シンシナティでRubyConfというイベントがあって、Ruby DSLによって設定できるCLIツールをRubyインタプリタやgemの存在に依存しないシングルバイナリとして実装するための知見を「Evaluate Ruby Without Ruby」というタイトルで発表してきた。 発表資料 発表動画 RubyConfってどうなの RubyConfはRubyKaigi並に規模が大きいもののあまりRubyのDeepな部分には期待できないカンファレンスなんだけど、当時行ったことがなかったアメリカに行ってみたいという思いがあって去年も参加していた。あと、RubyKaigiとは違った層の海外のエンジニアと話せる *1 のも良い点だと思う。 去年はRubyKaigi 2015で話したものと同じ内容のCFPをRu
Dockerについて基本から最近追加された機能までまとめ - Qiita
Dockerとは コンテナベースのアプリケーションを仮想化したもの。軽量なVMの様に見えるがこれまでの(VirtualBoxなど)VMでは実現が難しい、不可能であったユースケースを解決してくれる。 ホストOSとリソースを共有するのでリソースの管理がVMより効率的 基本的に状態を持たないのでポータビリティが非常に高く、特定の環境に依存することがない 軽量なのでVMと比較し複数のインスタンスを実行することができる DockerHubなどのレジストリを利用することで既存のイメージをダウンロードして実行することができる コンテナとVM VM VMはハイパーバイザを通してホストOSに対してのシステムコールを解釈させるなどの必要がある それぞれのVMには全て独立したOS・アプリケーション・ライブラリが必要 コンテナ ホストのカーネルは実行されるコンテナと共有される（コンテナは常にホストと同じカーネルを
PackerのAMI手動管理を卒業するプラグインを作ってみた - SideCI TechBlog
こんにちは、家から捕まえられるポケモンだけを捕まえて僕のポケモンGoは終了しました。@wata727です。 弊社ではインフラ自動化の一環として、AMIの作成にPackerを利用しています。PackerはAMIを作るまでは自動化してくれるものの、作成されたAMIは残り続け、使わなくなった古いAMIは手動で削除しなくてはいけません。 この点に関して、公式*1では、 Packer only builds images. It does not attempt to manage them in any way. After they’re built, it is up to you to launch or destroy them as you see fit. If you want to store and namespace images for easy reference, you
PackerによるAMIのテスト考 (2016年度編) | DevelopersIO
はじめに こんにちは、中山です。 みなさんはPackerを利用していますか。コードによってAMIを作成できるので弊社ではとても重宝しています。ただ、作成されたAMIが本当に意図したとおり作成されたのかテストしたいと考えたことはないでしょうか。この場合の「テスト」という言葉は provisionerで設定した各種ミドルウェアが意図したとおりに動作しているか という意味で使用しています。 私自身いろいろと模索している段階です。なのですが、 2016年度初旬時点 で取りうるテスト方法にはどういったものがあるのか、という内容でまとめを書いてみます。 前提条件 ミドルウェアのインストールにはansible-local provisionerを利用する前提で話を進めます。弊社での利用事例が多いためです。 file provisioner や shell provisioner も利用していますが、私は
Packerを使ってVirtualBoxやKVM/Xen向けの仮想マシンイメージを作成する | OSDN Magazine
PackerにはVirtualBoxやQEMU（KVMおよびXen）などの仮想マシンイメージを作成する機能が用意されており、仮想マシン作成を自動化できる。今回は、Packerを使ってVirtualBoxおよびQEMU（KVM）用の仮想マシンにOSをインストールしてディスクイメージを作成する例を紹介する。 Packerを使って各種仮想マシン用のディスクイメージを作る 前回記事ではPackerを使ってDocker用のイメージを作成する方法を紹介したが、今回はDockerではなく仮想化ソフトウェア向けのイメージを作成する方法を紹介していこう。 Packerではさまざまな仮想マシンやクラウドインフラ向けのディスクイメージを作成できるが、今回はCentOS 7のインストールISOイメージを元に、VirtualBoxとQEMU（KVM）向けのディスクイメージを作成する流れを紹介する。 VirtualB
PackerとTerraformで始めるミニマムなAWS構成管理 - sometimes I laugh
前回の記事ではDockerとECSを使ったAWS上でのInfrastructure as codeについて言及しましたが、サーバリソースの構成管理についてはAWSのマネージメントコンソールから手動で行わないといけなかったり、コンテナを用いたアプリケーション構成を強制され、従来の単純なインスタンス構成ができないという問題点がありました。前回の記事はこちら。 後者については、今後コンテナを活用したインフラ構成が普通になっていくことで許容されていくかもしれませんが、普通にインスタンスを立ててインフラを構築している方にとってはInfrastructure as codeをやりたいためにコンテナを前提としたサーバ構成に変更しなくてはいけないなんて、正直気が進まないと思います。 そこで本記事では、今インフラ界隈で非常に強い影響力を持っているHashicorpのプロダクト、PackerとTerrafor
Packer プラグインの書き方（Provisionerを例に） - Qiita
HashiCorp Advent Calendar、15日目の記事です。 今回のテーマは Packer です。 Packer pluginとは Packerの特徴の一つに、イメージの構築のための様々なフェーズをレイヤ分けして、それぞれでプラグインという形で分離しているところがあります。 Builder Plugins (AWS, OpenStack, GCE, QEMUなどのプラットフォーム層) Provisioner Plugins (Shell, Upload, Chef/Puppet/Ansible...) Post-Processor Plugins (DockerやVagrant Cloud周りの操作など、イメージ作成後の挙動) プラグイン機構を採用しているので、環境ごとに自分でプラグインを作成して拡張することも可能となっています。 筆者は以前、DHCPなしのOpenStack向
「Packer」でDocker用のイメージファイルを作ってみよう | さくらのナレッジ
KVMやXen、VMware、VirtualBoxといった仮想化ソフトウェアやDockerなどのコンテナ管理ツールを利用する際には、それら仮想マシンやコンテナを起動するためのディスクイメージファイルが必要となる。今回はさまざまな仮想化ソフトウェア/コンテナ管理ソフトウェアで利用できるディスクイメージファイルを作成できる「Packer」というツールを紹介する。 複数の形式のディスクイメージを統一的な操作で作成できる KVMやXen、VMware、VirtualBoxといった仮想化ソフトウェアやDockerなどのコンテナ管理ツールではそれぞれ独自のディスクイメージ形式が採用されており、その作成には専用のツールを利用する。そのため、複数の仮想化ソフトウェアを併用している場合、各ツールごとに設定ファイルを作成したり、対応するコマンドを実行して個々のディスクイメージを作成する必要があった。こういった
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
データ分析基盤チームにおけるDevOps
成長を加速する minne の技術基盤戦略
