AWS EC2サーバに対するknife solo実行環境構築手順 on Mac OS Xを一から整理してみる | DevelopersIO
師匠様方が走り回りまくる今日この頃、皆様いかがお過ごしでしょうか。しんやです。 弊社AWSコンサルチームでは、AWSでの環境構築を『AWS CloudFormation単独(パッケージのインストール等もCloudFormationで兼ねる)』、若しくは『AWS CloudFormation+Knife Solo』という組み合わせで行うのが主流となっています。当エントリでは後者の方、『AWS CloudFormation+Knife Solo』で環境構築を行う際の『knife solo』に於ける環境構築手順について、意外と初見では踏むべき手順が多く、躓く点も多かった(と個人的には思っている)ので備忘録も兼ねてエントリとしてまとめておこうと思います。 スタート地点 Gitインストール rbenvインストール ruby-buildインストール Rubyインストール by rbenv knife-
記述したいのはサーバの状態なのか、セットアップ手順なのか - BLOG::はるかさん
id:catatsuyが石狩DCでLTしていたように、 弊社のセットアップスクリプトもserverspecで管理されるようになった。 これによりセットアップスクリプトもテスト駆動になり、JenkinsによるCIでテストされるようになった。 手でセットアップしてみないと合ってるかどうかわからない時代は終わりを告げた。 そして世の中はImmutable Infrastructureに向かい始めている。 これは仮想化技術により、サーバをつくったり壊したりが簡単になったので、 冪等性とか考えずに新しいサーバをつくってバシッと切り替えれば、変に悩まなくてもすむよね、 ということだと理解している。 弊社はオンプレだけど、サーバのセットアップってのは毎日のようにやっていて、 セットアップしては壊してを繰り返している。 で、話は戻るのだけど、serverspecとかconfigspec、chef、ansi
日経BPシステム運用ナレッジの取材を受けました - 元RX-7乗りの適当な日々
少し時間がたってしまいましたが、タイトル通り、取材を受けました。たまには、内容を箇条書きしてみようｗ Chefの利用事例の話をしました。(最近の定番) Cookbook/Recipeをフルスクラッチで3世代書いた(2回書き直した)ことを話し、その中でサービスやChefまわりの運用がどういう変遷を辿ったかという話をしました。 運用担当者を0人にする、的な話はしていません。 それでは！=͟͟͞͞(๑•̀=͟͟͞͞(๑•̀д•́=͟͟͞͞(๑•̀д•́๑)=͟͟͞͞(๑•̀д•́
Vagrant で仮想環境を chef で設定する時のアレコレ - ようへいの日々精進XP
はじめに vagrant で chef を使いたいという質問を頂いてすぐに答えられなかったので反省と復習の意味を込めて 幾つかやり方があるのでやり方別に書いてみる 但し、細かい設定手順等については改めて書くか、ググる うんちく ざっくりと登場人物について整理してみる。 Vagrant オフィシャルサイト Oracle VirtualBox のフロントエンドコマンドラインツール ただし VirtualBox だけではなく lxc や AWS の EC2 等も操作することが出来る（使ったことないけど） 仮想環境は box というファイル拡張子で管理されていて、ユーザーが作った box ファイルがこちらで公開されている chef オフィシャルサイト 無く子も黙る Provisioning Framework の決定版 DSL はほぼ Ruby で記述することが出来る 各種設定やコマンドが記述され
Chefのレシピは上から下に実行されるという誤解 | Engine Yard Blog JP
Engine Yardを含むさまざまな場面で利用が広がったChefですが、その動作原理やアーキテクチャについてご存じない方もいることに気が付きました。細かなアーキテクチャを理解しなくても使うことができるというChefの長所を示しているともいえますが、細かな挙動を制御する際にはやはり動作原理などの知識があると役立ちます。 今回は表題のとおりレシピが実行される際のサイクルについてあまり知られていない部分を紹介します。 Chefの実行サイクルとリソースコレクション Chef(Chef Client、Chef Solo)が実行された際には直ちにサーバの設定が始まるわけではなく、さまざまなステップ毎に処理が実行されます。大まかには下記のようなステップになります。 Chef Serverとの通信、認証処理 Chef Serverからのクックブック、データの取得 クックブックのコンパイル ノードの設定
sensu-chef で監視システム Sensu を管理 #2
こんにちは。@jedipunkz です。 以前、Sensu を Chef で管理する方法について書きました。 http://jedipunkz.github.io/blog/2013/06/20/sensu-chef-controll/ これは今年(2013)の6月頃の記事ですが、この時はまだ sensu-chef を include して使う別の Chef Cookbook が必要でした。また Redis 周りの Cookbooks が完成度あまく、またこれも 公式とは別の Cookbooks を改修して再利用する形でした。この作業は結構しんどかっ た記憶があるのですが、最近 GlideNote さんのブログを読んで( ﾟдﾟ)ﾊｯ!と思い、 sensu-chef を再確認したのですが、だいぶ更新されていました。 下記が sensu-chef です。 https://github.com
「Hatena Engineer Seminar #2」の発表資料を公開しました - Hatena Developer Blog
こんにちは、id:shiba_yu36です。先日行われた「Hatena Engineer Seminar #2」 に多数のご参加ありがとうございました。今回のセミナーの発表資料を公開しましたのでお知らせします。 Hatena Engineer Seminarは第3回、第4回と続けていきたいと思いますので、また是非ご応募ください。今後の開催予定については、本ブログや@hatenatechで告知させていただきます。 Vagrant と Chef でつくるはてなブックマークの開発環境 aereal (アプリケーションエンジニア はてなブックマークチーム) 開発環境をプログラマブルにする Vagrant と、ソフトウェア・インフラストラクチャをプログラマブルにする Chef を用いてはてなブックマーク開発環境を整備した体験とその方法を紹介します。 Vagrant と Chef でつくるはてなブック
はてなのみなさん、京都から東京へようこそだった Hatena Engineer Seminar #2 に参加してきました - #garagekidztweetz
ツイート今日ははてなのみなさん （全員かどうかわからないですが…）がわざわざ京都から東京にきてくださった Hatena Engineer Seminar #2 に参加してきました。 カバーされたトピックは以下の 3 つでした。 Vagrant と Chef でつくるはてなブックマークの開発環境 はてなにおけるモダンiOSアプリ開発入門 Fluentd, MongoDB, Kibanaをつかった はてなブログABテストの事例*1 ご本人たちも認めてましたが、 上記の通り 3 つのトピックにまとまりがなかったですね・・・ いい意味にとらえると普段馴染みのない内容にも触れられて有意義だったな、思いました。 一方で、テーマを絞ってくれたほうが聞きたい内容だけ聞ける*2ので、可能だったら次回は対比の意味もこめて、ひとつのテーマに絞った内容でやてみてくれるといいんじゃないかと思います。 アンケートにま
Packer with ChefでProdとDev環境でIdenticalなイメージをビルドする方法 - Debuginfo
開発環境としてVirtualbox(Vagrant)を用いてmac上で開発を行い、本番環境ではEC2を使うことを考えています。できることならば、本番環境と開発環境を同じにしたいと誰もが思っていると思います(殴り書き図参照)。 Packerのフロントページに書いてあるようにPackerを使う事ででできそうです:) Packer is a tool for creating identical machine images for multiple platforms from a single source configuration *ちなみに私はamiイメージを手元に作れるかと思ってドキュメントを読んでいましたが違うようですね。(It's not exactly identicalな気がしますが。。) 一連の流れは下記のようになります。 packer用のjsonに複数のBuilderを書
大規模システム構築に求められる自動化とChefの基本的な考え方とは
システム構築・運用の問題 近年、HadoopやOpenStackといった大規模分散基盤が注目を集めています。それに伴い多数のサーバーを構築・運用する機会のある方も増えてきているのではないでしょうか。 筆者も以前、数百台のHadoopクラスタ構築を担当したことがあり、構築台数の多さと作業の煩雑さに愕然としました。特に以下の点が問題でした。 （1）設定ミスにより膨大な作業が発生するリスクがある 検証環境の構築で、当初筆者は同じようなサーバーの構築を何度も行っていました。同じ作業を何度も繰り返していると、すぐに作業がマンネリ化し集中力が続かなくなり、設定ミスが多くなりました。その様な設定ミスが致命的な場合は、切り分け作業や設定の見直し作業が発生します。最悪の場合、全サーバの設定を確認することも考えられます。 （2）全体の待ち時間が大きな時間のロスになる パッケージのインストールなどは待ち時間が1
Immutable Infrastructure時代のConfiguration Management Toolの要件およびその実装について - Kentaro Kuribayashi's blog
本稿では、"Immutable Infrastructure"時代におけるconfiguration management tool(以下、CMT)の要件およびそれを満たすツールについて議論する。 背景の整理 "Immutable Infrastructure"とは、2013年6月、Trash Your Servers and Burn Your Code: Immutable Infrastructure and Disposable Components - Chad Fowlerにより提唱された概念だ。ある種のプログラミング言語における不変性がプログラムにおける厄介な問題を解決するように、サーバの状態を不変な(正確には、状態を変更しない)ものとすることで、成長し続けるソフトウェアにとって避けられない、時間の経過によりもたらされる種々の問題が、解決可能であるとする。 そもそもどのような
Immutable InfrastructureとChefと冪等性の話 - プログラマでありたい
最近話題になっているImmutable Infrastructure（イミュータブル・インフラストラクチャ/サーバ）。あんまりよく解っていないので、整理してみました。 Immutable Infrastructureとは？ そもそもImmutable Infrastructureとは、何でしょう？極論すると、「稼働中のサーバの構成管理をやめて、サーバを使い捨てにしよう」という考え方です。これだけ言われても、さっぱり解らないと思います。 まずは従来の考え方。Mutable Infrastructureというのか、既存のサーバに変更を加えていくことが前提になります。 それに対して、Immutable Infrastructure。直訳すると変化しないインフラとなります。どういうことかと言うと、サーバ構成（ミドル・アプリ）を変更したい場合は新規にサーバを立ちあげ、そこに既存の機能と新規の機能を加
PuppetとChef、Ansible、Saltの比較レビュー、Puppetが高評価 | スラド IT
最近、サーバーの設定作業などを自動化するChefなどのツールがよく話題になっている。はてなブックマークでのブックマーク数などを見る限り、Rubyで実装されているChefが日本では人気のようだが、それ以外にも同様のツールとして同じくRubyで実装されたPuppetやPythonで実装されたAnsible、Saltといったソフトウェアがあり、これらを比較したレビュー記事がInfoWorldに掲載されている（本家/.）。 記事では4つのツールそれぞれをAvaliabillity（可用性）、Interoperabillity（相互運用性）、Management（管理）、Scalabillity（スケーラビリティ）、Performance（性能）、Value（価値）の6項目で評価したスコアが掲載されており、トップはPuppet、続いてSalt、Chef、Ansibleという序列になっている。 詳しく
kitchen-docker が動きました - ようへいの日々精進XP
追記（2） 11/29 test-kitchen と kitchen-docker がバージョンアップされていました 動くようになりました！！ 追記 11/26 に Docker 0.7 がリリースされたようです 残念ながら自分の環境では kitchen-docker は普通には動いてくれてません... はじめに test-kitchen のドライバの一つ kitchen-docker をとりあえず動かした とりあえず動かした理由と対応をメモる 参考 portertech / kitchen-docker portertech / kitchen-lxc test-kitchen / kitchen-ec2 GitHubへpull requestする際のベストプラクティス コミットメッセージの書き方 動かした環境 Ubuntu 13.10 lxc-docker-0.6.7 kitchen-
chefでattributeファイルを上書きしたい時 - アルパカDiary Pro
attributeファイルのオーバーライド 公式レシピを使う場合に、attributesファイルの一部のパラメータだけ更新したい時があると思います。 jsonでいちいち指定しても良いんですが、共通で設定したいパラメータは site-cookbooks以下にattributesファイルで書いておきたいこともあります。 その場合、今までは馬鹿正直にオリジナルのレシピを丸々コピペして一部だけ更新する、 といったように使っていたんですが*1 include_attribute使えば簡単に書けるのでは？と思った。 nginxの場合 いままではベタ書きしてたのを… site-cookbooks/nginx/attributes/default.rb # オリジナルのattributes/default.rbをコピペ default['nginx']['version'] = '1.2.9' defau
CloudFormation + Chef-soloで環境構築する | DevelopersIO
はじめに @smokeymonkeyです。AWS re:Invent 2013、盛り上がってますね！毎朝目が覚めてニュースをチェックするのがとても楽しいです。 さて、CloudFormationはAWSのプロビジョニングツールとして非常に強力ですが、複雑な処理を組み込むとすぐにTemplateが肥大化してしまい、またJSONで記述することからコメントが書けない(参考:JSONにはコメント行が付けられない？ネットで見つけた方法の有用性を試してみた ｜ Developers.IO)という難点があります。 そのため、CloudFormationとChefやPuppetなどのプロビジョニングツールを組み合わせて、AWSリソースの構成はCloudFormationから行い、EC2内部でのミドルウェアのインストールや設定はChefやPuppet等から行うことが多いと思います。そこで今回はCloudFo
【AWS】簡単！berkshelfとchefを使ってPostfixからSESでメールを送ってみた | DevelopersIO
はじめに こんにちは植木和樹です。先日Developers.IO AWS関連ブログ500本目記念として、弊社 望月が英語ブログを投稿しました。 How to send Email from PHP application via Amazon SES ｜ Developers.IO ブログではEC2からSESをリレーしてメール送信するためのPostfix設定方法を紹介しています。/etc/postfixにいくつかファイルを用意するだけで、意外と簡単にSESが利用できるようですね。 既存システムをAWSへ移行するにあたって、アプリケーションの改修を行わず、サーバーからメールを手軽に送りたいという需要は多いのではないでしょうか。ということで、誰でも簡単にSESが利用できるようChefでPostfixを設定してみました。 事前準備 次のものを事前に準備しておきます。今回はSESをSandbox環
サーバー設定ツール「Chef」応用編：knife-soloとData Bagを使う | さくらのナレッジ
サーバー管理ツール「Chef（シェフ）」は、ファイルに記述した設定内容に応じて自動的にユーザーの作成やパッケージのインストール、設定ファイルの編集などを行うツールだ。今回はChefの応用編として、Chefサーバーなしに複数台のサーバー管理を行う「knife-solo」というツールと、設定のためのデータなどを一元管理できる「Data Bag」という仕組みを紹介する。 knife-soloを使った複数台サーバー管理 Chefは「Cookbook（クックブック）」や「Recipe（レシピ）」と呼ばれる設定ファイルに従って、ユーザーの作成やソフトウェアのインストール、ネットワークやファイアウォール、データベースなどの設定など、さまざまな設定作業を自動で実行するツールだ。利用するメリットとしてサーバーの設定を一元的に管理できる、実行する設定内容をチェックしやすくミスを防ぎやすいなどがあり、近年注目を
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Vagrant と Chef でつくるはてなブックマークの開発環境
Future of server provisioning
