クックパッドのサーバプロビジョニング事情 - クックパッド開発者ブログ
インフラ部の荒井（@ryot_a_rai）です。この記事ではクックパッドで利用しているプロビジョニングツール "Itamae" の紹介と細々した Tips を紹介します。 式年遷宮とプロビジョニングツール 現在、弊社ではインフラの式年遷宮*1を進めています。式年遷宮以前、弊社では Puppet を利用してサーバをセットアップしていましたが、式年遷宮に際して既存のプロビジョニングに関するコードは捨てることになるため、プロビジョニングツールの再検討を行うことになりました。 Puppet, Chef, Ansible, SaltStack を検討した結果、 言語特性の観点では、Ruby DSL な Chef が良い アーキテクチャ・エコシステムの観点では、シンプルな Ansible が良い といった点から、どれも決め手に欠ける状況で、Ruby DSL で記述できるシンプルなプロビジョニングツール
BerkshelfとChefのインストールに苦労した話 - DQNEO起業日記
例えばberkshelfひとつ入れるのに、膨大な知識がいる。 もしあなたが単にPHPサーバを作りたいだけだったとしても、berkshelfをちゃんとしたモダンなやり方でいれるには膨大な知識がいる。 例えばruby, rbenv, ruby-build, gem, bundlerなどだ。 まあ、rbenvとruby-buildで最新のrubyを入れること自体はそんなに難しくない。Ruby言語の知識も必要ない。 運よくgem install berkshelfが一発で成功したら、別に問題はない。おめでとう。 そういう人はここから下は読む必要はないです。 ところがである。 ひとたびgem installが失敗したら、そこからは茨の道である。 インフラの問題 gem installしたら "ERROR: Could not find a valid gem 'chef-solo' (>= 0) i
Chef Solo の Environments - naoyaのはてなダイアリー
今年3月に入門Chef Soloを書いた時点では、Chef Solo は Environments の機能をサポートしてなかったため解説は省略しました。 その後、Chef はバージョン 11.6.0 (現在は 11.8.2) で Chef Solo での Environments をサポートし、入門Chef Solo で推薦している knife-solo も 10月末にリリースされた 0.4.0 から Environments をサポートしました。というわけで、現状 Chef と knife-solo が最新版であれば Environments を利用することができます。 たまたま今手をつけている仕事で Environments のことを調べたので備忘録的に記しておきます。 Environments とは Chef の Environments は、例えば development や pr
2013年Chefの話題を一挙に振り返るまとめ | Engine Yard Blog JP
早いもので2013年もまもなく終わります。特にChefについては今年は大きな飛躍の1年になりました。Chefについては話題の流れも多く、自身としても何があったのかを即座には思い出せません。今回はすでにChefを使っている人の話題の復習や、Chefをまだキャッチアップしていない人が今からでも間に合う情報収集としてまとめてみます。 はてなブックマーク上でも2013年の記事でChefタグが付けられた3ブックマーク以上の記事が800エントリを超え、ブックマークの回数は3万2千回を超えるというとてつもない状況です。今回はその中でも100ブックマーク以上が付いた記事の中から特に注目が集まった話題を時系列で振り返ります。 2013年1月:「兆し」 2013年早々にChefの大躍進の契機になるエントリが@naoya_itoさんのブログに投稿されます。「開発メモ#4 : EC2スナップショットとの差分は c
Infrastructure as Code - naoyaのはてなダイアリー
今年の3月に 入門Chef Solo - Infrastructure as Code という本を書いた。 その名の通り Chef の入門書なのだけど、このサブタイトルは "Configuration Management Tool (構成管理ツール)" でもなく "Provisioning Framework (プロビジョニングフレームワーク)" でもなく、はたまた "Automated Infrastructure (自動化されたインフラ)" でもなく、"Infrastructure as Code" にした。 この一年で Chef や Puppet にはずいぶんと注目が集まった。おそらく、AWS をはじめとするクラウドサービスがより広いユーザーに浸透したことで仮想化環境が前提になって、以前よりも頻繁にサーバーを構築し直したりする機会が増えたとかその辺がひとつ理由として挙げられると思う
Chef: The Company Formerly Known as Opscode - Chef Blog | Chef
This morning we announced we’ve changed the company name from Opscode to Chef. Aaaaaaand… the Earth is still spinning. As we circulated the idea of changing our company name amongst employees and some members of the Chef Community (and some total strangers, too) the reactions generally fell into one of four categories: Awesome, makes sense. It’s about time. So what? Um, what’s Opscode? So, Opscode
Facebook、データセンター自動化ツールにChefの新バージョンを全面採用、Erlangでスケーラビリティ拡大。Opscodeが発表
Facebook、データセンター自動化ツールにChefの新バージョンを全面採用、Erlangでスケーラビリティ拡大。Opscodeが発表 世界最大級の規模のサーバを運用しているFacebookでは、データセンターにサーバを投入したり、既存のサーバのコードをアップデートする膨大な作業が毎日発生しています。特に同社は開発したコードをすぐにデプロイし、利用者からのフィードバックを迅速に開発へ反映させるDevOpsと呼ばれるスタイルを採用していることから、大規模かつ柔軟性の高いデプロイツールが欠かせません。 そこで必要なのがこうしたサーバのコンフィグレーションをデータセンター規模で自動化してくれるツールです。その1つとしてよく知られるのがChef。Rubyで書かれており、コンフィグレーションの内容や手順を記述するレシピ（Recipe）やクックブック（Cookbook）を用いた柔軟なデータセンター自
sensu-chef で監視システム Sensu を管理 #2
こんにちは。@jedipunkz です。 以前、Sensu を Chef で管理する方法について書きました。 http://jedipunkz.github.io/blog/2013/06/20/sensu-chef-controll/ これは今年(2013)の6月頃の記事ですが、この時はまだ sensu-chef を include して使う別の Chef Cookbook が必要でした。また Redis 周りの Cookbooks が完成度あまく、またこれも 公式とは別の Cookbooks を改修して再利用する形でした。この作業は結構しんどかっ た記憶があるのですが、最近 GlideNote さんのブログを読んで( ﾟдﾟ)ﾊｯ!と思い、 sensu-chef を再確認したのですが、だいぶ更新されていました。 下記が sensu-chef です。 https://github.com
python 版 Chef の Salt ってどんなもの？
python 版 Chef の Salt ってどんなもの？ 1 minute read Published: 19 Apr, 2013 ちまたでは ruby 製のサーバ管理ツールである Chef が賑わっているようですが、python 大好き派な私はついつい python 製の代替製品を探してしまいます。python ではたいてい [pypi] から探してくるのですが最近 salt というサーバ管理ツールを見つけて魅力に取り憑かれつつあります。 salt のリンク なにはともあれサイトへのリンクは下になります。 salt の公式ページ（Salt Stack というのは salt の開発会社） http://docs.saltstack.com/ ダウンロード先（ただ、インストールは easy_install で行けます） https://pypi.python.org/pypi/salt
入門Chef Solo 読んでる
自動構成管理ツールChef(のスタンドアロン版であるChef Solo)の入門本である「入門Chef Solo - Infrastructure as Code」を読み始めました。 サーバ管理を1台でもやっていて、自動構成管理をしたことがない人は、間違いなく読む価値があります。 サーバの自動構成管理は、たった1台のサーバを管理するだけでも大いにやる価値があります。 もしも色々と手を加えてたくさんのサービスを動かしているサーバが壊れて、1から再構築しなおさなければならないときに、 前の状態まで間違いなく戻せる自信がありますか？僕はないです。 また、Chefのようにコードの形で構成情報を記述できるということは、 それをバージョン管理することでサーバの構成情報を時系列にトレースすることも可能となります。 自分のメールサーバを運用しているVPSとか、研究室の自分用ルータ兼CIサーバ兼gitレポジト
Nginxの脆弱性(CVE-2013-4547)へのChefを使った対応 | Engine Yard Blog JP
脆弱性の内容 Nginxにセキュリティ設定を迂回できる脆弱性(CVE-2013-4547)が報告されました。この問題はNginxのバージョン、0.8.41 - 1.5.6が影響を受けると報告には記されています。内容については下記のようなセキュリティ設定を迂回できるというものです。 location /protected/ { deny all; } 迂回の方法はスペースを使ったURL,「/foo /../protected/file」やPHPなどの処理を呼び出す部分にやはりスペースがある事で実行できるとのことです。詳細についてはメーリングリストの投稿を御覧ください。 Engine Yardでの対応 Engine Yardでは該当の問題に対する修正パッチを適用したクックブックを脆弱性の報告から2日後(2013/11/21)にリリース済みです。 Engine Yardのダッシュボード上でアッ
AWS re:Invent と Immutable Infrastructure - 昼メシ物語
先日 Las Vegas で開催された AWS re:Invent 2013 に参加してきました。 非常に活気あふれる大規模なカンファレンスで、大変刺激を受けました。 今日は、いま何かと話題になっている Immutable Infrastructure に関連した発表を2つ紹介します。 Stop Worrying about Prodweb001 and Start Loving i-98fb9856 slideshare: Stop Worrying about Prodweb001 and Start Loving i-98fb9856 (ARC201) | AWS re:Invent 2013 AWS の Chris Munns 氏による発表です。タイトルからして面白いですね。エモいです。 この発表は以前から目をつけていたんですが、スケジュールの都合で出られず、残念でした。こうしてス
構成管理ツール「Chef」の概要とインストール手順
自動化ツールの必要性 昨今、仮想化およびクラウドの普及に伴い、サーバを短時間で増設することが容易になってきました。例えばユーザアクセスが増えてシステムの負荷が高くなった場合、サーバそのものは即座に準備できるようになりました。しかし、システムの設定は別途実施しなければいけないという状況も多々見受けられています。 サーバの台数が少なければ一台一台構築や設定を行えますが、何百台ものサーバを扱うとなると時間がかかって迅速性は失われてしまいますし、多くの人手が必要となれば設定の間違いが起こる可能性も高くなるでしょう。そして管理するサーバが増えたとしても、それらを管理する人は増えていないのが現状です。 そのため、サーバ構築とともにアプリケーションやミドルウェアの設定をも実施する自動化ツールが注目されています。 Chefとは Chef（シェフ）は、米Opscode社が提供するクラウドコンピューティングを
【chef】chef-serverでrun_listを利用したserverspecでのテスト | DevelopersIO
もちろんchef-soloで右列のシナリオができないということではありません。chef-serverで運用する規模で、典型的と思われるテストシナリオとして考えてみました。今回は右のテストシナリオを実現する方法を考えてみたいと思います。 テスト方法のポイント 先にあげた表の中で、今回特に検討しなければならないのは以下の3点です。 テスト対象ノードの台数が「複数台」 テストするCookbooksが「テストインスタンスによって異なる」 run_listの指定はrole単位 つまりテスト実行時に次の処理が必要になります。 テスト対象ノードの一覧を取得し ノードに適用されたrun_listを取得し run_listにroleが含まれていればrecipe(cookbook)に展開する 適用されたcookbookに応じたserverspecを実行するRakefile 以上の処理を実現するRakefile
インフラ系技術の流れ - Gosuke Miyashita
ここ最近のインフラ系技術の流れがおもしろいなー、と思ったので、Puppet が出た辺りぐらいから、振り返って整理してみる。殴り書きなので、後から修正したり書き加えたりするかも。特に後半の方は、あまり考えが整理できてない。 最近のウェブ界隈での「インフラ」という用語の使われ方には、色々異論もあるようだけど、ここではごく最近使われるようになってきた、OS からミドルウェアといったソフトウェアレイヤーを指す言葉としてのインフラについて触れる。（英語圏でも同様の意味で使われているようなので、ある程度市民権を得たと言っても良さそうだし。） プロビジョニングレイヤー まず、前提知識としてプロビジョニングレイヤーと自分が勝手に呼んでるものについて整理。 Chef や Puppet は「プロビジョニングフレームワーク」とも呼ばれているが、以下の議論をより厳密にするために、Lee Thompson 氏による
ChefのKnifeでCloudStackを操作する方法
knife-cloudstackとは knife-cloudstack*1とは、インフラ構成管理のシステム統合フレームワーク「Chef」*2のコマンドラインツールである「Knife」*3のCloudStack操作用プラグインです。CloudStackを操作するにはGUIを用いる方法とAPIを経由する方法（CloudStackをAPIで操作する参照）がありますが、knife-cloudstackはこのうち後者であるCloudStack APIを経由して操作するものです。 knife-cloudstackを導入すれば、KnifeからCloudStackのAPIを経由して、CloudStackのインスタンス作成、ブートストラップ、管理を行えるようになります。
Why Docker? Why Not Chef? : RelateIQ Blog
Better Relationships. Smarter Decisions.Docker Is Awesome Docker is the product that has excited me most in dev-ops in the past year. The simple abstraction it gives to the combination of already powerful linux containers (LXC) and copy-on-write file systems (like AUFS) is both useful and fun. I’ve occasionally heard skepticism about just how amazing it is made out to be. I’d like to explain why I
運用担当者、激減中
ユーザー企業の情報システム部門で今、運用担当者の人数が大きく減り始めていることをご存じだろうか。 運用業務には、「アプリケーション保守」や「OS/ミドルウエア運用」、「ITインフラ運用」などがあるが、あらゆる業務に関わる運用担当者が減少しているのだ。まずは4社の事例を紹介しよう。 サイバーエージェント 運用担当者の人数 20人→0人（予定） サイバーエージェントで消費者向けWebサービスを手がけるアメーバ事業本部では、現時点で20人いるOS/ミドルウエアの運用担当者を、2年後の2015年までにゼロにする計画だ。 彼らは現在、OS/ミドルウエアをサーバーにインストールしたり、パッチを適用したり、アプリケーションの負荷に応じてサーバー台数を増減したりする業務を行っている。これらの業務を、オープンソースソフトウエアの運用管理ツール「Chef」を導入することで、自動化する計画だ（図1）。
Berkshelf で Chef Cookbook の管理
こんにちは。@jedipunkz です。 今日は Chef Cookbook の管理をしてくれる Berkshelf について。 Berkshelf は Librarian-Chef と同じく Cookbook の管理をしてくれるツールです。依 存関係のクリアもしてくれます。Opscode の中の人 @someara さんにこんなこと言われ て、 @jedipunkz berkshelf > librarian-chef — somearaさん (@someara) 2013年2月5日 Librarian-chef じゃなくて Berkshelf 使えってことだろうなぁと思ったので僕は Bekshelf を使うようにしてます。先日ブログ記事にした openstack-chef-repo も以前 は Librarian-chef を使っていたのですが最近 Berkshelf に置き換わりまし
knife-soloを0.2.0から0.3.0にした時の話 - $shibayu36->blog;
この前vagrantに対してchefを適用しようとした時にハマった話です。 問題 PrePANはvagrantでローカル開発環境を作ることができ、vagrantでVMを作った後、それに対してknife-soloを使ってchefを適用するということをしています。先日Carton 1.0化を進めるかと思いやってみたところ、一度目のchefの適用は出来るのですが、二度目以降はknife solo cookが全く動かなくなりました。 その時出たエラーとしては、rsyncをしていて/tmpのpermission errorが起こっているというものでした。knife-solo 0.2.0 で rsync エラーによって苦しまないためのたったひとつの方法 - Hack like a rolling stoneが参考になります。 修正 まあ解決策としてはknife-soloを0.3.0にあげるということな
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
