ソフトウェアエンジニアだけでサービス運用できる環境を作って失業した話 - まいんだーのはてなブログ
はじめに このエントリは非常にポジティブで技術的なチャレンジに関するまとめであり求人エントリでもあります。 まとめ 昨年後半から、急成長するサービスを支えるため “どオンプレ” な環境で作ったサービスをクラウドに持っていく仕事をしていました。 クラウドのオイシイところを押さえられるよう作り変えをした結果として “Infrastructure as Code” を実践することになり、結果としてソフトウェアエンジニアだけですべてがコントロール出来る状態になり、インフラおじさん業が不要になりました。 そういった環境で働きたい "腕の立つITエンジニア(特にスマホとサーバサイド)" を募集しています。 発表資料&箇条書きで振り返る最近の動き AWS Casual Talks #3 https://github.com/myfinder/aws-casual-3/blob/master/slide.
Dockerとは コンテナベースのアプリケーションを仮想化したもの。軽量なVMの様に見えるがこれまでの(VirtualBoxなど)VMでは実現が難しい、不可能であったユースケースを解決してくれる。 ホストOSとリソースを共有するのでリソースの管理がVMより効率的 基本的に状態を持たないのでポータビリティが非常に高く、特定の環境に依存することがない 軽量なのでVMと比較し複数のインスタンスを実行することができる DockerHubなどのレジストリを利用することで既存のイメージをダウンロードして実行することができる コンテナとVM VM VMはハイパーバイザを通してホストOSに対してのシステムコールを解釈させるなどの必要がある それぞれのVMには全て独立したOS・アプリケーション・ライブラリが必要 コンテナ ホストのカーネルは実行されるコンテナと共有される（コンテナは常にホストと同じカーネルを
Masahito ZembutsuEngineer / Technology Evangelist at SAKURA Internet, Inc.
/packer/
A JavaScript Compressor. version 3.0 Help Paste: Base62 encode Shrink variables Load Clear Pack Copy: disabled Save Decode Also available as .NET, perl and PHP applications.
このエントリは前後編に分かれています。前編は主に運用フローやそこでの工夫点、後編は実際の運用から得た知見や今後の課題といった内容です。 ヌーラボのインフラ運用最前線 〜イミュータブルを目指して〜 (前編) ヌーラボのインフラ運用最前線 〜イミュータブルを目指して〜 (後編) 最近はインフラ運用・DevOPS関連のトピックとして目にしないことはないくらい、「イミュータブルインフラストラクチャー」について様々な議論がなされています。私たちも昨年、継続的デリバリという文脈で、@IT の連載にてその基本的な考え方について紹介させていただきました。 さて、今年の二月にローンチをしたばかりのヌーラボのシングルサインオンサービス「ヌーラボアカウント」では、イミュータブルインフラストラクチャの一歩手前として、特定の変更を加える場合のみ、ごっそり環境ごと入れ替えるというやり方にてその運用をスタートしました。
Terraform + fluentd + Docker + Puree で小さく始めるモバイル行動ログ収集基盤構築 | PSYENCE:MEDIA
Terraform + fluentd + Docker + Puree で小さく始めるモバイル行動ログ収集基盤構築 河合 航平 2015.07.07 1273 194192628259 こんにちは。 4月から新卒駆け出しインフラエンジニアとして日々奮闘しております河合です。 "モバイル行動ログ収集基盤" を "小さく" 始めたので、以下にインフラ構築からモバイルまでの設計までをまとめたいと思います。今回このログ収集基盤を作るにあたって私自身がこれまで経験したことのない技術・ツールを利用しましたので、それらの導入についてもご紹介いたします。 導入の背景 私は英単語サプリを中心にインフラを担当しています。 英単語サプリとは、聞ける・話せる・覚えてるをコンセプトとした高校受験からTOEICまで対策できる英単語学習のサービスです。 ユーザの分析によく使われるツールの1つにGoogle Analy
成長し続けるインフラの�安定運用事情
『ユーザーストーリーマッピング』 出会いと適用 / User Story Mapping encounter and application
一部のサブシステムの構築で、プロビジョニングツールを捨ててみた。じゃあどうするのかというとシェルスクリプトでやる。今回はこのやりかたが一番楽できるような気がしたので試している。 具体的にはPackerからシェルスクリプトとServerspecを実行してAMIを煮込む。おいしくできあがったらそいつから構築。もしミドルウェアより下の層のコンフィグ類に変更があったらまた煮込む。構築する。新しい方に切り替える。つまり”捨てるインフラ”にする。 プラットフォームはAWS。 (追記)ちなみにchefなどのプロビジョニングツールがめんどくさいからシェルスクリプトにしたというよりは、捨てる前提のサーバだからシェルスクリプトでの構築も選択肢として出てきたということです。ただ自分個人の嗜好としてchefはもう飽きたというのも事実です。なお、オンプレだと同じサーバで継続してプロビジョニングすることになるのでch
Packer by HashiCorp
Images as codePacker standardizes and automates the process of building system and container images. Multi-cloud image workflowCreate one workflow for images across multiple clouds and private infrastructure. Extend Packer with pluginsPlugins extend Packer’s functionality without modifying Packer's core by adding new builders, provisioners, post-processors, and data sources.
【資料公開】AWS Summit Tokyo 2017にてDMMのAWS移行について紹介してきました - DMM.comラボエンジニアブログ
2017 - 06 - 02 【資料公開】AWS Summit Tokyo 2017にてDMMのAWS移行について紹介してきました Tweet Share on Tumblr 本日AWSSummitにて岩崎、飯田、西村の3名が登壇して来ました！ 『DMMにおける会員基盤プラットフォームへのAWS導入から活用事例の紹介』 と言うタイトルでお話をさせていただきました。 導入時期が特段早かったという訳ではないですが、 開始してからはかなりのスピード感で移行を行うことが出来たと考えております。 内製DMM API GatewayのAWS移行で特にお伝えしたいポイントは４点 ・オンプレミスのミドルウェア⇒AWSのマネージドサービスの置換 ・EC2パラメータストアによるシークレット値管理 ・ElastiCache Redis Clusterの選定理由 ・Multi-AZ構成環境下のシステム統
ここ最近話題に上がることが多い Immutable Infrastracture と、その他仮想環境周りについての雑感。 Immutable Server や Immutable Infrastracture っていう単語がいろんなところで目に入るようになった。とくに Chad Fowler がブログで取り上げたり、Food Fight に出たり して、世間でも関心が高まった感じがある。 プログラムを書く人にはご存じの通り、この Immutable っていうのは状態が変更出来ないことを指している。Immutable な Infrastracture っていうのは、ざっくり言うと「運用中のサーバーに変更を加えない」っていうアプローチでサーバーを管理しているスタイルのこと。 (ファイルシステムを読み取り専用にする、とかそういう話じゃなくて、あくまでそういう方針でやろうっていう話) サーバーの設
Cloud Management Tool Workshop #2 at IDC Frontier, Shinjuku, Tokyo クラウドマネジメントツール勉強会 第2回 #cmt_study Masahito Zembutsu Dec 4, 2013
SREチーム 鈴木心之介 です。 職歴の空白 を経て参画しました。 社名変更して co.jp ドメインを複数保有する技術 の節は皆様ありがとうございました。 たぶんそのうち書かれるだろう「Dockerコンテナ移行しました」記事の先史時代の記録として、また、事業の成長に併走してきたEC2でのアーキテクチャの御焚上として奏上するものです。 問題意識 アプリケーションはRuby on Railsで実装し、インフラはAWSにEC2, RDS, S3を中核に構成してます。運用状況はEC2に限らず大変きびしく、早くどうにかしないと事業の成長の足枷になりそうでした。入社前のカジュアル面談で伺っていた情報と、入社後の情報収集から、大枠の問題意識を以下4つに絞りました。 デプロイメント セキュリティ スケーラビリティ ディザスタリカバリ どれも解決すべきで、優先順位にみなさま一家言あるかと思います。ただセキ
In Japanese, LibreOfficeプロジェクトの特徴であるところのEasyHacksについて簡単に説明しました。自分が一番手を付けやすい不具合を対応するのが一番Easyなんですよね、でもEasyHacksにそういうのがあるかもしれないから目を通してみようよ、という内容です。
CircleCI + Docker で Infrastructure CI (Chef + Serverspec) 環境を構築した - kakakakakku blog
近況 3月から DevOps 関連の技術的負債の解消に取り組んでいて，動かなくなった Chef を直したり，秘伝のタレ（手動）で構築されたサーバ設定を Chef にリバースエンジニアリングしたり，Serverspec を導入して稼働中のサーバの差異を確認したりしている． 他にもウェブサーバのパフォーマンスチューニングをしたり，Zabbix / Kibana / CloudWatch で可視化したり，不要なアラートを消したりもした．あと Vagrant 環境を自動構築できるようにしたり，Packer を使って Vagrant Box を改善したり，デプロイ手順を正常化したり，テストの品質向上の目的で Capybara を導入したりもした． 最近はキャッシュサーバをリプレイスしたり，AWS のネットワーク構成を変更するなど，とにかく様々な施策を試しているけど，全然まだまだという感じで，圧倒的成
Immutable Infrastructure時代のConfiguration Management Toolの要件およびその実装について - Kentaro Kuribayashi's blog
本稿では、"Immutable Infrastructure"時代におけるconfiguration management tool(以下、CMT)の要件およびそれを満たすツールについて議論する。 背景の整理 "Immutable Infrastructure"とは、2013年6月、Trash Your Servers and Burn Your Code: Immutable Infrastructure and Disposable Components - Chad Fowlerにより提唱された概念だ。ある種のプログラミング言語における不変性がプログラムにおける厄介な問題を解決するように、サーバの状態を不変な(正確には、状態を変更しない)ものとすることで、成長し続けるソフトウェアにとって避けられない、時間の経過によりもたらされる種々の問題が、解決可能であるとする。 そもそもどのような
Packerを使ってChef/Puppet/AnsibleでDockerのイメージをつくる Packerは，Vagrantの作者であるMitchell Hashimoto氏によって開発が進められているVirtualBoxやVMWare，Amazon EC2などの仮想マシンのテンプレートの作成を行うツール．VagrantのVirtualBox用のBoxを作るveeweeに置き換わるツールとして知られている．最近のアップデートでDockerのイメージのビルドをサポートした． TL;DR Packerを使えばDockerのイメージをDockerfileを使わずビルドすることができる つまり，Dockerfileの特有な記述を使わず，今まで慣れ親しんできたChefやPuppet，Ansibleのようなプロビジョニングツールを使ってDockerのイメージをビルドできる． 参考 Dockerイメージの
クックパッドの機械学習を支える基盤のつくりかた / Machine Learning ops at Cookpad
AWS Summit Tokyo 2017 w/ https://speakerdeck.com/kanny http://www.awssummit.tokyo/summit/index.html
Hashicorp Product Meetup というイベントを開きました - Wantedly Engineer Blog
エンジニアの内田 @spesnova です。 2015年8月5日に、@deeeet さんと一緒に Wantedly のオフィスにて Hashicorp Product Meetup と称して、 Hashicorp プロダクトに関する知見、悩み、展望 etc をフランクに共有する会を開きました。 参加者全員がゆるくざっくばらんに話せる場を作りたいと思って招待制のイベントにしました。 参加者の方は @deeeet さんと自分の知り合いの方から、Hashicorpプロダクトを既に利用していたり、導入予定の方々にお声をかけせて頂き、その方々がまた数名招待するという形にしました。 「行きたかった…」というツイートもチラホラありました、、参加できなかった方ごめんなさい。。 どんな内容だったのかをtogetterと以下に簡単にまとめておきます: http://togetter.com/li/856947
Docker ? Packer ? 何が違うの？と個人的にわけがわからなくなっていたのでまとめてみた インフラ系技術の 3 つのレイヤー Orchestration アプリケーションのデプロイ Capistrano Configuration ミドルウェアレベルの設定 Chef, Puppet Bootstrapping OS のインストールにあたる領域 Docker, Vagrant, Packer 今回は、Configuration ツールと Bootstrapping ツールの違いをまとめる Bootstrapping Tool Docker 公式ページ Linux コンテナの内部でアプリケーションを動作させるためのツール Go 言語で記述されている 環境構築は Dockerfile と呼ばれるファイルでコード化できる コンテナ型仮想化を提供するツール イメージの作成から実行まで A
トレタのインフラ運用
【トレタ×プレイド】TechBlog Deep Dive Meetup #1 〜インフラ編〜 http://plaidtech.connpass.com/event/33511/ での発表内容。 Terraform, Packer, Roadworker, Ansible, Serverspec, Circle CIなどをトレタでどう使っているか？何が罠か？など。
イメージベースのデプロイについて（あるいはIaaSだとこんなんが良いんじゃないと言う意見） - ローファイ日記
最近、仕事やら趣味やらで AWS / OpenStack / GCE その他のいわゆるIaaSなプラットフォームを調査したり、いじったり、そのAPIをいじったりする機会が多かった。 この辺の運用を考えていて試したこと、ぶつかったことなどをまとめたい。 実際やったこととしては、特定のプラットフォームに依存している訳ではないが、たいていの人はAWSのアレね、みたいなイメージを持った方が読み進めやすいんじゃないかと思う。 ゴールデンイメージを雑に走らせること この手のIaaSの基本であるが、サーバーはインスタンスと呼ばれ、イメージを指定して起動する。ec2 aws run-instanceとかnova bootとかその類いである。 イメージからの起動のためには雑には大きく2要素があって、一つはイメージ自体の構築、もう一つは起動直後のそれぞれのインスタンスの特性に合わせた初期化処理のフェーズである
社内勉強会でいろいろ教えてもらったのでメモ。トレンドと呼ぶには一、二年遅い。なお自分の考えを整理するために書いているものなので正確さは保証しませんしツッコミも不要です。 前提: 仮想マシンと仮想マシンイメージ VirtualBox とか、 AWS なら AMI とか。ホストマシン上で動作しているものが仮想マシンで、仮想マシンイメージは仮想マシンのスナップショットだったり、それをもとに新しい仮想マシンを作れる雛形だったり、くらいに理解しておけばよい。 Vagrant と Packer 仮想マシンと仮想マシンイメージの技術があるおかげで、作業環境（Mac とか Windows とか）上でプロダクション環境により近い環境を手軽に用意できるようになた。しかし仮想マシンの管理（起動したり、設定を変えたり）は手作業でやる必要があった（VirtualBox なら GUI でぽちぽちやったりとか） Vag
トレタのインフラ運用、支えている道具(Packer, Terraform, Serverspec, Ansible, Roadworker, Circle CI)、考え方 - トレタ開発者ブログ
インフラをアレしてる佐野です。トレタのコア部分はEngineyardで運用していますが、事業拡大に伴いサブシステムも増えてきました。新しいサブシステムは主にAWSで運用しています。そこで今回は事例として弊社の新規部分のインフラ運用のやり方、そこで使われている道具(Packer, Terraform, Serverspec, Ansible, Roadworker, Circle CI)、考え方などについて書きます。これらの道具はもはやよく知られたものであり、あまり真新しくはないとは思っています。しかしながら弊社に遊びに来た方や採用の応募者の方などからトレタのシステム運用に関する質問をいただくことがあり、その説明資料のかわりになるかな、という目的もあって書かせていただきます。これ以外にも道具はあるのですが、なんとなく興味をもってくれそうなワードをタイトルに羅列させていただきました。以下、目次
『How to build a High Performance PSGI/Plack Server』のその後と ISUCON3を受けての話題Masahiro Nagano
History & Practices for UniRx UniRxの歴史、或いは開発(中)タイトルの用例と落とし穴の回避法Yoshifumi Kawai
CloudBees Blog
CloudBees BlogExploring the frontiers of product delivery and technology Discover the benefits of internal developer platforms and how they enhance productivity. Learn about critical criteria, best practices, and CloudBees' approach. Optimize your developer environment today! →
全国1000万人の大トロ好きのみなさんこんにちは。 Hashicorpから新たにOttoと呼ばれるプロダクトがリリースされました。 OttoはVagrantの後継となるもので、開発からデプロイまで一気通貫で行うことができるソリューションでマイクロサービスでの活用も考慮されて作られているということで早速試してみました。 軽く触った印象としては、Vagrant、Packer、Terraform、ConsulなどいままでHashicorpが提供してきたツールを組み合わせて一気通貫で操作できるようになった、と考えるとわかりやすそうです。 インストール https://ottoproject.io/downloads.html にアクセスして自分の環境にあったバイナリをダウンロードして展開します。展開したら実行できるようにPATHに追加します。 僕の場合はアーカイブを~/tools/otto/に配置
コンテナ基盤を支えるHashiCorpソフトウェア / HashiCorp Softwares on Container Base - Speaker Deck
2018.09.11 DevOpsを支える今話題のHashiCorpツール群について（HashiCorp Meetup 3rd）でお話しした資料です
続報で、VagrantのBoxの作り方について書きました。こちら Vagrantの作者であるHashimotoさんが新たにPackerというツールをリリースした(昨晩！)ので速攻ご紹介。 このツールは、Amazon EC2のAMIやVirtualBoxやVMware用のOSのイメージを一貫性のあるインターフェイスで簡単に作ってくれるものです！たとえばVagrantの場合は以前はPatrickさんが作成したVeeweeを使うことが定番だったのですが、今後はそれに変わるものになってくるかもしれません。 (現時点はまだバージョン0.1なのでこれからどんどん良くなると思います！) インストールhttp://www.packer.io/downloads.html からビルド済みのファイルを入手します。もしくは自分でビルドすることも可能です(ビルドにはgoなどのツールが必要です)。 ファイルはzip
気がついたらChefやらPuppetやらAnsibleはDevOpsと呼ばれるようになったんですね。 時代のちょっと先端に行ったと思ったらまた取り残されてる感じがなんともこの業界ならではかと。 で、話は変わって前からVagrantのbaseBoxをゼロから作りたいぞ！！このヤロー！！って思っていたら PackerというVagrantの作者が仮想イメージを作るツールを出していたので作って見た時のメモ 環境 macosx10.8(ホストOS) 作る仮想インスタンスのOS CentOS6.4-x86_64_minimal 事前準備に必要なもの homebrew ※入れていない方は何も考えずにruby -e "$(curl -fsSL https://raw.github.com/mxcl/homebrew/go)"と打とう virtualbox ※入れていない方はそうだvirtualboxを使っ
DigitalOceanが気になる・これから始める方の参考になればと。自分が事前に知りたかったことを入れ込みました。 第66回： DigitalOcean Meetup(非公式) http://hbstudy.connpass.com/event/13463/ 期日：2015年4月10日（金） 会場：株式会社ハートビーツ 会議室（ありがとうございました！） #hbstudy
Ryuzee.com
みなさんこんにちは、@ryuzeeです。 今日はデイリースクラムについて、概要や注意点を紹介します。 なお、あくまで一般論であることに注意してください。スクラムの基本は「透明性・検査・適応」です。自分たちで随時やり方を検査して、もっとうまくできるように適応していかなければ効果はあがりません。 1. デイリースクラムの ……続きを読む
資料公開 Vagrant (+Amazon EC2)
著作 SCRUM BOOT CAMP THE BOOK 著者／訳者：西村直人 永瀬美穂 吉羽龍太郎 出版社：翔泳社( 2013-02-13 ) 定価：￥ 2,520 スクラム初心者に向けて基本的な考え方の解説から始まり、プロジェクトでの実際の進め方やよく起こる問題への対応法まで幅広く解説。マンガと文章のセットでスクラムを短期間で理解できます。スクラムの概要を正しく理解したい人、もう一度おさらいしたい人にオススメ。 CakePHPで学ぶ継続的インテグレーション 著者／訳者：渡辺 一宏 吉羽 龍太郎 岸田 健一郎 穴澤 康裕 出版社：インプレス( 2014-09-19 ) 定価：￥ 4,320 Webアプリケーション開発における継続的インテグレーションについて、CakePHPのサンプルをベースにして、その概要から使用ツール解説、導入方法、メンテナンスまでを解説 Chef実践入門 ~コードによる
http://youmos.com/news/packer
Masahito ZembutsuEngineer / Technology Evangelist at SAKURA Internet, Inc.
■概要 ATLAS ( https://atlas.hashicorp.com/ ) は、Vagrant 等を開発している Hashicorp社 ( https://hashicorp.com/ ) が提供開始したサービスです。これまで提供していた Vagrant Cloud の環境をバージョンアップし、開発環境だけでなく、本番環境への展開や運用を１つのワークフローで実現できるようにしたプラットフォームです。 ATLAS はクラウド上のサービスですが、これまでの Hashicorp が公開してきた Vagrant、Packer、Terraform、Consul を１つの画面上で管理できるようになりました。 以下では、サイト上の説明などを元に、ATLAS についてと、周辺ツールについて整理したものです。 ■ATLAS https://atlas.hashicorp.com/ サイトの説明によ
はじめに 受託開発において、比較的小規模なフルスクラッチのWebシステムを開発する場合、インフラ関連の工数の中でWeb／アプリケーション（AP）サーバの構築に対する工数が比較的多くなってきます。 また、複数のプロジェクトにおいて、同じような作業を繰り返し実施する必要があり、手作業で構築を実施する場合、繰り返し実施する中で手順書が修正され続け、いわゆる「秘伝のタレ」となり再現性が失われるケースが多々あります。 本稿では、開発環境及び本番／ステージング環境において、Web／APサーバを構築する際に「再現性があり」「繰り返し利用が可能で」「短時間で構築が可能な」方法として、Ansible、Vagrant、Packerを用いた実践方法をご紹介します。 Ansible、Vagrant、Packerの役割 Ansible、Vagrant、Packerは既に多くの事例でも採用されているため、ご存知の方も
研究開発部の染谷 ( @ayemos_y ) です。好きな ImageNet のラベル(Synset)は "Eccentric, eccentric person, flake, oddball, geek" です。 クックパッドの研究開発部は2016年7月に発足し、現在はアルバイトを含め13名の体制となっています。その中で、こちらの記事でも紹介されている料理／非料理判別モデルを開発するなど、機械学習／ディープラーニング分野に特に力を入れて取り組んでいます。 最近は、モデルを開発し改善する手法などについて多くの情報にアクセス出来るようになり、このような技術をプロダクトに応用していきたいという気持ちが高まっている現場が多いかと思います。しかし一方で、分析の為のデータへのアクセスや画像認識モデルの実装や実験を行うためのGPU環境の整備など、現場の都合に対応するコストによって開発の勢いが鈍化して
はじめまして。4月にアクトキャットにjoinしたwata727です。主にサーバサイドの開発やAWSをはじめとしたインフラ周りを担当しています。よろしくお願いします。 今回は直近行ったSideCIインフラのAWS完全移行に、TerraformやPackerを採用した話について書いてみます。 SideCIのインフラ構成 SideCIではサーバの役割をフロント側でユーザの操作やリクエストを受け付けるweb群と、Rubocopなどのツールを実行するnode群に分けています。役割を分離することにより、関心事を分けることができ、必要に応じてスケールアウトやスケールアップがしやすくなるメリットがあります。 もともとはAWSとGCPのハイブリットクラウド構成をとっていたのですが、さまざまな問題があり、今回の再構築の段階でAWS側に完全に寄せる形になりました。 Infrastructure as Codeの
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Dockerについて基本から最近追加された機能までまとめ - Qiita
運用に自動化を求めるのは間違っているだろうか
ヌーラボのインフラ運用最前線 〜イミュータブルを目指して〜 (前編) | 株式会社ヌーラボ(Nulab inc.)
chefを捨ててシェルスクリプトにした | Ore no homepage
Immutable Infrastracture について - aptheia.info
Serfが面白いと俺の中で話題にwwwwww
猛烈に成長するSaaSのインフラを猛烈にカイゼンする技術 - ANDPAD Tech Blog
PFIセミナー 2013/09/19 「Linux開発環境の自動構築」
Packerを使ってChef/Puppet/AnsibleでDockerのイメージをつくる
最近のインフラ系ツールが多すぎて何が何だかわからない！からの卒業 - Qiita
インフラ系トレンド私的まとめ - @kyanny's blog
成長を加速する minne の技術基盤戦略
インフラ自動化とHashicorp tools
Hashicorpの新プロダクト「Otto」を試してみた
速報 Packerでさまざまな仮想マシンのテンプレートを作成する
PackerでVagrant用のBoxを作成したときのメモ - Qiita
今日から始めるDigitalOcean
Hashicorpのツール群とオーケストレーション
Hashicorp社の新サービスATLASと周辺ツールのまとめ | Pocketstudio.jp log3
Ansible、Vagrant、Packerを用いたAWSの開発／本番／ステージング環境の構築
高速な研究開発を支えるGPU計算機環境 - クックパッド開発者ブログ
TerraformとPackerを使ったインフラ構築の効率化 - SideCI TechBlog