ECS インフラの変遷 - クックパッド開発者ブログ
技術部 SRE グループの鈴木 (id:eagletmt) です。 クックパッドでは Amazon ECS をオーケストレータとして Docker を利用しています。Docker 自体は2014年末から本番環境にも導入を始めていましたが当時はまだ ECS が GA になっておらず、別のしくみを作って運用していました。2015年4月に GA となった ECS の検討と準備を始め、2016年より本格導入へと至りました。クックパッドでは当初から Hako というツールを用いて ECS を利用しており、Hako の最初のコミットは2015年9月でした。 https://github.com/eagletmt/hako/commit/7f95497505ef78491f3f68e9d648204c7c9bb5e2 当時は ECS に機能が足りずに自前で工夫していた部分も多かったのですが、ECS やそ
インフラのリリース自動化戦略とその行き着く先 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、@ueokandeです。 本番リリースってドキドキしますよね。 本日はkintone.comのリリース自動化と、その戦略についてお話します。 kintone.comのCI/CDパイプライン kintone.comのインフラ構成はモノレポで管理しており、AWSの構成や、Kubernetes上にデプロイするサービスなどが1つのレポジトリに存在します。 現在のkintone.comは、開発環境、ステージング環境、本番環境の3つがあります。 適用タイミングをずらすことによる環境間の乖離を防ぐため、各リリースはすべての環境に適用することとしました。 開発環境でしばらく寝かせたい変更は、機能フラグやカナリアによって切り替えます。 CI/CDパイプラインは以下のようになっています。 それぞれの環境に順に適用し、本番環境適用後にテストが通れば無事リリース完了です。 kintone.comのCI
Zero Touch Productionとは何か
GoogleのSREとSecurityによるBuilding Secure Reliable Systems という本の中で「Zero Touch Production (ZTP) 」という考え方が紹介されていた．これはインフラの権限管理やインフラの構築そのものの指針となる概念であり，自分がそうあるべきだとずっと思ってきた考え方でもある．これはどのような考え方なのか?をこれまでの歴史を踏まえて具体的なツールや事例とともにまとめておく． Zero Touch Production Building Secure Reliable Systems においてZero Touch Production (ZTP) は以下のように定義されている． The SRE organization at Google is working to build upon the concept of least
はてなブログのキャッシュ周りをきちんと改善したら、アプリケーションサーバの台数を半分にできた話 - Hatena Developer Blog
はてなブログでSREをやっているid:cohalzです。 2019年12月頃からid:utgwkkやid:onkとともに、はてなブログにおけるキャッシュ周りの改善を行いました。その結果、次のような成果が得られました。 ブログ記事のキャッシュヒット率が、1日平均で8％から58％に向上 アプリケーションサーバの台数を、以前の半数以下に削減 DBに届くリクエスト数が、以前の3分の2まで減少 レスポンスタイムの平均が、以前の8割まで減少 この記事では、実際にどういった改善を行ったのか、その際に気をつけたことや大変だったことを紹介します。 はてなブログがVarnishを導入した経緯と課題 開発合宿をきっかけに問題が明らかになる 進め方をまず考える ホストのメモリをできるだけたくさん利用する メモリを積んだホストでなぜかレイテンシが悪化 キャッシュが分散しないようVaryヘッダを使う デバイス情報を適
自社開発技術満載！Microsoft Azureの物理インフラを大解剖 (1/3)
Microsoft Azureのサービスは、140カ国以上の地域に配置された100以上のデータセンターで運用されている。物理インフラを意識せずに使えるのがパブリッククラウドだが、そのデータセンターの中身にちょっと興味はないだろうか。日本マイクロソフト クラウド＆ソリューションビジネス統括本部 クラウドソリューションアーキテクトの真壁徹氏に、Azureデータセンターの物理インフラについて教えてもらった。 真壁：こんにちは、マイクロソフトの真壁です。Azureのアーキテクトですが、前職はヒューレット・パッカード エンタープライズ（HPE）で物理のサーバーやストレージ、ネットワークも扱っていました。データセンターの中のことはチョット詳しいです。 Azureのデータセンターには、マイクロソフトが運用するものと、各国のパートナーデータセンターを借りて運用しているものの2種類があります。今回は前者、マ
WEB系各社で使われている監視ツールまとめ - mikedaの日記
次世代 Web カンファレンスで監視について話すことになったので、ネタとしてWEB系各社で使っている監視ツールを調査中。 うちはこれ使ってるよ！！！ってのがあったら@mikedaにメンションください！ Cookpad Zabbix 昔はNagios+muninだけど台数増えて性能的に破綻した ビューはそのままじゃ辛いのでmunin風に表示するのを自作 StatusCake DataDog。サービス系、サーバに紐付かない系の監視に。DashBoard便利 waker。通知用。PagerDuty高い、と言ってryot_a_raiが秒で作ったらしい Kibana imon。独自のリアルタイムなサービス稼働状況表示ツール NewRelic 試し中なもの Real-User Monitoring : JSでbeacon飛ばしてfluentd -> BigQuery。Google SpreadShee
新卒インフラエンジニアを育成した話 | 外道父の匠
お久しぶりでございます。諸事情によって半年近くも息を潜めていましたが、また継続的なアウトプットをしていきたいと思います。あうとぷっとあうとぷっと。 昨年からAWSに触り始めて、少しずつ研究して、今年から本番運用を開始できています。なので、そっち方面が多くなりそうなのですが、その一発目として昨年にAWSを軸に新卒インフラエンジニアを育成してみた話を書いてみます。 経緯 ウチでは一般的な新卒採用を行っています。内定が出て、入社後はエンジニアも一定期間の研修を受けて、そして配属されることになっています。 私は稀に、キャリアプランによっては内定した段階の子との面談を組まされるのですが、その時点でインフラエンジニアになるという断固たる決意を持っていて、研修の段階に入っても意志は変わらなかった野郎がいたのでインフラ部隊に入れることにしました。しましたといっても普通は、配属は本人の希望以外に人事部判断や
成長し続けるインフラの�安定運用事情
『ユーザーストーリーマッピング』 出会いと適用 / User Story Mapping encounter and application
「Webエンジニアが知っておきたいインフラの基本」という書籍が発売されます！ - netmark.jp
突然ですが Webエンジニアが知っておきたいインフラの基本 ~インフラの設計から構成、監視、チューニングまで~ という本を書きました。 2014/12/27に発売予定です。ぜひ購入してください！そして年末年始に熟読してください！ぜひ！ ※2015/2/1頃にKindle版も出ました！ 1〜4章は特にインフラに触れたことがない方向けに基本的な内容を、5〜8章はそれだけでなくインフラ初級〜中級のISUCON決勝に残れなかったくらいの方まで広く読んでいただきたい内容になっています。 私はWebシステムの監視・障害対応という職業柄、再現性の高い方法論を言語化してつくるようにしてまして、本書にはそれをたっぷり詰め込みました。 ISUCONやtuningathonでコンスタントに短時間でそれなりの成績を出せてきたのはこの本に書いたような方法論が背景にあるんです。 この本に書いてあることをきちんと実践で
重要インフラの制御システムセキュリティとITサービス継続に関する調査報告書：IPA 独立行政法人 情報処理推進機構
IPA（独立行政法人情報処理推進機構、理事長：西垣 浩司）は、制御システムの情報セキュリティ対策を推進するため、重要インフラに係わる制御システムにおけるセキュリティ課題の調査を行い、「重要インフラの制御システムセキュリティとITサービス継続に関する調査報告書」として2009年3月30日（月）より、IPAのウェブサイトで公開しました。 従来、専用の機器やソフトウェアを使用していた重要インフラ の制御システムにおいても、近年標準プロトコル（TCP/IPやイーサネット等）や汎用製品が導入され、情報システムとの接続や連携が進んでいます。このため、今後、制御システムにおいても、情報システムで発生している脆弱性を狙った攻撃やワームの脅威などの情報セキュリティ上の課題が顕在化する可能性があります。 IPAでは、制御システムの情報セキュリティに関する国内外の動向を調査し、サービス継続を重視した上での適切な
Immutable Infrastructureはアプリケーションのアーキテクチャを変えていく、伊藤直也氏（前編）
Immutable Infrastructureはアプリケーションのアーキテクチャを変えていく、伊藤直也氏（前編） 仮想化やクラウドを基盤とした新しいインフラの考え方である「Immutable Infrastructure」が注目されています。3月25日、このImmutable Infrastructureをテーマに渋谷のDeNAオフィス大会議室で開催された勉強会「Immutable Infrastructure Conference #1」は、150人の定員に400人以上が申し込む人気ぶりでした。 これまでのImmutable Infrastructureに関する議論はおもにデプロイなど運用とインフラ周りの話題が中心でしたが、最初のセッションで登壇した伊藤直也氏は、Immutable Infrastructureが結果的にアプリケーションアーキテクチャにも大きな影響を与えるため、アプリケ
GREEがOpenStackを導入した理由と苦労と改良点（前編）。OpenStack Days Tokyo 2014
GREEがOpenStackを導入した理由と苦労と改良点（前編）。OpenStack Days Tokyo 2014 オープンソースで開発されているIaaS型クラウド基盤ソフトウェアのOpenStackをテーマにしたイベント「OpenStack Days Tokyo 2014」が、2月13日、14日の2日間にわたり開催されました。OpenStackはIBM、HP、シスコシステムズなど大手ベンダも相次いでサポートを表明し、急速に注目度を高めています。 OpenStack Days Tokyo 2014、2日目の基調講演ではグリー株式会社 インフラストラクチャ本部 渡辺光一氏、松橋洋平氏が登壇。GREEの本番環境で稼働しているOpenStackについて、導入の経緯から苦労した点、実装方法などについて紹介しました。本記事ではそのダイジェストを紹介します。 GREEにおけるOpenStackの導入
インフラデザインパターン ── 安定稼動に導く127の設計方式
2014年2月7日紙版発売 2014年12月10日電子版発売 株式会社NTTデータ 杉原健郎，吉田一幸，岩崎賢治，三浦広志，吉田佐智男 著 B5判／232ページ 定価2,948円（本体2,680円＋税10%） ISBN 978-4-7741-6286-7 Gihyo Direct Amazon 楽天ブックス 丸善ジュンク堂書店 ヨドバシ.com 電子版 Gihyo Digital Publishing Amazon Kindle honto この本の概要 本書は，数百プロジェクトの実績から導かれたインフラ設計の定石を，デザインパターンとしてまとめたものです。特にインフラについて経験の浅い技術者（アプリケーション開発者も含む）や，システム構築に責任を持つプロジェクトマネージャ，企業の情報システム部門でシステムの企画や導入の意思決定を行う方，ベンダーの提案や設計を評価・比較する方に向けて書かれ
今年流行りそうな「インフラエンジニア」向けトレンドのまとめ その1 (Blue-Green DeploymentとImmutable Infrastructure編)
あけましておめでとうございます。バズワード評論家 横田でございます。(恐らく)皆様1月6日から出社ですね。お仕事がんばりましょう。 というわけで今年のインフラ業界のバズワードトレンドをまとめてみました。年始の仕事前にどうぞ 《Blue-Green DeploymentとImmutable Infrastructure》今年のインフラ業界の一番のトレンドは「Blue-Green Deployment」と「Immutable Infrastructure」となる気がしています。今までは、サーバの設定を変更する時は、運用中のサーバを変更していましたが、「Blue-Green Deployment」と「Immutable Infrastructure」の考え方は、運用中のサーバの変更するのではなく、新しくサーバ群を用意し、本番環境をそちらに切り替えるという手法を取っております。 手法自体は「Blu
インフラ系技術の流れ - Gosuke Miyashita
ここ最近のインフラ系技術の流れがおもしろいなー、と思ったので、Puppet が出た辺りぐらいから、振り返って整理してみる。殴り書きなので、後から修正したり書き加えたりするかも。特に後半の方は、あまり考えが整理できてない。 最近のウェブ界隈での「インフラ」という用語の使われ方には、色々異論もあるようだけど、ここではごく最近使われるようになってきた、OS からミドルウェアといったソフトウェアレイヤーを指す言葉としてのインフラについて触れる。（英語圏でも同様の意味で使われているようなので、ある程度市民権を得たと言っても良さそうだし。） プロビジョニングレイヤー まず、前提知識としてプロビジョニングレイヤーと自分が勝手に呼んでるものについて整理。 Chef や Puppet は「プロビジョニングフレームワーク」とも呼ばれているが、以下の議論をより厳密にするために、Lee Thompson 氏による
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
インフラエンジニアの綺麗で優しい手順書の書き方