ZOZOTOWNのネットワークをDirect Connect 10Gから100Gに移行した話 - ZOZO TECH BLOG
はじめに こんにちは、技術本部SRE部フロントSREブロックの柳田です。オンプレミスとクラウドの構築・運用に携わっています。 ZOZOTOWNでは、既存システムのリプレイスプロジェクトを進行中です。リプレイス過渡期の現在、オンプレミスのネットワークとAWSのデータセンターを直接専用線で接続し、安定した高速通信を実現するDirect Connect（以降、DX）を利用しています。各サービスのマイクロサービス化に伴い、オンプレミスとクラウド間の通信量が増えた為、DX10Gの回線が逼迫する問題に直面しました。 本記事では、この回線逼迫の課題をどのように解決したかについて紹介します。 目次 はじめに 目次 回線逼迫の課題 ZOZOTOWNへのアクセスが困難 今後のリプレイスプロジェクトが遅延する可能性 DX10GからDX100Gへの移行 ステップ1：DX100Gの利用申請（クラウド） ステップ2：
「ECSデプロイの話だけで45分喋った男がいた…」 というわけで、先日、Developers.IO 2020 CONNECTにおいて、以下のタイトルで喋りました。 「あなたの組織に最適なコンテナデプロイ方法とは？〜ECSにおけるデプロイ最新機能てんこ盛り〜」 オンラインセッションは何度か登壇経験あったのですが、今回は45分。正直めっちゃくちゃ疲れました。いやぁ、登壇ってもしかしたら、リアルよりもオンラインのほうがつかれるかもしれません。 そんな登壇だったわけですが、内容あれこれ詰め込んでECSのデプロイだけに内容を絞ったのですが、その甲斐あってかいろんな方に参考にしていただける内容になったのではと考えています。 ぜひ、この記事を、皆さんの現場のECSデプロイをパワーアップする参考にしていただければと思います。 ホンマにECSデプロイだけで45分喋ったの…!? ( ﾟдﾟ) ｶﾞﾀｯ /
Infrastructure As Codeにおいて、コードのモジュール化により再利用性を高めることが難しいと言われている。それはなぜなのかを考察する。 Infrastructure as Codeで痛い目あった人ってだいたいやりすぎてる気がする(偏見)。過度な抽象化とか共通化、公開されているrecipeを無闇に使っちゃうみたいな。特に抽象化まわり、普通のプログラミングのつもりできれいに整理しようとするとやり過ぎになりがち— fujiwara (@fujiwara) 2020年3月30日 自分が経験したIaCアンチパターンは、例えばnginxのchefコードを再利用しようとしてnginxのパラメータを全部外部注入できるようなモジュールを作るやつですね。コストが上がり過ぎる #InfraStudy— そのっつ (Naotoshi Seo) (@sonots) 2020年4月24日 １つ目の理
Terraform（AWS）の構成を公開します
はじめに アプリボット SREチームの一条です。 弊社ではAWSやGCPの構築にTerraformを利用しています。 IaC（Infrastructure as Code）には欠かせないTerraformですが、長らく運用していく中で様々な課題に直面し、その度に構成や運用ルールを更新していきました。 しかし、まだ完璧な構成ではないと思っています。 なぜなら、会社・プロジェクト独自の事情もありますが、他社の事例を参考にしても運用方法は様々で、これといった正解がないと感じているからです。 今回は弊社のAWSにおけるTerraformの構成を公開しますので、事例の一つとして参考にしていただければと思います。 また、事例を世の中に増やすために、この記事を読んでくださった皆様も、構成や運用ルールを公開・共有していただけますと幸いです。 構成紹介 前提 弊社では1プロジェクトに対して、1~N個のAWS
Terraformがバージョン1.0に到達、正式版に。AWSやAzure、VMwareなどマルチクラウド対応のプロビジョニングツール
Terraformがバージョン1.0に到達、正式版に。AWSやAzure、VMwareなどマルチクラウド対応のプロビジョニングツール HashiCorpがオープンソースで開発しているマルチクラウド対応のプロビジョニングツール「Terraform」がバージョン1.0に到達し、正式版となりました。 Today we are announcing the GA release of #Terraform 1.0. This marks a major milestone for interoperability, ease of upgrades, and maintenance for your automation workflows for what has become a standard for cloud provisioning. #HashiConf https://t.co/
はてなにおけるEKSの運用と自動化 (2024年版) - Hatena Developer Blog
サービスプラットフォームチームで SRE を担当している id:masayosu です。 先月からですが Hatena Developer Blog にて SRE 連載を始めました。先月の記事は はてなブログの DB を RDS for MySQL 8.0 にアップグレードした話 - Hatena Developer Blog です。 毎月はてなの SRE が交代でブログ記事を書きますのでお楽しみに。 この記事は2024年2月の SRE 連載の記事です。 はてなの EKS 利用について 私が所属するサービスプラットフォームチームでは EKS の運用を続けており、先日 Kubernetes 1.23 から 1.28 へのアップグレードを完了しました。 私のチームは少人数で形成されているのですが、担当しているサービスは大小様々あり EKS クラスター上では数十個のサービスが稼働しています。 少
AWSのインフラ管理はIaC? いやちゃうちゃう。時代はInfrastructure as SQL (IaSQL)でしょ - Qiita
AWSのインフラ管理はIaC? いやちゃうちゃう。時代はInfrastructure as SQL (IaSQL)でしょAWSPostgreSQLIaCQiitaEngineerFesta2022IaSQL 概要 皆さんAWSのインフラ管理どうしてますか？ なるべくならインフラ管理は自動化。手順書も作らず、資源作成時誰でもどの環境に対し同じものを作成したいですよね。 そんな時、Infrastructure as Code（IaC)を採用し、インフラ管理をコード化するのは当たり前になってきているんじゃないでしょうか。 AWSにおけるIaCだと例えば、Cloudformationとか、AWS CDKとかTerraform等、様々です。 ただ今回は、そんなIaCの紹介・・・ではなく、全く新しい概念のInfrastructure as SQL (IaSQL) なるものについて、ご紹介したいと思いま
「Terraformデプロイパイプラインを作るなら、どのツールが自分の組織にあっているのだろう？」 Terraformのデプロイパイプラインの実装方法は、選択肢が多くて迷ってしまいます。 この記事では、デプロイに使用できるツールをまとめてみました。 デプロイパイプラインのツール選定の参考になれば幸いです。 前提 Terraformは様々なリソースを管理することができますが、今回はAWSリソースをTerraformで管理する想定としています。 所々AWS固有の単語がでてきますが、ご了承ください。 なぜTerraformのデプロイパイプラインは必要なのか？ デプロイフローをおさらいして、デプロイパイプラインなしの運用の課題を考えてみます。 Terraformのデプロイフロー Terraformで構成管理している場合、リソースの設定変更時は以下のようなフローで行うことが多いです。 コードの編集
本記事は 【プルリクウィーク】 2日目の記事です。 💻 1日目 ▶▶ 本記事 ▶▶ 3日目 📚 はじめに Git と インフラ屋 と IaC そもそもインフラ屋が管理するコードとは？ IaC インフラ関連の設定ファイル CI/CD周りの設定ファイル PRレビューで難しいと思うこと 何を持ってOKとするか そもそも検証が難しい 網羅性が判断つかない PRレビューで意識していること 静的チェックの導入 コメントには意向を示す略語を付ける コメントがFixすればリアクションしてクローズする 対面レビューの時間を設ける リリースとの親和性が高い さいごに はじめに こんにちは、加藤です。 普段、私はインフラエンジニア（以下インフラ屋）としてシステム運用に携わっています。 最近はIaCの普及もあり、インフラチームでもプルリクエスト(以下PR)レビューを実施しているチームが多いのではないでしょうか
Twitter でちらほら見かけて自分も軽く反応したんですが、ターゲットが Cloud Services と Traffic Manager だったので多少なりとも書いておいた方が良いかなと思ったので、注意喚起を兼ねて書きます。 今回の件を改ざんと書くのは微妙に違う気がしたのですが、元のツイートは改ざんと表現していたので倣って改ざんとしておきます。このあたりの定義は難しそうです。 MS Azure Cloud Services のデフォルトドメイン cloudapp[.]net にCNAMEが向いている大量のWebサイトが改ざんされているようです。 Googleでの検索結果には何れも星評価が付いています。 (1/N) pic.twitter.com/5kDUZTGPg2— tike (@tiketiketikeke) 2020年7月6日 クラウドサービスにCNAME定義されたドメインを狙い
Dockerとは Dockerは、インフラ関係やDevOps界隈で注目されている技術の一つ. Docker社が開発している, コンテナ仮想化（仮想環境）を用いてアプリケーションを開発・配置・実行するための オープンプラットフォーム。 会社では当たり前に使っているものだけど、 説明できるかっていったらできなかった！ので、簡単に、まとめました（＾＾） ■ 仮想化...?? "VM（virtual machine）" 仮想化とは。英語では、virtual machine(バーチャルマシン). 実態のないものであり、実在しているかのように作るもの。 １台のサーバーの上に、複数台のサーバーがあるように見える状態を作ること。 （コンピュータの中に、あたかも他のコンピュータがあるように 擬似的なコンピューターを再現したもの。とも言える。） 例えば... Macの中にcentOSサーバーを設置 windo
AWSのホワイトペーパーから学ぶ AWS Organizations における推奨 OU 構成 - サーバーワークスエンジニアブログ
CI部 佐竹です。 本日は、AWSのホワイトペーパー（白書）を読みながら、AWS Organizations の OU に関するベストプラクティスを学びたいと思います。 はじめに Organization (組織) SCP (サービスコントロールポリシー) エンティティ Root OU (organizational unit) アカウント 構成図 Organizations における悩み Organizations のホワイトペーパー Recommended OUs Security OU Log archive account 運用ログデータ 不変的なログデータ このアカウントへのアクセスの管理 Security tooling accounts AWSサービスの一般的な例 Detection Identity and Access Management Incident Respon
こんにちは、臼田です。 みなさん、セキュリティ活動してますか？(挨拶 今回はAWS公式トレーニングのSecurity Engineering on AWSで利用できる参考リンクをまとめました。 参考リンク集 モジュール00: コースの紹介 AWS Security Fundamentals (Second Edition) (Japanese) 事前に受けておくといい無料のEラーニング Getting Started with AWS Security, Identity, and Compliance (Japanese) (日本語吹き替え版) IAM周辺の無料のEラーニング モジュール01: AWSのセキュリティ AWS クラウドにおける NIST サイバーセキュリティフレームワークへの準拠 – 日本語のホワイトペーパーを公開しました AWSセキュリティ対策を考える上で参考になるフレー
既存のAWSリソースを簡単にTerraformに落とし込めるTerraCognita - Qiita
Saleshubでエンジニアをしております。 安田と申します。 今回はTerraCognitaというツールについて書いてみたいと思います。 AWSやGCPなどのクラウドサービスを利用されているエンジニアは多いと思います。 そしてこれらのサービスをWeb UI上で操作してアプリケーションのクラウド環境を構築している会社や個人も多いと思います。 Web UIで構築された環境。後で何やったかわからない その一方で今やクラウド環境はIaC(Infrastructure as code)で構築するのが当たり前でしょう！と言われたりします。実際、Web UIで構築された環境は、構築後時間が経つと「どうなってんだっけ、これ？」ってなったり、構築したメンバーが退職したりすると、引き継いだメンバーにとってトラップだらけのラビリンスになってしまったりします。 じゃあ、どうすればいいのか？ これに答えてくれてい
terraform (plan|apply) in GitHub Actions | さくらのナレッジ
はじめに さくらインターネット SRE室の久保です。 今日は「terraform (plan|apply) in GitHub Actions」というタイトルで発表させていただきます。 今日発表する内容は、画像で表すと上図のようになります。誰かがPull Requestを送ると、それをもとにGitHub Actionsを動かし、Terraformのplanやapplyを動かして、自動的にTerraform管理下にあるリソースを更新してくれる、そういう仕組みを作ったという話です。 terraform (plan|apply)を実行する際のポイント Terraformのplanとapplyを実行する際のポイントとして、まず各種秘匿情報、具体的にはAPIキーなどが必要になるので、実行結果をチーム内で共有してレビューするのが結構面倒です。何らかの方法でAPIキーを共有して使うにしても、あるいは各自
日本CTO協会は「技術」を軸に規模や業種の異なる様々な人や組織が集まっているコミュニティです。会員は本社団の活動内容、調査テーマについて参加、提案し、他の技術者・技術組織とともに成長する機会が得られます。ご興味のある方は法人会員向け申し込みフォームからお問い合わせください。 複雑化する傾向のある開発の現場で最適なテクニックやツールを選べていますか？ Infrastructure as Code (IaC)という言葉は、もはやソフトウェア・エンジニアリングに携わる人にとっては常識レベルに浸透してきていると言っても、過言ではないかもしれません。しかし実際のところ、どういう点に気をつけるべきなのか、具体策に悩んでいる人も多いのではないでしょうか？本記事ではコードとしてのインフラストラクチャ、そしてフィーチャートグルをどのように活用すればそれらのツール・テクニックの利点を生かせるのか、深掘っていき
【コードでインフラ定義】CDKという異次元体験をさくっとやるのに便利なAWS公式Workshopの紹介 | DevelopersIO
CDKを最初に試して見るには非常に便利なCDK Workshopの紹介です。ぜひこれでCDKの奥深い新鮮な世界に入門いただければ。 「俺もそろそろ乗らなくては、この、ビッグウェーブに！！」 皆さん、CDK触っていますか？DevelopersIOにも、CDK ｜ 特集カテゴリー で、既に20以上のブログがあがっていたり、その人気はうなぎのぼりです。 CDKとは一口で言えば「コードでインフラを定義する」ものです。「いやぁ、これ楽。素晴らしい」という声を同僚からよく聞くので、自分も早速試してみようとしたところ、CDK Workshopなるものを発見し、手を動かして学ぶには凄くわかりやすく良い教材だったので、その内容を紹介します。 CDK実行するための環境定義 LambdaとAPI Gatewayを利用した簡単なサービスの公開 モジュールの作り方 クラス構造の解説 デバッグ方法 モジュールの利用方
PythonとGoogle Cloudを使って年間70万球の野球データをいい感じに可視化・分析するダッシュボードを作った - Lean Baseball
日本で言えば同じ学年のレジェンド, アルバート・プホルスが通算700号本塁打を打って驚いている人です. ここ最近, （休んでいる間のリハビリがてら*1）PyCon JP 2022の準備および, 来年以降のMLBを楽しく見るために野球データ基盤（ちなみにメジャーリーグです）を作っていたのですが, それがいい感じに完成しました. アプリとデータ基盤をどのように作ったのか どのような処理, どのようなユースケースで動かしているのか これらをどのようなアーキテクチャで実現したのか 以上の内容をこのエントリーに書き残したいと思います. なおこのエントリーは, PyCon JP 2022のトーク「Python使いのためのスポーツデータ解析のきほん - PySparkとメジャーリーグデータを添えて（2022/10/15 16:00-16:30）」の予告編でもあります. なので, 後日のトークをお楽しみに
「Terraform Module Designs 思考の引き出しを増やすモジュール設計のヒント」がめちゃ良い - Neo's World
「Terraform Module Designs 思考の引き出しを増やすモジュール設計のヒント」がめちゃ良い 「Terraform Module Designs 思考の引き出しを増やすモジュール設計のヒント」という Speaker Deck のスライドを見ていた。 Terraform Module Designs - Speaker Deck Terraform という IaC ツールに関するスライドなのだが、この中で出てくる数々の言葉は、システム設計、プログラマの美徳、組織作りやプロジェクトマネジメント、仕事術などに通じる内容が豊富に含まれていたので、自分が特に感銘を受けたモノを以下に引用させていただく。 限りなくシンプルなデザインというのはなかなか教えられるものではなく、大方経験を重ねて覚えるものだ - Evan Priestley この「判断力」は、プログラマーにとって非常に重要な
LlamaIndexを使ってAWS CDKの記事200本以上でインデックスを作りOpenAIに質問してみた | DevelopersIO
OpenAIのAPIに対してLlamaIndexを使い特定の分野の記事を取り込むと正しい答えが返ってくるのか確認してみました。本記事ではAWS CDKを対象に調査しています。 はじめに CX事業本部アーキテクトチームの佐藤智樹です。 今回はタイトルの通り、LlamaIndexを使いOpenAIにAWS CDKに関する記事（DevelopersIOのもの)を200本以上でインデックスを作り、どのような返答が返ってくるのか試してみました。LlamaIndexとは、簡単な実装で個別のインデックスを作成しOpenAIのモデルに対して問い合わせできるインターフェースです。詳細は以下をご確認ください。 インデックスの対象となる記事 AWS CDKのタグが付いている記事で、2021年12月21日から2023年3月8日までの合計240本の記事を対象にします。こちらで1つのAWS CDKというジャンルに対し
定時バッチをECS scheduled task + ecscheduleでお手軽管理する - BOOK☆WALKER inside
メディアサービス開発部モバイルアプリケーション開発課のtukiyo(id: tukiyo320)です。現在はニコニコ漫画のバックエンド開発を担当しています。 本記事では、Webサービスに付き物の定時バッチについて、ニコニコ漫画では現在どのような方針で管理・実行しているかをご紹介します。 ニコニコ漫画の構成おさらい 以下の記事に詳しいですが、ニコニコ漫画のバックエンドは4系統存在しています。どれも現在はAWS上に乗っており、PHPの現行システム以外はECS(fargate)で管理されています。 現行PHP(独自フレームワーク) 新バックエンド(Ruby on Rails) React向けBFF(Nest.js) 課金サブシステム(Ruby on Rails) developers.bookwalker.jp 本記事で扱うのは、ロジックの書き直しを目的とした新バックエンドが持つバッチとなります
クラウドの運用者に焦点を当てた、技術者向けの新しいテックイベント「Cloud Operator Days Tokyo 」。ここで株式会社カサレアルの新津氏が「これやったの誰？」をテーマに登壇。自動化したオペレーションに対して生じた疑問と学びについて紹介します。 自己紹介と今回のテーマ 新津佐内氏（以下、新津）：みなさん、こんにちは。株式会社カサレアルの新津佐内と言います。本日は「これやったの誰？」というタイトルのお話をします。 「これやったの誰？」についてですが、DevOpsと合わせて自動化を進めていく中で、自動化したオペレーションに対しても生じたこの疑問に、実業務の中であらためて向き合ってみました。上記事例の詳細と現時点での我々の答えを紹介します。 まず本日お話しする内容ですが、スライドに書かれているような基盤の運用担当者のユースケースに関わるお話になります。どのようなユースケースかとい
Dataformを初めて使ってみたので、雑に感想を書いておきます。結構よかった。 使ってみようとした背景 Dataformについて 試してみてどうだったか よかった まだまだこれからっぽいところ & 気になり 参考 使ってみようとした背景 今週、社内の開発合宿に参加していた。変更のリードタイムやデプロイ頻度などのFour Keysにあるような指標を計測できるデータ基盤を作るのが目標。様々なチームの開発のパフォーマンスをトラッキングしやすくして、うまくできているチームがなぜうまくいっているのかを明らかにしたり、改善施策を行なった結果指標も改善しているか定量的に確認できるようにして、開発効率を上げる土台を作るというのが目的。この辺の詳しいことは後々別のエントリで書かれると思う。 自分のチームは3人構成で、在宅のオンラインでやっていた。 id:shiba_yu36さん Mackerelチームでも
いまわたしの家のターンテーブルの上は荷物置きになっていて、だいたいスマートフォン＆ヘッドフォンで音楽を聴いていた。 サブスクリプションサービスが音楽コンテンツ売上げの半数を超え、CDがなくなるどころかダウンロード販売も風前の灯……という状態だが、わたしはといえば、相変わらず物理メディアやダウンロードでコンテンツを調達した一年だった。ある程度マイナーなリスナーにとっては、新しいビジネスモデルの恩恵を受けることもあまりないのかもしれない。 去年は、Beatportで"Leftfield House&Techno"というジャンルの新譜を片っ端から聴いて、気に入ったものを買ってきたのだが、特に解説が書いてあるわけでなし、ただ音と向きあって自分にとってのよしあしを判断するしかなかった。それだと、第一印象がよいものしか聴かなくなってしまって、必ずしもよいとはいえないので、今年は音楽を耳にするルートを意
株式会社ミラティブに入社しました｜Uchio Kondo
ミラティブという会社を知ったのは（退職エントリで書いた通り）実は大学時代からの友人が入社したのがきっかけで、その須山氏（現在はCFO）のインタビューもちょうど出ているのでよろしければどうぞ。 「近隣の子どもたちとバーベキューやオリエンテーションを開催するボランティアサークル」とは僕も入っていたサークルで、須山さんにはお世話になりました。いやこれからもか…。 なぜミラティブか？ という話入ったばかりでほぼユーザに価値を届けていない段階でアレだが、自分の備忘録という言い訳をして、以下、自分がどういうことを考えてミラティブを選んだかを残しておく。 基本的にこのnoteの内容については、自分の感じたことから書いたものであることは留意されたい。 軸その1: スタートアップなのに低レイヤと向き合えるプロダクトやユーザに向き合うのは大前提として、技術者としての私は引き続きインフラやIaC、SRE、基盤整
こちらは改訂前の旧版のページです。改訂改題版『事業をエンジニアリングする技術者たち ― フルサイクル開発者がつくるCartaの現場』の商品ページをご覧ください ウェブシステム＝ソフトウェア技術＋ビジネス 株式会社VOYAGE GROUP 監修、和田卓人 編 224ページ A5判 ISBN：978-4-908686-09-2 2020年8月7日 第1版第1刷 発行 株式会社VOYAGE GROUPによる紹介ページ 正誤および補足情報 ともすれば、互いに相反する関心を追っているとさえ捉えられる「ビジネス」と「ソフトウェアエンジニアリング」。しかし現実のウェブシステムで事業を成り立たせるためには、両者を分け隔てることなく、技術力と洞察力と調整力をもって課題に取り組む必要があります。 本書は、和田卓人氏による株式会社VOYAGE GROUPのソフトウェア技術者11人へのインタビューに補足解説を添え
terraform-docsでドキュメントの自動生成 - とことんDevOps | 日本仮想化技術のDevOps技術情報メディア
IaCでインフラを管理していると、構築手順書が不要になります。構築手順がコードで表現されているからです。では、一切のドキュメントが不要かというと、そんなことはありません。設定値の説明などは必要になるので、使い方のドキュメントは必要になります。 かんたんDevOpsではIaCツールとしてTerraformを使っているんですが、terraform-docsというツールを使うと、そこそこのドキュメントがツールによって生成できることがわかりました。っということで、さっそく使ってみます。 terraform-docs??? terraform-docs.io github.com Terraformモジュールからドキュメントを生成するツールです。使っているモジュールがどのバージョンに依存しているのか、Input/Outputに渡すべき値なんかはわざわざ手で修正していると面倒ですし、修正漏れの原因にな
[新機能] AWS Lambda Function URLで簡単にLambda関数を実行する - NRIネットコムBlog
こんにちは、上野です。 Lambda関数をワンクリックでURL公開できる機能が出ました！ aws.amazon.com 今までのLambda Lambda関数を（AWS認証無しの）HTTPS経由で実行するには、Lambdaの前段にAmazon API Gatewayを設置する必要がありました。 API Gatewayは便利で高機能なのですが、設定項目も多く、初めて触る方には難しい部分もあるかと思います。 今回の機能で、Lambdaのメニューから機能をONにするだけHTTPS公開できるようになりました。 やってみる Lambdaの作成画面に、「関数URLを有効化」のメニューが追加されているので、これをONにします。 初期状態では認証が必要なAWS_IAMが選択されていますが、今回はまずどれだけ簡単に公開できるかを試すため、NONEを選択します。 ※画面のとおり、URLを使用して全世界からLa
![[新機能] AWS Lambda Function URLで簡単にLambda関数を実行する - NRIネットコムBlog](https://cdn-ak-scissors.b.st-hatena.com/image/square/bc3c7388e74cb100059d08a9bbf13d4d0d55e082/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Ff%2Ffu3ak1%2F20220408%2F20220408110835.png)
はてなブックマークのステージング環境を支える技術 - Hatena Developer Blog
id:cohalzです。この記事ははてなエンジニア Advent Calendar 2023 の29日目の記事です。 28日目の記事は id:SlashNephy さんの おうち Kubernetes クラスタ運用記 ~2023~ でした。 はてなブックマークにおけるステージング環境について紹介します。 はてなブックマークでは現在インフラをAWS上に構築しており、ECSやAurora MySQLのサービスを利用しています。 本番環境と同様にステージング環境も用意していますが、より良いステージング環境(例えば本番環境に近く、変更がすぐ試せて、費用が安い構成)にすることを目指し、いくつか工夫した点があるのでそれらを紹介します。 AWSアカウントの分離 はてなでは複数のサービスを運用していますが、はてなブックマーク単体でAWSアカウントを分けて他のサービスとリソースが同居しないようにしています。
AWSを活用する複数社が集まり、事例を共有する祭典「AWSマルチアカウント事例祭り」。第2回の今回は、ニフティ株式会社の石川氏が自社へのAWS導入と管理方法について話しました。 ニフティがAWSをどう管理しているか 石川貴之氏（以下、石川）：「AWS導入から3年 AWSマルチアカウント管理で変わらなかったこと変えていったこと」という題でお話しします。まずは自己紹介です。 ニフティ株式会社の基幹システムグループにいる石川貴之です。担当業務はAWS/GCPの管理、Atlassian製品の管理、Webサービスのバックエンドを担当しています。 少しだけ会社紹介もしたいと思います。ニフティ株式会社は@nifty光を始めとする、ネットワークサービス事業と、@niftyニュースのようなWebサービス事業。グループ会社で、不動産などの行動支援プラットフォーム事業を営んでおります。「ニフティなんだからニフク
GitHub Actionsとtfupdateを使ってTerraformおよびTerraform Providerのバージョンアップを自動化する - ZOZO TECH BLOG
はじめに こんにちは。SRE部MLOpsチームの築山（@2kyym）です。 Infrastructure as Code（IaC）が一般的になり、またパブリッククラウドをフル活用したインフラ構築が当たり前となりつつあります。そんな中で、インフラの構成管理にTerraformを用いているチームも多いのではないでしょうか。本記事ではTerraformを用いたインフラ構成管理において避けては通れないTerraformやProviderのバージョンアップを自動化し、IaCの運用負荷を削減する方法をご紹介します。MLOpsチームでの運用を参考に、具体的な設定やハマりどころを交えつつ解説できればと思います。 目次 はじめに 目次 Terraformとは MLOpsチームにおけるTerraform運用の背景 Terraform管理の対象リソース Terraform運用において生じた課題 tfupdate
本投稿は DPE Camp blog series の一部です。 こんにちは。 Platform Infra の Kenichi Sasaki (@siroken3) です。メルカリでは主にAWSの管理を業務にしています。今回の投稿ではAWS構成管理リポジトリのセキュアなCI/CD環境を構築した件について紹介します。 背景 メルカリにおけるAWSの役割 メルカリにおけるAWSの利用の歴史は古く、商品画像を格納するためのストレージとしてS3をサービス開始当初から採用しています。その他S3はMySQLデータベースのバックアップ先、パートナー各社様とのデータ連携のための AWS Transfer Family のバックエンドとして使用しています。また2014年当時のUSメルカリのサービス開始時のメインインフラはAWS上にありました。 直近ではお客さま電話窓口やサポート担当の稼働管理ツールとして
2020年02月09日19:00 鬼滅の刃の最終回予想漫画を３１ページ描いてみたｗｗｗｗ Tweet 1: 以下、5ちゃんねるからVIPがお送りします 2020/02/09(日) 16:47:50.744 ID:9TGGSMug0 18巻まで読んだ時点での 鬼滅の刃の最終回予想漫画を描いてました！ 全部で表紙絵とおまけ１P含めて３１ページとなります！！！ これからうｐしてくからみてくだせい （なんとか最終回来る前にかきおえた・・） 表紙絵 ↓ 2: 以下、5ちゃんねるからVIPがお送りします 2020/02/09(日) 16:48:33.109 ID:9TGGSMug0 ２ページ目 5: 以下、5ちゃんねるからVIPがお送りします 2020/02/09(日) 16:48:54.792 ID:V2zqqvlw0 ペイントで描いたのかよ凄いな 6: 以下、5ちゃんねるからVIPがお送りします
Terraformとdriftctlで行うGoogle Cloud 権限管理の省力化 - ZOZO TECH BLOG
はじめに こんにちは、ML・データ部MLOpsブロックの岡本です。 MLOpsブロックでは日々複数のGoogle Cloudプロジェクトを管理しています。これらのプロジェクトでは、データサイエンティストやプロジェクトマネージャーなど別チームのメンバーが作業することもあり、必要に応じてメンバーのGoogleアカウントへ権限を付与しています。 権限の付与はプロジェクトの管理者であるMLOpsブロックメンバーが行いますが、これは頻繁に発生する作業でありトイルとなっていました。 また権限付与後はこれらを継続的に管理し、定期的に棚卸しすることで不要になった権限を削除する必要があります。しかし当初の運用だと権限の棚卸しの対応コストが大きく、これが実施されずに不要な権限が残り続けるという課題もありました。 本記事ではMLOpsブロックで抱えていたGoogle Cloudプロジェクト内での権限管理における
CCoE による Terraform を活用した Infrastructure as Code / IaC by Terraform in CCoE
AWS dev/cloud alliance japan 2021年05月28日(金) 発表資料 セッション:「CCoE による Terraform を活用した Infrastructure as Code」 内容：Visional グループの CCoE (Cloud Center of Excellence) のチームにおける Infrastructure as Code (IaC) の取り組みについてご紹介します。 CCoE の組織では、 IaC として主に Terraform を利用しており、 Terraform を用いてクラウドの信頼性やチームの生産性を高めるために IaC のプラクティスを取り込んでおります。それらのプラクティスについて、AWS アカウントを運用する観点、及び AWS 組織全体を運用する観点で共有させていただきます。
GCP上では誰もが同じ権限に、そして開発者全員が一時的に権限付与できるツール「granter」について | Money Forward Kessai TECH BLOG
GCP上では誰もが同じ権限に、そして開発者全員が一時的に権限付与できるツール「granter」について こんにちは、マネーフォワードケッサイ（以下MFK）SREチームのshinofaraです。今回は権限の仕組みを見直した話と、それを実現する為に開発したgranterというツールについてお話したいと思います。 また今回granterのcore部分をmfkessai/granter_coreとして公開しています。 granter登場以前の世界 MFKでは、2017年の創業時からGoogle Cloud Platform(以下GCP)とGoogle Workspace（当時はG Suite）を選択して利用してきました。 GCPの Cloud Identity and Access Management (IAM)では、Workspaceで作成した個人のアカウントだけでなく、Groupに対して権限
こんにちは。データ・AI戦略部 SREチームの小野です。2020年8月に入社してから早3年。SREエンジニアとして、日々業務改善に励んでいます。 ここ一年ほど、DAOという組織改善プロジェクトを推進してきました。このプロジェクトは組織内で発生するあらゆるイベントを「機能」として定義・実装し、それらを束ねてサービスとして組織内外に提供するプロジェクトです。 ※ 詳細はSREエンジニアが組織改善プロジェクトを立ち上げてみたを参照ください これまでの通常業務をサービスとして提供するという考え方は、我ながらとてもユニークかつ俊逸な発想だったと感じています。なぜなら、このサービスベースな考え方により組織にSLI/SLOを導入しやすくなったためです。 SLI/SLOの導入は個人的に難しいと考えています。導入するためにはさまざまな「ハードル」を突破する必要があるためです。しかし一方で、SLI/SLOを導
AWS 認定トレーニング「Advanced Architecting on AWS」を受講してみた | DevelopersIO
お疲れ様です。AWS 事業本部のヒラネです。 AWS 認定トレーニング「Advanced Architecting on AWS」を受講してきたので内容のご紹介や感想をお伝えしたいと思います。 お疲れ様です。AWS 事業本部の平根です。 AWS 認定トレーニング「Advanced Architecting on AWS」を受講してきたので内容のご紹介や感想をお伝えしたいと思います。 AWS トレーニングとは AWS トレーニングとは、AWS の利用方法の知識とスキルを身に付けるための公式教育プログラムです。 クラスメソッドのメンバーズプレミアムサービスにご加入いただいているお客様の場合は、 特別割引価格で受講いただけます! 提供トレーニングの詳細やお申込みは以下 URL をご参照ください。 今回は、トレーニングの中でも「Advanced Architecting on AWS」を受講しまし
みなさんこんにちは。Backlog課のGitチームに所属するテリーです。今回は僕たちが日々運用するECS Fargate上のアプリケーションのデプロイ方法とそれをどう改善してきたかについてまとめました。デプロイについて迷っている方や日々の業務の改善が好きな人に読んでもらえたらと思います。 Git機能におけるデプロイ ECS上で動くアプリケーション BacklogのGitはEC2上で動くアプリケーションとECS Fargate上で動くアプリケーションで構成されています。 アーキテクチャの外観は上記のようなになっています。Gitのアーキテクチャについて過去に詳しく説明したブログを発表していますので詳しくはこちらを参照ください。 僕たちは上記のアーキテクチャ中の4つのアプリケーションをECS Fargate上で運用しています。また、内部的な話になりますがBacklogには内部構造として複数の本番
Docker 環境を作るなら Ubuntu のクロスプラットフォームな仮想化ツール Multipass を使おう
はじめに Web アプリケーションを開発する際、バックエンドの API サーバーやデータベースなどの複数のマシン環境を1台の PC で動かすことの可能なコンテナツールとして、Docker は広く利用されています。 この便利な Dockerですが、複数人で Web アプリケーションを開発しているチームで各メンバの開発用 PC の OS が異なる状態（例えば、A さんが Windows、B さんが macOS など）で、Docker をローカル環境に直接インストールしていた場合、下記のような不都合が発生します。 Docker のバージョンがメンバ間で統一されていない 😱 コンテナ外で使用必須のツールのインストール方法・バージョンがメンバ間で異なる 😱 コンテナ外で使用必須のシェルスクリプトは OS 毎で（または OS の差異を考慮して）作成する必要がある 😱 以上の問題は、Docker
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
あなたの組織に最適なECSデプロイ手法の考察 | DevelopersIO
Infrastructure As Codeでモジュール化が難しいのはなぜなのか - ゆううきメモ
Terraformのデプロイパイプラインに使用できるツールをまとめてみた | DevelopersIO
とあるインフラ屋のプルリクエストレビュー奮闘記 - NRIネットコムBlog
Azure が提供するデフォルトドメイン名を狙った改ざんについて注意喚起 - しばやん雑記
VMとDockerの基礎 -コンテナって何なの？？言葉と仕組みを理解する
Security Engineering on AWSで役に立つ参考リンク集 | DevelopersIO
デジタル企業ではすでに常識！100%自動化したソフトウェアデリバリー 【世界のエンジニアに学ぶ】 - 一般社団法人 日本CTO協会
AssumeRoleとPassRoleでクレデンシャル情報を保持しない運用を AWSの自動化したオペレーションに対して生じた疑問「これやったの誰？」
開発効率を計測するデータ基盤の管理にDataformを使ってみた - yasuhisa's blog
電子音楽を中心に、2019年に聴いた音楽、ベスト10曲 - ココロ社
Engineers in VOYAGE ― 事業をエンジニアリングする技術者たち（電子書籍のみ）
利用者にAdmin権限委譲しても大丈夫 ニフティがAWS導入時から行ってきたマルチアカウント管理法
Automation of Terraform for AWS | メルカリエンジニアリング
鬼滅の刃の最終回予想漫画を３１ページ描いてみたｗｗｗｗ : 哲学ニュースnwk
SREエンジニアのSLI/SLO導入への挑戦 - ぐるなびをちょっと良くするエンジニアブログ
僕たちとECSとデプロイとその改善 | 株式会社ヌーラボ(Nulab inc.)