OpenAPI Specification ドリブンな開発事例とそれを支えるツール - NTT Communications Engineers' Blog
これは NTT Communications Advent Calendar 2021 3日目の記事です。 こんにちは、イノベーションセンターの松田 (@take4mats) です。 当社の Smart Data Platform (SDPF) のサービスラインナップの多くは、お客さまがサービスご利用に必要な操作を統一的に行うための Web UI に加え、同等の Web API を提供しています。 API 仕様は Knowledge Center にてサービスごとに一般公開されているのをご存知でしょうか？ (Knowledge Center で各サービス内の APIリファレンス のページをご覧ください。例えば こちらのリンク) この一般公開されている API 仕様はサービス開発初期に作成され、開発期間にも重要な役割を果たしています。 本記事では、その中で私が携わったサービスから、 API
Kubernetes Advent Calendar 2019 その3 の 2日目です。 WeaveworksによってGitOpsが提案されてから2年ほどが経ち、僅かですが本番導入事例も耳にするようになりました。とはいえ案外まとまったドキュメントは作られていません。特にGitOpsで複数の環境 (e.g., 開発環境、本番環境、etc.) をハンドリングするためには欠かせないブランチ戦略については殆ど語られていないようです。これではたとえGitOpsの概要 (Single Source of Truthの概念等) を知っていても本番導入には大きなハードルが残ったままで、本番導入事例がまだまだ少ないことにも納得できてしまいます。そこでこの記事ではブランチ戦略に焦点を当て、サンプルプロジェクトを交えながら紹介していこうと思います。k8s/GitOps中級者向けです、多分。 以前GitOpsにつ
こんにちは。 株式会社クラスアクト インフラストラクチャ事業部の大塚です。 前回、前々回と私はKubernetesにArgoCDをデプロイしてみたりGitOps,CI/CD環境を構築したりしました。 今回はVSCodeとGitLabを連携させて、よりそれっぽい開発環境を作っていこうと思います。 用語 VSCode Microsoft社が提供しているコードエディタになります。 PCにデフォルトで入っているテキストエディタを凄く拡張させたものとでも思って頂ければいいのではないでしょうか？ サーバにSSHして使用することも可能なので、画面を良い感じに分割して上部ではファイルを編集して下部でサーバを操作して、みたいな使い方はあるあるな気がします。 環境イメージ 今回構築するイメージは以下です。 自分のPCにgitリポジトリをclone（≒複製）します。VSCodeでNodePortのyamlを作成
【追記情報】 2022/06/15 09:00 誤字修正 + cdkk8sについて言及 先日、ハンドブックを公開しました。 ここではKubernetes上で稼働させた実績値としての記録が紹介してあります。が、逆に紹介していないものもたくさんあります。検証が済んでいないもの、時間的制約から導入できなかったものなど、不完全な情報を紹介しようと思います。 したがって、何も保証するための裏付けはないので「そういうことも検討してたんだなぁ」ぐらいで読んでもらえると嬉しいです。元記事もぜひ読んでみてください。 nodejsのDocker Imageの軽量化 Docker Imageを作る際、多くの場合Image内にnode_modulesを含んだ状態でイメージを作成しています。Nodejsのベースイメージが60〜100MBくらいあるのに対して、ビルド後のイメージサイズは200MB〜1GBくらいまで膨れ
Gitブランチ、Dockerリポジトリ、環境毎のk8sクラスタ 俺のデプロイフローを聞いてほしい | DevelopersIO
EKSクラスタでアプリケーションを起動させる これだけでもちょっぴりハードルが高いが、この先にはもっと高いハードルが待ち受けている。そう、 コードを修正してEKSクラスタにデプロイするまでのフローを考える である。正直適当にやろうと思えばなんとでもなるが、ここを整備しないと不幸な未来が待っているのだ。 ということで今回は、私が考えたデプロイフローとそのフローに到るまでに悩んだポイントを紹介したいと思います。 ※一部机上レベルでの確認になります。 フィードバックお待ちしています。 デプロイフロー 前提 AWSアカウント：環境毎に分離 Gitリポジトリ：GitHub Dockerレジストリ：ECR CI：CodePipeline + CodeBuild CD：ArgoCD（後述） 用語 アプリケーションリポジトリ アプリケーションコードを管理するためのリポジトリ ArgoCDリポジトリ k8s
みなさんこんにちは。Backlog課のGitチームに所属するテリーです。今回は僕たちが日々運用するECS Fargate上のアプリケーションのデプロイ方法とそれをどう改善してきたかについてまとめました。デプロイについて迷っている方や日々の業務の改善が好きな人に読んでもらえたらと思います。 Git機能におけるデプロイ ECS上で動くアプリケーション BacklogのGitはEC2上で動くアプリケーションとECS Fargate上で動くアプリケーションで構成されています。 アーキテクチャの外観は上記のようなになっています。Gitのアーキテクチャについて過去に詳しく説明したブログを発表していますので詳しくはこちらを参照ください。 僕たちは上記のアーキテクチャ中の4つのアプリケーションをECS Fargate上で運用しています。また、内部的な話になりますがBacklogには内部構造として複数の本番
ECSからEKSへの移行への移行事例の紹介
発表資料の中に出てくるURLです。 * [Amazon EKSでのArgoCDを使ったGitOps CD](https://tech.recruit-mp.co.jp/infrastructure/gitops-cd-by-using-argo-cd-at-eks/) * [EnvoyとAmazon ECS Service Discoveryを利用したgRPCの負荷分散](https://tech.recruit-mp.co.jp/infrastructure/post-17098/) * [Amazon EKSでAWS App Meshを利用してgRPCサーバーを運用する](https://tech.recruit-mp.co.jp/infrastructure/post-20765/) * [https://tech.recruit-mp.co.jp/infrastructure/po
TerraformとGitHub Actionsで複数のCloud RunをまとめてDevOpsした結果, 開発者体験がいい感じになった話. - Lean Baseball
ざっくり言うと「TerraformとGitHub ActionsでGoogle Cloudなマイクロサービスを丸っとDeployする」という話です. Infrastructure as Code（IaC）は個人開発（趣味開発）でもやっておけ 開発〜テスト〜デプロイまで一貫性を持たせるCI/CDを設計しよう 個人開発（もしくは小規模システム）でどこまでIaCとCI/CDを作り込むかはあなた次第 なお, それなりに長いブログです&専門用語やクラウドサービスの解説は必要最小限なのでそこはご了承ください. あらすじ 突然ですが, 皆さんはどのリポジトリパターンが好きですか? 「ポリレポ（Polyrepo）」パターン - マイクロサービスを構成するアプリケーションやインフラ資材を意味がある単位*1で分割してリポジトリ化する. 「モノレポ（Monorepo）」パターン - アプリケーションもインフラも
概要 AWSには、マネージドなコンテナプラットフォームとして、EKS(Elastic Kubernetes Service)とECS(Elastic Container Service)があります。 どちらもコンテナオーケストレーションを提供するサービスで、EKSはデファクトスタンダードであるKubernetesが、ECSはAWS独自仕様がそれぞれ使用されており、使用方法や学習コスト、運用やメンテナンスコストについて異なる点も多くあります。 本記事では、EKSとECSの特徴を比較し、それぞれの選択基準について解説します。 AWSのコンテナプラットフォーム AWSの主なコンテナプラットフォームには、EKS(Elastic Kubernetes Service)とECS(Elastic Container Service)があります。 以下に、EKSとECSの概要比較、およびコンテナイメージを
はじめに TL; DR; 社内の普段はインフラ以外のところを主戦場にしている人向けに、AWS・GCPの権限に関する用語と概念を説明するために書いたものを加筆訂正して公開します AWS・GCPの権限管理は、基本的な概念は似ているが同じ英単語が別の意味でつかわれているのでややこしい 書いてあること 概念の説明と、関係を表す図 EKS・GKEからクラウドリソース *1 を使う時の考え方 書いてないこと 設定のためのコンソール画面のスクショや手順 Kubernetesからクラウドリソースを操作する方法は、以前のブログ「GitHub Actionsで実現する、APIキー不要でGitOps-likeなインフラCI/CD」でTerraformによるコードの例も紹介しているので、あわせて参考にしてみてください 想定読者 AWSはそこそこ使って慣れているけど、GCPにおける権限管理を理解したい人(またはその
はむはー！最近計算機には嬉しい気温になってきました。みなさん計算機はいかがお過ごしですか？ 先月 Kubernetes クラスタを部内サーバーに構築したので、その話をします。 きっかけ きっかけは部内 OpenStack クラスタが崩壊したことです。OpenStack かぁ〜立て直すのめんどくさいね〜、って話しているうちに何故か Kubernetes を立てる話が盛り上がり、Kubernetes クラスタを立てることになりました *1。 いろいろ検討 Kubernetes を立てると一言で言っても、 Node の立て方や使うコンポーネント、YAML の管理方法など決めなければいけないことは多岐に渡ります。 まずは要検討事項をまとめた Issue を作りました。 数々の要検討事項 大量です。ここから一つ一つ検討していきました。 Node の立て方 Node を立てる、すなわち kubelet
こんにちは、リードエンジニアの @dachi_023 です。今回はGitHub Actionsとecspressoでデプロイフローの構築をしたのでそれについて書いていきます。先に言っておくと簡単にセットアップできるし設定もシンプルなのでかなりおすすめです。 Actions | GitHub kayac/ecspresso: ecspresso is a deployment tool for Amazon ECS これまでのデプロイ コネヒトではECS環境へのデプロイに silinternational/ecs-deploy を採用しています。CodeBuildもしくはTravis CI上からecs-deployを利用してECS環境にアプリケーションをデプロイする構成です。 CI/CDツールの乗り換え検討 これまでずっとTravis CIを利用してきました。しかし 料金体系の変更 があった
GitLabCI+ArgoCDを使って、「マージしたら5分でKubernetesへデプロイ」を実現する - エニグモ開発者ブログ
こんにちは。Engimo インフラチームの夏目です。 この記事はEnigmo Advent Calendar 2019の22日目の記事です。 最近はこちらのインタビューでも触れたとおりKubernetesクラスタを作ったり壊したりしていまして、今日の記事はKubernetesにおけるアプリケーションデプロイに関してのお話です。 Kubernetesの継続的デリバリ、どうしてますか？ Kubernetesをプロダクション環境で利用されているそこのあなた！アプリケーションをどうやってデプロイしていますか？ ローカルでDockerImageをビルド DockerHubのプライベートリポジトリへプッシュ kubectl editでDeploymentsのイメージタグを最新のものへ変更 といった人の手による温かみのあるデプロイをしている？ それはそれで心がこもった良いやり方かもしれませんが、おそらく
こんにちは。青山（amsy810）です。 Kubernetesには複数のクラスタを扱うための技術がいくつかあります。 今回は幾つかのパターンに分けて紹介していきたいと思います。 また、将来的にこうなったら面白いかもという話をするために、すぐにプロダクション利用できない話やWebサービスでは使わないような話も含まれています。 【目次】 複数クラスタを利用する理由 複数クラスタを管理するパターン GitOpsで複数クラスタを管理するパターン 複数のKubernetesクラスタをFederateするパターン Virtual kubeletパターン マルチクラスタ時のロードバランサの扱い LoadBalancer の機能を利用して分散する DNS を利用して分散する Multi Cluster にまたがる Service Mesh を利用して転送する マルチクラスタでPod Networkを繋ぐ
GitHub Actionsで実現する、APIキー不要でGitOps-likeなインフラCI/CD - JX通信社エンジニアブログ
※ 今はGitHub ActionsでOIDCが使えるので、本記事の内容は少し古いです。*1 現場のルール等で「インフラを触るワークロードはオンプレでしか動かしてはならない」みたいなルールがある場合には多少参考になるかと思います。 SREのたっち(@TatchNicolas)です。 JX通信社では「インフラチーム」のようなものは存在せず、開発したチームが運用までやるFull-cycleなスタイルを取っています。AWS・GCPリソースの管理も特定のメンバーが担当するのではなく、必要とする人が必要な時に作成・修正等を行います。すると、terraformなどIaCのツールを利用する場合に「今リポジトリにあるコードは実態を正しく反映しているのか」「誰かが矛盾する変更を加えていないか」という問題が発生します。 CIツール上でterraformを実行することで、問題の一部は回避できるかもしれませんが、
Self-Hosted Cluster から EKS への移行と Platform の Production Readiness - スタディサプリ Product Team Blog
こんにちは。SRE の @chaspy です。 Quipper では AWS 上で Kubernetes Cluster を運用してサービスを提供しています。 これまで kube-aws を用いて Kubernetes Cluster を Self Host してきましたが、このたび Managed Services である Amazon EKS に移行しました。（以下、 Amazon EKS を EKS と表記します） 本記事では、 Kubernetes Cluster の移行で遭遇した問題をどのように解決したかを説明します。また、数多くの Application が稼働している Platform を移行する際にどのような点を考慮するとよいのか、経験を通して学んだことを共有します。 EKS への移行を検討している方はもちろん、Platform Migration に携わる方にとって学びに
AI ラボの nagomiso です。最近趣味という趣味が「飲酒」と「VTuber*1 の配信を見ること」だけになっていて危機感を覚えています。 唐突ですが freee 会計の「自動で経理*2」には登録された明細の内容から勘定科目などを推測する機能が備わっていることをご存知でしょうか？ 例えば以下の画像のように「freee 独自の基準により推測」と表示されたら何らかの推測処理が裏側で走っています。 「自動で経理」で推測された勘定科目の例 皆さんご想像の通りこの推測の一部には機械学習を用いた推論エンジンが使用されています。推論エンジン自体は数年前から導入されているので話題としての新鮮味は薄いですが freee の機械学習に関する話題は割と門外不出状態だったので今回はこの推論エンジンについてざっくりとご紹介しようと思います。 推論エンジンの Ops 周り 「自動で経理」で使われている推論エンジ
SREへの社内留学を通してEnabling SREを推進した話 - freee Developers Hub
こんにちは、金融開発チームでアプリケーションエンジニアをしている ogugu です。 普段はサーバーサイド・フロントエンド問わず実装しています。 直近では、半分趣味でGoのlinterを自作したり、フロントエンドにStorybookのインタラクションテストを導入したり、幅広くやっています。 さて、今回は、SREチームに社内留学して Enabling SRE を推進した話をします。 なぜ留学したか 自分はこれまで「技術をリードしていく立場として幅広い知識と経験を持った人材になりたい」というキャリア志向を抱いていました。 そのために、自分自身がウィークポイントに感じていたインフラやセキュリティの理解を深めたいと感じていました。 また、同時に、freeeの開発組織に対して「悪い意味で開発者とSREの責任境界がはっきりしていて、開発者がインフラの構築・運用やアラート対応に疎くなっているのでは」とい
実践 AWSデータサイエンス
AWSではデータサイエンス分野で利用できるさまざまなサービスが提供されています。本書では、それらのサービスを有効に使って、データの収集、分析、モデルの訓練、テスト、デプロイまでの一連のプロセスを行う方法を紹介します。対象とする事例は、ヘルスケアデータ、時系列データ、自然言語処理、画像分類、不正検出、需要予測、レコメンデーションシステムなど非常に多岐にわたります。本書の目的は、Amazon SageMakerをはじめとしたAWSの機械学習サービスの詳細を説明するだけでなく、AWSのサービスを組み合わせることで、データサイエンスとアプリケーション開発の統合を図り、開発を効率化することであり、データサイエンティスト、データアナリスト、データエンジニア、MLエンジニアはもちろん、アプリケーション開発者や管理職にとっても役に立つ一冊です。 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や
LinuxカーネルをフックするeBPFによるサービスメッシュを、Kubernetesに加えてVMやパブリッククラウドまで拡大する「Cilium Mesh」が登場
LinuxカーネルをフックするeBPFによるサービスメッシュを、Kubernetesに加えてVMやパブリッククラウドまで拡大する「Cilium Mesh」が登場 Linuxのカーネルをフックする「eBPF」（extended Berkeley Packet Filter）と呼ばれる仕組みを用いてサービスメッシュを構成する「Cilium」などを開発するIsovalentは、Kubernetesだけでなく仮想マシンやパブリッククラウドまでをカバーするサービスメッシュを実現する「Cilium Mesh」を発表しました。 Introducing Cilium Mesh. Cilium & eBPF powered networking, security, and observability for VMs, servers, and existing networks across cloud,
TL;DR eksctlを使うときはライフサイクルを意識しましょう VPC周り クラスタやIAM（ALB） アプリケーション（ALB） eksctlとは eksctlはWeaveworksとAWSが共同で開発を進めているEKSを管理するための公式ツールである。 リポジトリ github.com ドキュメント eksctl.io ここでは詳しく解説しないが、とても便利でコマンド一発でなんとなくK8sクラスタが立ち上がる。 また、公式ツールであるがゆえにEKSのアップデートに対する追従も早く、EKSのほとんどの機能に対応している。 EKSを触ったことがある人なら一度は触ったことはあると思うし、聞いたことはあると思う。 eksctlは難しいという話（前置き） eksctlでは config.yaml というファイルでEKSに必要な設定を管理することができる。 ざっとあげつらねるだけでこのくらいは
2023年に読んだ本
転職ドラフトからオライリーの本たくさんもらったので欲しかったやつとりあえず全部読んでみた。 <pr> 紹介コード RVSC を使うとお互いにもらえるので気になる人は是非。 https://job-draft.jp/sign_up?utm_term=RVSC </pr> オブザーバビリティ・エンジニアリング 良い本。トレーシングやOpenTelemetryの本と思って買っていたが、実際はオブザーバビリティを確保するための色々な手法を紹介している。そのような手法が発達するまでの歴史の流れの解説も面白かった。従来のメトリクスとモニタリングだけでは現代の分散システムのデバッグが困難ということで、 オブザーバビリティ・エンジニアリングを導入する上での説得に使えそうな文言がたくさん散りばめられている。その手法の一つが、そもそも問題が起きてからデバッグのためにデバッガを挟み込んでデプロイしたくないという
Kubernetes採用はもう当たり前、American Expressは次の段階に進みつつある：100％OSSでクラウドネイティブへ（1/2 ページ） 金融大手のAmerican Expressは、コンテナ環境上で多数のアプリケーションが稼働するだけでは満足していない。社内の開発・運用体制をさらに変えていくために新たなプロジェクトを進めつつある。このプロジェクトでは何をやろうとしているのか。 金融機関や通信会社といった規制業種における、Kubernetesの採用が進んでいる。American Expressは現在、Kubernetes環境で数百のアプリケーションを稼働しているといい、コンテナの採用に関しては既に最初のハードルを越えている。 同社は今、次の段階に向け、新たなプロジェクトを進行中だ。現在のコンテナ環境をさらに「クラウドネイティブ化」することを目指している。この取り組みのため、
SRE / DevOps / Kubernetes Weekly Reportまとめ#13(4/26~5/1) - 運び屋 (A carrier(forwarder) changed his career to an engineer)
この記事は2020/4/26~5/1に発行された下記3つのWeekly Reportを読み、 DEVOPS WEEKLY ISSUE #487 April 26th, 2020 SRE Weekly Issue #216 April 27th, 2020 KubeWeekly #214 May 1st, 2020 English Version of this blow is here. DEVOPS WEEKLY ISSUE #487 April 26th, 2020 News A detailed write up from the recent Failover Conf on all things chaos engineering. Lots of notes and links to related content. A good post for any software d
はじめに おはようございます､加藤です｡ Kubernetesには､Secretリソースという物が存在しDBの認証情報など秘匿する必要があるデータを格納するのに使用されます｡ しかし､このSecretリソースはBase64エンコードが行われているだけなので､Secretリソースへ読み込み権限があれば誰でもデコードして平文データを取得できてしまいます｡ また､Secretリソースを作成する為のマニフェストファイルにも､記述されているので､これに対して読み込み権限があれば同様に平文データの取得が可能です｡ Secretの暗号化はどの様に行うか Secretの暗号化には､下記の様なツールを使う事が多いと認識しています｡ shyiko/kubesec: Secure Secret management for Kubernetes (with gpg, Google Cloud KMS and A
さよならSpinnakerよろしくGitOps
MF KESSAIとGKEへのDeployの歴史 Spinnaker導入によるオートメーション革命時代の幕開け Spinnaker導入後のツラミ 解決したいこと＆理想 GitOpsの採用と理由 GitOpsの手段としてCloud Builderを選択した理由 Gitops用のコード大公開 なんだかんだJenkins時代（2017/03 ~ 2019/04） Circle CIでBuild & Push Jenkins on GKEでポチッと Spinnakerによるオートメーション革命時代（2019/04 ~ 2020/05） CircleCI or Cloud BuilderでBuild & Push Spinnakerで自動デプロイ Gitops: 僕たちは最初からこれが理想だった（2020/05 ~ 現在） Cloud BuilderでBuild & Push GithubでAppr
Kubernetesネイティブなワークフローエンジンとは！FAANSでArgo Workflowsを導入した話 - ZOZO TECH BLOG
はじめに こんにちは。ブランドソリューション開発本部 バックエンド部 SREの笹沢（@sasamuku）です。 ZOZOではショップスタッフの販売サポートツール「FAANS」を2022年8月に正式リリースしました。FAANSはアパレルのショップスタッフ様を支援する様々な機能を提供しています。例えば、ZOZOTOWN上で実店舗の在庫取り置きができる機能や、コーディネート投稿の機能などがあります。投稿されたコーディネートはZOZOTOWNやWEAR、Yahoo!ショッピングに連携が可能で、今後はブランド様のECサイトとも連携できる予定です。これによりお客様のコーディネート選びをサポートし購買体験をより充実したものにします。機能の詳細に関しましては下記プレスリリースをご覧ください。 corp.zozo.com 今回はFAANSで採用しているワークフローエンジン「Argo Workflows」につ
こんにちは。計測プラットフォーム本部バックエンド部SREチームの市橋です。 私たちのチームではZOZOSUIT、ZOZOMAT、ZOZOGLASSといった計測技術に関わるシステムの開発、運用を担当しています。現在のZOZOMATとZOZOGLASSは、どちらも独立したEKSクラスタ上で動いていますが、ZOZOGLASSの環境を構築する際に将来のマルチテナント化を踏まえ大きく設計を見直しました。今回は、この設計見直し時に考慮した点を紹介します。 ZOZOGLASSとは ZOZOGLASSは顔の情報を計測し、イエローベースとブルーベースの2タイプ、及び春夏秋冬の4タイプの組み合わせからなるパーソナルカラーを診断するサービスです。計測した顔の情報から肌の色に近いファンデーションを推薦します。2021年7月時点で、ZOZOGLASSが推薦するコスメアイテムはファンデーションのみですが、今後はファン
久々の「突撃！隣のDevOps」の記事です。今回はリブセンスの「転職会議」を開発している部署にDevOpsに対する取り組みや考え方、組織文化についてインタビューしてきました。 今までのシリーズとは異なりリブセンスに伺わずにリモートでのインタビューでした。 なので突撃もしておらず、会社の位置関係的にもそこまで隣じゃないDevOpsです。 リブセンスについて まずはリブセンスがどのような会社でどのような業務を行っているか、インタビューの担当者様について紹介してきます。 サービス内容 人材領域・不動産領域といった、人生の大きな意思決定が必要になる場面での情報の非対称性を課題ととらえ、それを解決するようなサービスを運営しています。口コミによる企業情報の透明化・マッチング精度向上に挑む「転職会議」、エンジニアの競争入札型転職メディア「転職ドラフト」、成功報酬型でより多くの求人案件から適職を提案する「
PulumiがKubernetesへの本格対応を発表。GitOps対応、YAMLからPulumi Pythonへの変換機能など
PulumiがKubernetesへの本格対応を発表。GitOps対応、YAMLからPulumi Pythonへの変換機能など コードを用いてAWSやAzureをはじめとするさまざまなITインフラの状態を記述できる、いわゆるInfrastructure as Codeツールの「Pulumi」が、Kubernetesへの本格対応を発表しました。 Are you a #Kubernetes user and a fan of #InfrastructureAsCode? Checkout Pulumi's new superpowers out today: Deployment automation New ecosystem integrations like @OpenPolicyAgent ✈️ Migration tools convert YAML to modern code h
EKS環境へArgo CD Image Updaterを導入し、デプロイ時間と管理コストを削減した話 - ZOZO TECH BLOG
はじめに こんにちは、計測プラットフォーム開発本部SREブロックの渡辺です。普段はZOZOMATやZOZOGLASSなどの計測技術に関わるシステムの開発、運用に携わっています。 先日私達のチームでは、Argo CDと拡張ツールArgo CD Image Updaterを導入した開発環境のCDリアーキテクトを行いました。本記事では、開発環境のCI/CDリアーキテクト設計とArgo CD Image Updaterの導入手順について紹介します。 目次 はじめに 目次 Argo CDとArgo CD Image Updaterについて Argo CD Image Updater導入前の課題 Argo CD Image Updater導入による開発環境CI/CD設計 導入手順 Argo CD Image UpdaterのECR操作権限設定 IAMRoleの作成とPodへのアタッチ PodのECR認
GitOpsでも秘匿情報をバッチリ扱う方法、SealedSecretとは？ / How to manage credentials on GitOps
GitOpsでも秘匿情報をバッチリ扱う方法、SealedSecretとは？ / How to manage credentials on GitOps GitOpsで秘匿情報を扱う方法を紹介する資料です。SealedSecretというツールを中心に紹介しますが、それ以外のkamus, Hashicorp Vault, kubesealといった多くのツールも紹介します。 @Kubernetes Meetup Tokyo #21 - Cloud Native CI/CD
【ArgoCD🐙】ArgoCDのマイクロサービスアーキテクチャと自動デプロイの仕組み - 好きな技術を布教したい 😗
この記事から得られる知識 この記事を読むと、以下を "完全に理解" できます✌️ ArgoCDのアーキテクチャを構成するコンポーネントの種類について ArgoCDがマニフェストを自動デプロイする仕組みについて この記事から得られる知識 01. はじめに 02. 概要 アーキテクチャ レイヤー コンポーネント 仕組み (1) repo-serverによるクローン取得 (2) application-controllerによるマニフェスト取得 (3) application-controllerによるCluster確認 (4) application-controllerによる処理結果保管 (5) argocd-serverによるキャッシュ取得 (6) 管理者のログイン (7) IDプロバイダーへの認証フェーズ委譲 (8) dex-serverによる認証リクエスト送信 (9) argocd-s
LINEの大規模なインフラを支えるインフラエンジニアが所属しているチームの役割や実際の仕事内容について、普段の働き方や現在の課題、取り組みなどを事例を交えてお話しする「LINE インフラエンジニア採用説明会」。ここでシステムデベロップメントチーム マネージャーの小笹氏が登壇。チームの担当業務について紹介します。 システムデベロップメントチームの業務内容 小笹哲哉氏（以下、小笹）：システムデベロップメントチームの小笹です。よろしくお願いします。システムデベロップメントチームでは、システム室で行っているサーバーの管理や運用の業務に関連した、自動化や効率化の開発を行っています。 （スライドを示して）具体的には、ここに記載されているようなインフラ資産構成管理システムの開発・運用や、サーバーアクセス権限の管理システムの開発・運用。あと、低使用率サーバー検知、サーバーコストの管理システムの開発、サーバ
インフラのGitOpsを可能にする「Pulumi Deployments」登場。コードをGit Pushするだけでインフラの構成変更を実行
インフラのGitOpsを可能にする「Pulumi Deployments」登場。コードをGit Pushするだけでインフラの構成変更を実行 コードを用いてクラウドをはじめとするITインフラの構成を定義できる、いわゆるInfrastructure as Codeを実現するオープンソースの「Pulumi」を開発するPulumi社は、インフラの構成を定義したコードをGit Pushすると自動的に定義に従って実行してくれる新サービス「Pulumi Deployments」を発表しました。 Introducing #Pulumi Deployments for remote execution of your Pulumi programs! Deploy by pushing to a @github branch Click to deploy from the Pulumi Service c
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーでデータエンジニア兼マネージャーをしている安藤です。 社内で利用しているAIプラットフォームの構築、提供を担当しています。 ヤフーには100を超えるサービスがあり、各サービスのデータ＊1が蓄積されています。ヤフーではこれらのデータをマルチビッグデータと呼んでいます。マルチビッグデータを利用し、ユーザの利便性やサービスの質向上のため、AI、機械学習の導入が増えています。 今回は、社内で急速に利用が進んでいる内製のAIプラットフォームを紹介します。 ＊1 この記事で取り扱っているデータは、プライバシーポリシーの範囲内で取得したデータを個人が特定できない状態に加工しています。 AIプラットフォーム開発の目的 AIプラッ
GitOps共有会
The AI Revolution Will Not Be Monopolized: How open-source beats economies of scale, even for LLMs (QCon London)
【コンテナセキュリティてんこ盛り】クリエーションライン主催のAquaセミナーに参加してきた | DevelopersIO
コンテナセキュリティに特化した稀有なセミナーに参加してきました。Aquaの最新情報に加え、いろんなこの界隈の四方山話も聞けてすっごい楽しかった一日の様子をお届けします。 先日、日比谷公園にほど近い会場でクリエーションライン株式会社様主催のAqua Securityコンテナセミナーに参加してきました。 2019年11月20日 Aqua Securityコンテナセミナー を開催します - クリエーションライン株式会社 基本は、弊社でも扱っているAqua Container Securityについての話が主だったのですが、製品仕様以外にもカカクコム様でのKubernetes運用のGitOpsの話であったり、決済サービスPaidyにおけるコンテナ運用の話であったり、最近話題のOSSな脆弱性スキャンツールのTrivyの作者、福田さんがイスラエルからオンラインセミナーやったり、コンテナ界隈の幅広い話題
はじめに こんにちは、計測プラットフォーム開発本部SREブロックの渡辺です。普段はZOZOMATやZOZOGLASSなどの計測技術に関わるシステムの開発、運用に携わっています。 先日私達のチームでは、EKS環境にArgo CDを導入し、デプロイパイプラインのリアーキテクトを行いました。 開発環境では、Argo CD Image Updater（以下、Image Updaterとする）を活用したスピーディなデプロイ設計をしました。詳しくは「EKS環境へArgo CD Image Updaterを導入し、デプロイ時間と管理コストを削減した話」を参照ください。 techblog.zozo.com 本記事では、Argo CD導入による本番環境のリリースフロー設計やタグ更新の仕組みなど工夫した点について紹介します。Argo CDを検討している方に向けて、少しでも参考になれば幸いです。 目次 はじめに
New Network Provisioning System Leveraging Kubernetes and Cloud Native Open Source
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitOpsで絶対に避けて通れないブランチ戦略 - 水底
VSCodeとGitLabを連携する - Qiita
大規模サービスのBFFサーバーをKubernetesに移行した記事で書いていないこと
僕たちとECSとデプロイとその改善 | 株式会社ヌーラボ(Nulab inc.)
AWS EKSとECSの比較と選択基準
AWS・GCPとKubernetesの権限まわりの用語を具体例から理解する - JX通信社エンジニアブログ
部内サーバーに Kubernetes クラスタを立てました - KMC活動ブログ
GitHub Actions & ecspressoによるデプロイフロー構築 - コネヒト開発者ブログ
Kubernetesにおけるマルチクラスタ関連手法の分類 - @amsy810's Blog
「自動で経理」の推論エンジンってどんなやつ？ - freee Developers Hub
eksctlとソフトウェアライフサイクル - Juju-62q's blog
Kubernetes採用はもう当たり前、American Expressは次の段階に進みつつある
なぜ､Kubernetesを使う際にSecretを暗号化するのか？ | DevelopersIO
EKSのマルチテナント化を踏まえたZOZOGLASSのシステム設計 - ZOZO TECH BLOG
突撃！隣のDevOps 【リブセンス編】 | DevelopersIO
LINEのサーバ管理ツールにおけるWeb UIの作成やバックエンドのサーバーサイドの開発が責任範囲 システムデベロップメントチームの業務
ヤフーのAIプラットフォーム紹介 〜 AI開発をより手軽に
Argo CD導入設計とリリースフロー改善の取り組み - ZOZO TECH BLOG
クラウドネイティブな新しいネットワークコントローラをつくる