「システム運用の基本と戦略」についてただまとめる
23卒でバックエンドエンジニアをしているたかしゅんです。（@1341Shun） 先日、株式会社サイバーエージェントAI事業本部の2024年度 エンジニア新卒研修でシステム運用に関する講義を行いました。 そこで話した内容とスライドを完全公開したので、内容について解説します。 90分の内容のため、かなり長いですが、個人的にぜひ一読して欲しい内容になっています。 実際の資料はこちらになります↓ 自己紹介 こんにちは、たかしゅんと言います。2023年度入社で今年で２年目になります。株式会社サイバーエージェントのAIオペレーション室で新規立ち上げをやっております。 入社して最初に広告プロダクトに配属し、PipeCDの導入などのDevOps業務を中心に行なっておりました。 記事もあるのでもしよろしければ、ご覧ください。 2月中旬からAIオペレーション室に移動し、新規立ち上げのインフラ環境の構築からCI
この節目に、人生初の就職から約1年の経験を振り返り、感謝の気持ちを込めて綴りたいと思います。 自己紹介 たかしゅん/moko-poiと申します。私は主にAWSを中心としたインフラ構築やDevOpsの促進に取り組んでいます。 サイバーエージェントには新卒で入社し、バックエンドエンジニアとして配属されました。その中で、特にDevOpsやAWSなどのインフラ関連の業務に注力し、さまざまなプロジェクトに携わってきました。 サイバーエージェントでやったこと 2023年4月に新卒としてサイバーエージェントにバックエンドエンジニアとして入社しました。その前に、内定者アルバイトとして約3ヶ月間勤務していたため、合計で約1年半在籍していました。全てを詳しく話すと長くなってしまいますので、ここでは主な取り組みを簡潔にご紹介します。 広告 内定者バイトの時から、少人数チームでバックエンドの機能開発だけでなくイン
How To Organize Continuous Delivery of ML/AI Systems: a 10-Stage Maturity Model | Outerbounds
BlogHow To Organize Continuous Delivery of ML/AI Systems: a 10-Stage Maturity Model This article outlines ten stages of operational maturity for deploying ML/AI systems to production. Which stage are you at? Every production-oriented ML/AI team grapples with the same challenge: how to work with data, code, and models effectively so that projects are readily deployable to production. The challenge
オンプレはなぜ安く見える？ ガートナーが「クラウドのほうが安い」と断言できるワケ（ビジネス＋IT） - Yahoo!ニュース
企業がクラウドへ「過剰支出」してしまうワケ 続いて、4つ目は「パブリック・クラウドへの支出が過剰である」点だ。 スタニシュ氏は「パブリック・クラウドでよく見られる間違いは、多くの経費を使いすぎているということです。その主な理由は、クラウドの容量を最適化していないからです。データセンターと同じ感覚で運用していると、どうしても容量不足を心配しがちです。そのため、過剰なプロビジョニングがされがちですが、実際にはその必要はありません」と説明する。 また、クラウドへの過剰支出の理由として「キャパシティーの最適化の欠如」「コミットメントの管理の欠如」「コストに関する近代化」の3点を挙げている。 過剰支出を改善するためには、「規模を適正化してスケジューリングを行い、アナリティクス／自動化によって単価を統合する」「制度上の割引を利用し、プライベート・プライシング合意（PPA）を獲得する」「オートスケーリン
Argo CD のチュートリアルをやってみた
はじめに Kubernetes（以下 k8s）のための宣言型 GitOps 継続的デリバリツールである Argo CD に入門するため下記の公式チュートリアルに取り組んでみた。 Getting Started - Argo CD - Declarative GitOps CD for Kubernetes 前提として、今回使用した環境は以下になる。 macOS Monterey 12.2.1 Docker Desktop for Mac kubectl v1.22.1 1. Install Argo CD Argo CD 用の Namespace を作成して進めていく。 $ k create ns argocd namespace/argocd created $ kubectl apply -n argocd -f https://raw.githubusercontent.com/ar
Azure Kubernetes Services (AKS) on Azure Stack HCI の AKS ネットワーク アーキテクチャ - Azure Example Scenarios
このブラウザーはサポートされなくなりました。 Microsoft Edge にアップグレードすると、最新の機能、セキュリティ更新プログラム、およびテクニカル サポートを利用できます。 このシナリオでは、AKS クラスターに Azure Kubernetes Service (AKS) ノードをデプロイするためのネットワーク概念を設計し実装する方法を説明します。 この記事には、Kubernetes ノードと Kubernetes コンテナーのネットワーク設計に関する推奨事項が記載されています。 これは、2 つの記事から成るアーキテクチャ ベースライン ガイダンス セットの一部です。 ベースライン アーキテクチャに関する推奨事項については、こちらを参照してください。 アーキテクチャ 次の図は、Azure Stack HCI または Windows Server 2019/2022 Datace
golangのnet/urlでhttpのURLをパースする際の細かい話 - /var/log/study
この記事は富士通クラウドテクノロジーズアドベントカレンダー2022 の20日目の記事です。 前日はaokuma さんの GitLab agent for Kubernetes を使った GitOps (Helm版) を試してみた でした。 CI/CDはそれ自体の難しさもありますが、ソースコードやその成果物に対してセキュアにアクセスするのが面倒な印象があります。 GitLab上でk8sにデプロイすることも一括で面倒を見てくれるとなると、より便利に安定して使える様になることを期待してしまいますね。 (余談ですが、ニフクラでは, DevOps with Gitlab と言うマネージドのGitLabサービスを提供しているので、興味があれば見て見てください。) さて、本日は、URLとは？と言う話に触れつつ、golangのnet/urlの Parse 関数について記載しようと思います。 目次 目次 前
AKS on Azure Stack HCI 用の Azure Kubernetes Service (AKS) ベースライン アーキテクチャ - Azure Example Scenarios
このシナリオでは、Azure Stack HCI で実行される Microsoft Azure Kubernetes Service (AKS) のベースライン アーキテクチャを設計して実装する方法について説明します。 この記事には、組織のビジネス要件に基づいたクラスターのネットワーク、セキュリティ、ID、管理、監視に関する推奨事項が記載されています。 これは、2 つの記事で構成されるアーキテクチャ ベースライン ガイダンス セットの一部です。 ネットワーク設計に関する推奨事項については、こちらを参照してください。 Architecture 次の図は、Azure Stack HCI または Windows Server 2019/2022 Datacenter フェールオーバー クラスターの Azure Kubernetes Service のベースライン アーキテクチャを示しています。
シークレット管理をうまく設計するには、セキュリティと利便性の繊細なバランスが肝心です。シークレットは、所定のユーザーがビルドやデプロイの際に簡単に利用できる状態であると同時に、ローテーションしやすい形で適切に保護されている必要もあります。この記事では、この難しい課題の解決方法として、CircleCI に HashiCorp Vault を連携して、短期間だけ有効な OpenID Connect (OIDC) 認証トークンを使用してシークレットを取得する方法を説明します。 シークレット管理のアンチパターン これまで、多くのチームがセキュリティよりも利便性を優先してきました。たいていは、”一度設定したら忘れる” スタイルで、シークレットを CI/CD プラットフォームの設定ファイルに埋め込むケースや、バージョン管理システム (VCS )にチェックインするケースさえあります。この方法はほとんど労
Argo CDに脆弱性が発見されていましたので報告します。 対象バージョン 以下のバージョン未満のバージョンです。 2.11.1 2.10.10 2.9.15 2.8.19 逆に言うとこのバージョン以上ですと本脆弱性に対するパッチが適用済です。アップデートを検討ください。 Helmチャート Helmチャートですと6.10.0にてパッチが適用されています。6.10.0未満のチャートをお使いの方はアップデートを検討ください。 どの部分に脆弱性があったのか 発見箇所はArgo CDで使われているRedisです。 Argo CDにおけるRedisの用途ですが、以下記載の通り単なるキャッシュです。 Redis is used by Argo CD to provide a cache layer reducing requests sent to the Kube API as well as to
【Microsoft Build】コンテナ製品全期間Updateまとめ ～更新情報サイトより～ - APC 技術ブログ
はじめに 更新情報紹介 Experimentation capabilities for Azure App Configuration now in public preview Generally Available: Automated deployments for AKS Public preview: Deployment safeguards mutations in enforcement mode for AKS Public preview: Kubernetes version 1.30 support in AKS Generally Available: KEDA in the Azure Portal Generally Available: Azure Kubernetes Fleet Manager workload orchestration Genera
しかし、この構成には問題があります。ショップサービスはKubernetesのデプロイ戦略としてArgoCDを活用したGitOpsを採用しています。この戦略では、ArgoCDがGitHubリポジトリの変更を監視し、GitHubリポジトリ内のk8sマニフェストに変更が加えられた場合、その変更を自動的にKubernetesに適用します。そのため、上記の構成でベースのk8sマニフェストに変更を加えると、ベースのk8sマニフェストを利用している全てのアプリケーションが新しい設定に基づき、即時にデプロイされることになります。障害影響を小さくするためにも、リリースを小さく行いたいため、このような構成は避けたいです。 解決案2: Helmによるバージョン管理 HelmはKubernetesのためのパッケージマネージャーです。Helmを使用すると、複数の関連するKubernetesリソースの定義や設定をまと
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
新卒で入社したサイバーエージェントを退職しました - moko-poi’s diary
OIDC(OpenID Connect) を使用して CircleCI と HashiCorp Vault を連携する
Argo CDで使われているRedisに脆弱性が発見されていました | DevelopersIO
【インターンレポート】HelmによるKubernetesのマニフェストのバージョン管理