EKSでKubernetes DaemonSetを用いたロギング：Fluent-bitの運用とトラブル事例 - MonotaRO Tech Blog
モノタロウのプラットフォームエンジニアリング部門 コンテナ基盤グループの宋 明起です。 私たちは、アプリケーション開発者からコンテナシステムの認知負荷を取り除き、アプリ開発に専念できるコンテナ基盤の構築と基盤を改善し、開発者はより楽に、より安全にアプリケーションのデプロイと運用できるように支援しています。 背景 基本設計 方針 構成 サンプル モニタリング サンプル 障害 障害1. Memory overflowエラーが発生 障害2. 大量のログが欠損になっている (refresh_interval) 障害3. まだ一部ログが欠損になっている (Prestop) [FAQ] 背景 モノタロウでは以下の記事にあるようにバックエンドのAPIをコンテナ化から始め様々なレイヤーの様々なアプリケーションをEKSの上で運用しています。 EKSコンテナ移行のトラブル事例：ALBの設定とPodのライフサイ
AWSコンテナ系アーキテクチャの選択肢を最適化する | 外道父の匠
これまでもコンテナ関連の記事はそれなりに書いてきましたが、改めて最新事情に合わせて練り直したり見渡してみると、大きなところから小さなところまで選択肢が多すぎると感じました。 コンテナ系アーキテクチャを丸っと他所の構成で真似することって、おそらくほとんどなくて、参考にしつつ自分流に築き上げていくでしょうから、今回は築くにあたってどういう選択肢があるのかにフォーカスした変化系で攻めてみようと思った次第です:-) 目次 今年一発目の長いやつです。半分は学習教材用、半分は道楽なテイストです。 はじめに 基盤 インスタンス or コンテナ ECS or EKS on EC2 or FARGATE X86 or ARM64 ロードバランサー メンテナンス：ALB or ECS Service 共有 or １環境毎 アクセスログ：ALB or WEBサーバー ECS / EKS デプロイ：Blue/Gr
Amazon EKS Pod Identity simplifies IAM permissions for applications on Amazon EKS clusters | Amazon Web Services
AWS News Blog Amazon EKS Pod Identity simplifies IAM permissions for applications on Amazon EKS clusters Starting today, you can use Amazon EKS Pod Identity to simplify your applications that access AWS services. This enhancement provides you with a seamless and easy to configure experience that lets you define required IAM permissions for your applications in Amazon Elastic Kubernetes Service (Am
EKS1.24にバージョンアップした時に発生した各種問題について - asoview! Tech Blog
アソビューでSREを担当している鈴木です。アソビューでは、先日、当社のサービスに利用しているEKSを最新版の1.24までバージョンアップしました。今回は、ここでいくつか問題が発生したので、発生した問題とどう対応したかという話を書きたいと思います。 はじめに バージョンアップの流れ Datadog Agentの最新化 問題の対応方法１（JMX を使用したオートディスカバリー） 問題の対応方法１（Unix ドメインソケット上の DogStatsD） 評価環境の更新 cluster-autoscalerが起動しなくなる問題の発生 fluentdでログが送信されなくなる問題の発生 本番環境の更新 まとめ はじめに EKS1.24では、Dockershimの依存の排除という内部的には大きな変更が入りました。アプリケーションのレイヤにおいては、ほぼ影響はなかったのですが、インフラの立場においては、想像
Leverage AWS secrets stores from EKS Fargate with External Secrets Operator | Amazon Web Services
Containers Leverage AWS secrets stores from EKS Fargate with External Secrets Operator Secrets management is a challenging but critical aspect of running secure and dynamic containerized applications at scale. To support this need to securely distribute secrets to running applications, Kubernetes provides native functionality to manage secrets in the form of Kubernetes Secrets. However, many custo
詳解: IAM Roles for Service Accounts | Amazon Web Services
Amazon Web Services ブログ 詳解: IAM Roles for Service Accounts この記事は Diving into IAM Roles for Service Accounts (記事公開日: 2022 年 2 月 28 日) を翻訳したものです。 AWS 上で Kubernetes ソリューションを設計するときにアーキテクトが直面するよくある課題は、コンテナ化したワークロードに対して、AWS サービスやリソースへのアクセス許可をどのように付与するのかという課題です。AWS Identity and Access Management (IAM) は、最小権限の原則を保証するために、誰がどの AWS サービスやリソースにアクセスできるかを指定できるきめ細かいアクセス制御を提供します。しかしながら、ワークロードが Kubernetes で実行されている場
EKS環境下でコストが増大する事例とfreeeのアプローチ - freee Developers Hub
はじめまして。freee の SRE チームに所属している nkgw （Twitter） です。 普段はエンジニアリングマネージャーをしつつ、開発チームの新規プロダクトリリースサポートをやっています。 我々のチームは大部分のプロダクトのコンピューティングリソース (CPU / Memory など) を Amazon Elastic Kubernetes Service (EKS) で実行できるようにインフラ基盤移行 (EC2 → EKS) を進めてきました。 移行プロジェクトの大部分は 2021 年 7 月に無事終わったのですが、移行スケジュールを最優先としたため割り当てている各リソースはかなり保守的 & 過剰でした。 (移行後の性能劣化が怖かったため、EC2 時代と比較し、1.5 倍のバッファを積むなど... etc) コスト増大したグラフ その結果、 去年と比較して、コストが倍以上に跳
ZOZOMATのマルチテナントEKSクラスタへの移行 - ZOZO TECH BLOG
はじめに こんにちは。計測プラットフォーム開発本部SREブロックの西郷です。普段はZOZOSUITやZOZOMAT、ZOZOGLASSなどの計測技術に関わるシステムの開発、運用に携わっています。先日私達のチームでは、シングルクラスタ・マルチテナントを前提として構築したEKSクラスタにZOZOMATシステムを移行しました。本記事では移行ステップや作業時に工夫した点について紹介したいと思います。 目次 はじめに 目次 移行の概要とそのアプローチ 前提 要件 移行方針 各移行ステップとその詳細 STEP1:移行先CFnスタックへのAWSリソース作成、インポート STEP2:移行先へのデータマイグレーション S3 注意点 RDS 注意点 STEP3:移行先のクラスタにkubernetesリソースを追加 STEP4:EKSクラスタの切り替え external-dnsのdomain-filterをマル
EKSのマルチテナント化を踏まえたZOZOGLASSのシステム設計 - ZOZO TECH BLOG
こんにちは。計測プラットフォーム本部バックエンド部SREチームの市橋です。 私たちのチームではZOZOSUIT、ZOZOMAT、ZOZOGLASSといった計測技術に関わるシステムの開発、運用を担当しています。現在のZOZOMATとZOZOGLASSは、どちらも独立したEKSクラスタ上で動いていますが、ZOZOGLASSの環境を構築する際に将来のマルチテナント化を踏まえ大きく設計を見直しました。今回は、この設計見直し時に考慮した点を紹介します。 ZOZOGLASSとは ZOZOGLASSは顔の情報を計測し、イエローベースとブルーベースの2タイプ、及び春夏秋冬の4タイプの組み合わせからなるパーソナルカラーを診断するサービスです。計測した顔の情報から肌の色に近いファンデーションを推薦します。2021年7月時点で、ZOZOGLASSが推薦するコスメアイテムはファンデーションのみですが、今後はファン
ダウンタイムなしでEC2からEKSへ移行しました！ - Tech Inside Drecom
おしらせ 2021/06/27 の Drecom SRE Sunday にて、 この記事にかかれている EKS 移行に関する情報共有を行います、ぜひご参加ください！ Drecom SRE Sunday (connpass) はじめに こんにちは！ enza SREチームのmendと申します！ 先日の安藤さんの記事「古き良きRailsアプリケーションをコンテナ化してKubernetes上で動かす」にもある通り、運用しているプロダクトをAmazon EC2からAmazon EKSに移行しました。 プロダクトをダウンタイムなしにEC2からEKSに移行しましたので、今回はダウンタイムなしを実現したインフラ側の構成について紹介させて頂きたいと思います。 背景 まず背景としましては、私の関わっているプロダクトはこれまでEC2で動作しておりました。 EC2上でdockerコンテナを起動しているのではなく
ZOZOMATにおけるEKSやgRPCを用いたシステム構成と課題解決 - ZOZO TECH BLOG
ZOZOテクノロジーズSRE部の市橋です。普段は主にAWSを用いて複数プロダクトのシステム構築、運用に携わっています。今回は2020年2月にリリースされたZOZOMATについて、システム構成と開発時に直面した課題、その課題を解決するために工夫した点について紹介します。 ZOZOMATではEKSやgRPCを新規に採用しており、これによって仕様の変更に強くなる、通信のオーバーヘッドを削減できるなど様々なメリットを享受できました。しかし導入時に一筋縄ではいかないことがあったため、今回苦戦した点についてご紹介できればと思います。 ZOZOMATとは お客様の足を3Dで計測するために開発された計測用マットです。ZOZOMATでの計測情報をもとに、靴の推奨サイズを参照するなどのサービスをご利用いただくことが可能です。ご興味のある方はこちらをご確認ください。 ZOZOMATのシステム構成 システムの全体
EKSのIAM Role for Service Accountsを使用するときにはSTSのリージョナルエンドポイントを使うように設定しようという話 - もうずっといなかぐらし
先日、DynamoDBにアクセスするAPIをLambdaからEKS上への再実装・載せ替えを行いました。その際、IAM Role for Service Account(IRSA)を使用した一時クレデンシャル取得時のレイテンシが大きく高まる事象に遭遇しました。 原因と解決策を調査から解決に至るまでの過程とともにご紹介します。 TL;DR IRSAを使用する際は一時クレデンシャル取得時にSTSにリージョナルエンドポイントを使用させるためAWS_STS_REGIONAL_ENDPOINTS=regionalという環境変数を設定することを検討すること。 経緯 現在転職会議ではECS or Lambdaで実装された既存のサービスを順次EKS上に載せ替えていっています。 先日、私がLambdaで実装されていたAPIをGoで再実装しEKS上に載せ替えました。このAPIはDynamoDBの中身をレスポンス
Deepen Understanding of CNI by reading amazon-vpc-cni-k8s
仕事で amazon EKS を運用していると、時たま network 周りのエラーに遭遇します。都度都度 on-demand に調査をしているのですが、一度全体感を抑えておいた方がいいなと感じたので amazon-vpc-cni-k8s のコードリーディングを通して k8s の network 周りの理解を深めることにしました。 CNICNI とは端的にまとめると、Container Runtime が用意する network namespace に対して network interface を ADD/DEL する操作を実装する interface です。 Container Runtime の仕様となる CRI が CNI に依存して実装されるので、具体的な Network 設計を抽象化して CRI（及びその client となる kubelet）から network resourc
セキュリティ目的の Amazon EKS 推奨事項ガイドの紹介
Amazon Elastic Kubernetes Service (EKS) では、セキュリティ目的の Amazon EKS 推奨事項ガイドを使用して、AWS で Kubernetes セキュリティの推奨事項を簡単に実装できるようになりました。 セキュリティは、Kubernetes クラスターとアプリケーションを構成および維持するための重要なコンポーネントです。デフォルトの Amazon EKS では、安全なマネージド Kubernetes クラスターを提供しますが、確実に安全な実装を行うために、クラスターの一部として実行するノードとアプリケーションを構成する必要があります。 セキュリティ目的の Amazon EKS 推奨事項ガイドは、クラスターのすべてのコンポーネントを高度なセキュリティ用に設定するのに役立ちます。このガイドでは、ポッドセキュリティ、ネットワークセキュリティ、インシデン
EKS マネージドノードグループの IP 割り当てに対する今後の変更 | Amazon Web Services
Amazon Web Services ブログ EKS マネージドノードグループの IP 割り当てに対する今後の変更 Amazon EKS を使用する場合、すべてのノードは、EKS がホストする Kubernetes クラスターと、Amazon Elastic Container Registry (ECR) や Amazon S3 などの他の AWS API に接続できる必要があります。ノードはプライベートサブネットまたはパブリックサブネットで実行できます。プライベートサブネットの場合、このトラフィックは通常、AWS PrivateLink 接続を経由して、VPC または NAT ゲートウェイ内のエンドポイントに到達し、VPC の外部のエンドポイントに到達します。パブリックサブネットの場合、VPC の外部の API エンドポイントに到達するには、ノードにパブリック IP が割り当てられて
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Addressing IPv4 address exhaustion in Amazon EKS clusters using private NAT gateways | Amazon Web Services
やっぱりEKSの運用は大変なのか 〜EKSを2年間運用して得た知見とコンテナセキュリティ〜 - DMM inside
ECSからEKSへの移行への移行事例の紹介
RBAC DeepDive - SAML Authentication | IAM Role for Service Accounts
AWS EKS - How to Scale Your Cluster