AWSコンテナ系アーキテクチャの選択肢を最適化する | 外道父の匠
これまでもコンテナ関連の記事はそれなりに書いてきましたが、改めて最新事情に合わせて練り直したり見渡してみると、大きなところから小さなところまで選択肢が多すぎると感じました。 コンテナ系アーキテクチャを丸っと他所の構成で真似することって、おそらくほとんどなくて、参考にしつつ自分流に築き上げていくでしょうから、今回は築くにあたってどういう選択肢があるのかにフォーカスした変化系で攻めてみようと思った次第です:-) 目次 今年一発目の長いやつです。半分は学習教材用、半分は道楽なテイストです。 はじめに 基盤 インスタンス or コンテナ ECS or EKS on EC2 or FARGATE X86 or ARM64 ロードバランサー メンテナンス：ALB or ECS Service 共有 or １環境毎 アクセスログ：ALB or WEBサーバー ECS / EKS デプロイ：Blue/Gr
EKS1.24にバージョンアップした時に発生した各種問題について - asoview! Tech Blog
アソビューでSREを担当している鈴木です。アソビューでは、先日、当社のサービスに利用しているEKSを最新版の1.24までバージョンアップしました。今回は、ここでいくつか問題が発生したので、発生した問題とどう対応したかという話を書きたいと思います。 はじめに バージョンアップの流れ Datadog Agentの最新化 問題の対応方法１（JMX を使用したオートディスカバリー） 問題の対応方法１（Unix ドメインソケット上の DogStatsD） 評価環境の更新 cluster-autoscalerが起動しなくなる問題の発生 fluentdでログが送信されなくなる問題の発生 本番環境の更新 まとめ はじめに EKS1.24では、Dockershimの依存の排除という内部的には大きな変更が入りました。アプリケーションのレイヤにおいては、ほぼ影響はなかったのですが、インフラの立場においては、想像
Leverage AWS secrets stores from EKS Fargate with External Secrets Operator | Amazon Web Services
Containers Leverage AWS secrets stores from EKS Fargate with External Secrets Operator Secrets management is a challenging but critical aspect of running secure and dynamic containerized applications at scale. To support this need to securely distribute secrets to running applications, Kubernetes provides native functionality to manage secrets in the form of Kubernetes Secrets. However, many custo
詳解: IAM Roles for Service Accounts | Amazon Web Services
Amazon Web Services ブログ 詳解: IAM Roles for Service Accounts この記事は Diving into IAM Roles for Service Accounts (記事公開日: 2022 年 2 月 28 日) を翻訳したものです。 AWS 上で Kubernetes ソリューションを設計するときにアーキテクトが直面するよくある課題は、コンテナ化したワークロードに対して、AWS サービスやリソースへのアクセス許可をどのように付与するのかという課題です。AWS Identity and Access Management (IAM) は、最小権限の原則を保証するために、誰がどの AWS サービスやリソースにアクセスできるかを指定できるきめ細かいアクセス制御を提供します。しかしながら、ワークロードが Kubernetes で実行されている場
EKSのマルチテナント化を踏まえたZOZOGLASSのシステム設計 - ZOZO TECH BLOG
こんにちは。計測プラットフォーム本部バックエンド部SREチームの市橋です。 私たちのチームではZOZOSUIT、ZOZOMAT、ZOZOGLASSといった計測技術に関わるシステムの開発、運用を担当しています。現在のZOZOMATとZOZOGLASSは、どちらも独立したEKSクラスタ上で動いていますが、ZOZOGLASSの環境を構築する際に将来のマルチテナント化を踏まえ大きく設計を見直しました。今回は、この設計見直し時に考慮した点を紹介します。 ZOZOGLASSとは ZOZOGLASSは顔の情報を計測し、イエローベースとブルーベースの2タイプ、及び春夏秋冬の4タイプの組み合わせからなるパーソナルカラーを診断するサービスです。計測した顔の情報から肌の色に近いファンデーションを推薦します。2021年7月時点で、ZOZOGLASSが推薦するコスメアイテムはファンデーションのみですが、今後はファン
ダウンタイムなしでEC2からEKSへ移行しました！ - Tech Inside Drecom
おしらせ 2021/06/27 の Drecom SRE Sunday にて、 この記事にかかれている EKS 移行に関する情報共有を行います、ぜひご参加ください！ Drecom SRE Sunday (connpass) はじめに こんにちは！ enza SREチームのmendと申します！ 先日の安藤さんの記事「古き良きRailsアプリケーションをコンテナ化してKubernetes上で動かす」にもある通り、運用しているプロダクトをAmazon EC2からAmazon EKSに移行しました。 プロダクトをダウンタイムなしにEC2からEKSに移行しましたので、今回はダウンタイムなしを実現したインフラ側の構成について紹介させて頂きたいと思います。 背景 まず背景としましては、私の関わっているプロダクトはこれまでEC2で動作しておりました。 EC2上でdockerコンテナを起動しているのではなく
ECSからEKSへの移行への移行事例の紹介
発表資料の中に出てくるURLです。 * [Amazon EKSでのArgoCDを使ったGitOps CD](https://tech.recruit-mp.co.jp/infrastructure/gitops-cd-by-using-argo-cd-at-eks/) * [EnvoyとAmazon ECS Service Discoveryを利用したgRPCの負荷分散](https://tech.recruit-mp.co.jp/infrastructure/post-17098/) * [Amazon EKSでAWS App Meshを利用してgRPCサーバーを運用する](https://tech.recruit-mp.co.jp/infrastructure/post-20765/) * [https://tech.recruit-mp.co.jp/infrastructure/po
ZOZOMATにおけるEKSやgRPCを用いたシステム構成と課題解決 - ZOZO TECH BLOG
ZOZOテクノロジーズSRE部の市橋です。普段は主にAWSを用いて複数プロダクトのシステム構築、運用に携わっています。今回は2020年2月にリリースされたZOZOMATについて、システム構成と開発時に直面した課題、その課題を解決するために工夫した点について紹介します。 ZOZOMATではEKSやgRPCを新規に採用しており、これによって仕様の変更に強くなる、通信のオーバーヘッドを削減できるなど様々なメリットを享受できました。しかし導入時に一筋縄ではいかないことがあったため、今回苦戦した点についてご紹介できればと思います。 ZOZOMATとは お客様の足を3Dで計測するために開発された計測用マットです。ZOZOMATでの計測情報をもとに、靴の推奨サイズを参照するなどのサービスをご利用いただくことが可能です。ご興味のある方はこちらをご確認ください。 ZOZOMATのシステム構成 システムの全体
Deepen Understanding of CNI by reading amazon-vpc-cni-k8s
仕事で amazon EKS を運用していると、時たま network 周りのエラーに遭遇します。都度都度 on-demand に調査をしているのですが、一度全体感を抑えておいた方がいいなと感じたので amazon-vpc-cni-k8s のコードリーディングを通して k8s の network 周りの理解を深めることにしました。 CNICNI とは端的にまとめると、Container Runtime が用意する network namespace に対して network interface を ADD/DEL する操作を実装する interface です。 Container Runtime の仕様となる CRI が CNI に依存して実装されるので、具体的な Network 設計を抽象化して CRI（及びその client となる kubelet）から network resourc
セキュリティ目的の Amazon EKS 推奨事項ガイドの紹介
Amazon Elastic Kubernetes Service (EKS) では、セキュリティ目的の Amazon EKS 推奨事項ガイドを使用して、AWS で Kubernetes セキュリティの推奨事項を簡単に実装できるようになりました。 セキュリティは、Kubernetes クラスターとアプリケーションを構成および維持するための重要なコンポーネントです。デフォルトの Amazon EKS では、安全なマネージド Kubernetes クラスターを提供しますが、確実に安全な実装を行うために、クラスターの一部として実行するノードとアプリケーションを構成する必要があります。 セキュリティ目的の Amazon EKS 推奨事項ガイドは、クラスターのすべてのコンポーネントを高度なセキュリティ用に設定するのに役立ちます。このガイドでは、ポッドセキュリティ、ネットワークセキュリティ、インシデン
EKS マネージドノードグループの IP 割り当てに対する今後の変更 | Amazon Web Services
Amazon Web Services ブログ EKS マネージドノードグループの IP 割り当てに対する今後の変更 Amazon EKS を使用する場合、すべてのノードは、EKS がホストする Kubernetes クラスターと、Amazon Elastic Container Registry (ECR) や Amazon S3 などの他の AWS API に接続できる必要があります。ノードはプライベートサブネットまたはパブリックサブネットで実行できます。プライベートサブネットの場合、このトラフィックは通常、AWS PrivateLink 接続を経由して、VPC または NAT ゲートウェイ内のエンドポイントに到達し、VPC の外部のエンドポイントに到達します。パブリックサブネットの場合、VPC の外部の API エンドポイントに到達するには、ノードにパブリック IP が割り当てられて
EKS を運用してみて感じた課題感 | Basicinc Enjoy Hacking!
旧 ferret では DB に MongoDB を採用しており、EC2で自前で運用しておりました。 そのため、プライマリーで稼働している EC2 のリタイア通知に恐怖したり、Linux カーネルのアップデート当てるための再起動や MongoDB のアップデートどうやっていくか・・・など様々な保守運用まつわる課題に悩まされていました。 今回のリニューアルで Aurora に移行でき、保守周りを AWS に投げられる幸せや保守コストの削減を実感できております。 現在だったら Document DB がありますが、リニューアルを検討した時にはまだ発表されていなかったのと、mongoid が開発する上で ActiveRecord とは違う挙動をするので辛い部分が多く、 RDBMS を使いたかったという理由もあり結局採用されなかったんじゃないかなと思います。 前置きが長くなりましたが、 今日は E
ワークフロー基盤としてのEKSクラスター運用のポイントとEKS on Fargate検証 - Gunosy Tech Blog
本記事は、Gunosy Advent Calendar 2019 17日目の記事です。 昨日の記事は、中村さんによる Pythonしか知らない新卒がGunosyに入るとこうなる - Gunosy Tech Blog でした。 はじめに ワークフロー基盤について システム概要 その日はいきなり訪れた 原因究明 対策 反省点 まとめ EKS on Fargateについて 検証のポイント 検証内容 まとめ 最後に はじめに はじめましてこんにちは、Gunosy Tech Lab1 Data Reliability & MLOps Group2の大関（@mageyuki）と申します。 弊チームでは、 Gunosyにおける統合データ基盤 集約したデータを活用した機械学習基盤 Gunosyの社是である「数字は神よりも正しい」を根底から支える、重要な2つの基盤の開発運用を行っています。 私は主にAWS上
EKS for Fargateが出たので社内でファーストインプレッションの情報シェア会をやりました - inductor's blog
はじめに こんにちは。inductorです。 EKS for FargateがいよいよRe:Inventで発表されました。期待に胸を膨らませていた方も多いのではないでしょうか？ 今回は、EKS for Fargate楽しみだったけどまだ使っていない人や、Fargateよくわからんって人のために社内情報共有会を開いたのでその資料を展開します。 speakerdeck.com フィードバックお待ちしております＾ｗ＾
EKS on Fargate：virtual-kubelet の違い + Network/LB 周りの調査 - @amsy810's Blog
EKS on Fargate こんにちは。 サイバーエージェントの青山（@amsy810）です。 この記事は Kubernetes3 Advent Calendar の 4日目の記事です（EKS #2 にもクロスポストしています）。 re:Invent で EKS 関連の何かしらの発表がされることを見越して Advent Calendar を埋めたので、書くネタが見つかってホッとしています。 KubeCon 会期中に 「Managed Worker Node for EKS」 がリリースされ歓喜の声が上がりましたが、今回は re:Invent で 「EKS on Fargate」 がリリースされ歓喜の声が上がっているようです。 今回は EKS on Fargate のアーキテクチャを見ていきたいと思います。virtual-kubelet と近いと思ってますが果たして。 （EKS on Fa
Extending the EKS API: Managed Node Groups | Amazon Web Services
Containers Extending the EKS API: Managed Node Groups By Raghav Tripathi, Michael Hausenblas, and Nathan Taber From our first conversations with customers, our vision has always been that Amazon Elastic Kubernetes Service (EKS) should provide the best managed Kubernetes experience in the cloud. When we launched EKS, our first step was to provide a managed Kubernetes control plane, but we never int
Key metrics for Amazon EKS monitoring
Amazon Elastic Kubernetes Service, or Amazon EKS, is a hosted Kubernetes platform that is managed by AWS. Put another way, EKS is Kubernetes-as-a-service, with AWS hosting and managing the infrastructure needed to make your cluster highly available across multiple availability zones. EKS is distinct from Amazon Elastic Container Service (ECS), which is Amazon’s proprietary container orchestration
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Addressing IPv4 address exhaustion in Amazon EKS clusters using private NAT gateways | Amazon Web Services
AWS EKS - How to Scale Your Cluster
Guide: Upgrading EKS with Terraform