AWSのマネージドサービスを活かした Kubernetes 運用とAmazon EKS によるクラスタのシングルテナント戦略について
1 AWS Summit Tokyo 2019 2 Kosuke Adachi @foostan 3 4 5 6 7 8 9 10 01 Section 11 freee 12 PRODUCTS 13 Dev A Dev B Dev C A B Dev D Dev E C D Dev F E Dev G Dev H G H F SRE 14 Dev A Dev B Dev C A B Dev D Dev E C D Dev F E Dev G Dev H G H F SRE 15 41% ※ entrepedia ※ TOP100 1 1 16 17 02 Section 18 Product A SRE 19 Product A SRE SG ALB 20 Product A SRE SG ALB SG Kubernetes AutoScalingGroup 21 Product A S
EKS クラスタの CronJob を Fargate 上で実行する方法 | Recruit Tech Blog
こんにちは、スタディサプリ ENGLISH SRE グループの巻田です。 現在リクルートの夏アルバイトとしてこのチームに所属しています。 この記事では EC2 上に構築された EKS クラスタの CronJob のみを Fargate 上で実行できるようにするための方法を紹介します。 はじめに スタディサプリ ENGLISH ではインフラに EKS を採用しています。Kubernetes には CronJob1)https://kubernetes.io/docs/concepts/workloads/controllers/cron-jobs/ と呼ばれる機能があり、ジョブを定期的に実行することができます。スタディサプリ ENGLISH ではこの機能を使って様々なバッチ処理を実行しています。 Fargate を導入したい背景 スタディサプリ ENGLISH で使用している EKS は元々
21卒広告技術部のyamaYuです。 マトリックスの新作が楽しみです。 過去作を見返さなくてはと思いつつこの記事を書いています。 個人的には第一作が一番好きです。 さて、こちらの記事はGunosy Advent Calendar 2021の15日目の記事になっています。 昨日は村田さんの『AdKDD & KDD 2021 に参加しました』という記事でした。 今回は、EKS Managed Node Groupでカーネルパラメータを変更する必要があったのですが、一筋縄ではいかなかったのでその話を書こうと思います。 背景: net.core.somaxconnを増やしたい Kubernetesでsysctlを実行する EKS Managed node groupでkubeletの設定を変更する おわりに 🐾 背景: net.core.somaxconnを増やしたい ここ最近の担当業務として、
Argo RolloutsによるKubernetesでのCanary Deploy - Gunosy Tech Blog
この記事は Gunosy Advent Calendar 2020 10日目の記事です。 昨日はjohnmanjiroさんの TerraformでLaunch Templateを使ったManaged Node Groupを導入する でした。 こんにちは、広告技術部のhidappleです。普段は広告配信サーバや管理画面の開発をしています。 この記事では、以前EKSでのアプリケーションのデプロイにArgo Rolloutsを導入したので、それについて紹介したいと思います。 Argo Rolloutsとは Argo RolloutsはArgo Projectsの1プロダクトであり、KubernetesにBlue-GreenやCanary等のより高度なデプロイ機能を提供してくれるものです。類似のツールとしてはflagger等が候補に上がると思いますが、今回はサービスメッシュなどのツールを必要とせず
なぜABEMAは「サッカーW杯」を安定配信できた？ 担当者が明かすリアーキテクチャ、サービスメッシュ導入とは
なぜABEMAは「サッカーW杯」を安定配信できた？ 担当者が明かすリアーキテクチャ、サービスメッシュ導入とは：キャパシティーとスケール戦略の全貌 ABEMAの配信プラットフォームはAmazon Web ServicesとGoogle Cloudの特徴をそれぞれ生かしたクラウドネイティブなアーキテクチャで構成されている。2022年に開催された「FIFA ワールドカップ カタール 2022」の配信に当たって、安定配信を実現するためリアーキテクチャに取り組んだという。どのような取り組みだったのか。 「新しい未来のテレビ」として2016年に開局し、2022年には「FIFA ワールドカップ カタール 2022」（以下、ワールドカップ）を全64試合無料生中継を実施して知名度や人気が急上昇した「ABEMA（アベマ）」。配信時はデーリーアクティブユーザーが1700万人、ウイークリーアクティブユーザーが34
TerraformのEKS published moduleを使ってEKSクラスターを作成する | DevelopersIO
今回はTerraform Registryにある以下Published Moduleを使ってEKSクラスターを作成したいと思います。 terraform-aws-modules/eks/aws | Terraform Registry Terraformとprovidersの設定 terraform { required_version = "= 0.14.7" required_providers { aws = { source = "hashicorp/aws" version = "3.30.0" } } } provider "aws" { region = "ap-northeast-1" } Terraform version 0.13以降の書き方ですね。 VPC作成 eksctlはクラスターを稼働させるVPCまで併せて作成してくれました。が、このeksモジュールはそこまでは
freee-SRE船-DX(Developer eXperience)でインターンしてみた - freee Developers Hub
記事の目的 こんにちは、SRE船-DX(Developer eXperience)チームで内定者インターンをしていた22卒のakitoです。 昨年の11月から約5ヶ月間(週3勤務)でCI/CD周りの業務を担当したので、インターンの内容について共有したいと思います。 自分がSREでのインターンを志望した理由 自分は「特定の技術を学びたい」というよりは「その技術がどんな課題を解決できるか」を重視しています。現在、 エンジニアの転職サービスなどを見ていてもSREが多くの組織で求められており、 インフラやCI/CD周りに課題を感じている企業が多いことが分かります。実際に別の企業でインターンをした際、その課題感を直に知る機会がありました。そこで自分がSREとして活躍することができれば、より効率的にサービスを成長させることに大きく貢献できるのではないかと考えました。 SREのDX(Developer
課題 元々、PlayFrameworkアプリケーション（Scala）のビルドを、Docker ImageのビルドからECRへのImage Push、EKSへのデプロイまでをSkaffoldに内包する形で行なっていました。 これらをGithubへのTagプッシュを契機にCodeBuild上で動かしていたのですが、新たに機械学習アプリケーション（Python）が加わり、ビルド時間が12分から20分まで伸びてしまったことで遅さが目についたので、改善に踏み切りました。 プラットフォーム： EKS(PlayFramework + Python) ビルド環境： CodeBuild + Skaffold 改善施策 改善施策として以下の二点について対応しました。 並列ビルドの導入 ビルドキャッシュの有効化 並列ビルドの導入 Skaffoldではデフォルトでは並列度1、直列でビルドが行われるのですが、Con
AWS News Blog Amazon EKS Price Reduction Since it launched 18 months ago, Amazon Elastic Kubernetes Service (Amazon EKS) has released a staggering 62 features, 14 regions, and 4 Kubernetes versions. While developers, like me, are loving the speed of innovation and the incredible new features, today, we have an announcement that is going to bring a smile to the people in your finance department. We
Amazon EKS Pod Identity simplifies IAM permissions for applications on Amazon EKS clusters | Amazon Web Services
AWS News Blog Amazon EKS Pod Identity simplifies IAM permissions for applications on Amazon EKS clusters Starting today, you can use Amazon EKS Pod Identity to simplify your applications that access AWS services. This enhancement provides you with a seamless and easy to configure experience that lets you define required IAM permissions for your applications in Amazon Elastic Kubernetes Service (Am
Amazon EKS API サーバーの不正サーバーエラーの解決
kubectl コマンドを使用して、Amazon Elastic Kubernetes Service (Amazon EKS) アプリケーションプログラミングインターフェイス (API) サーバーに接続しています。「エラー: サーバーへのログインが必要です (不正)」というメッセージが表示されました。 簡単な説明 このエラーは、kubectl に設定されている AWS Identity and Access Management (IAM) エンティティが Amazon EKS によって認証されていない場合に発生します。 Amazon EKS クラスターへのアクセスは、使用する IAM エンティティ (ユーザーまたはロール) に基づいて、認証され、承認されます。ここでは、次の点を確認してください: IAM ユーザーまたはロールを使用するように kubectl ツールを設定した。 IAM
はじめに こんにちは！技術統括本部SREユニットに所属している岡田です。SREでは、ちょっとしたテスト環境としてAmazon Elastic Kubernetes Service (EKS)を使用しております。EC2インスタンス（ワーカーノード）はセルフマネージド型ワーカーノードであり、ネットワークなどの構成管理をTerraformで行っています。低価格なインスタンスタイプで契約をしているのですが、使用できるIPアドレスの最大数に限りがありデプロイできるPod数がかなり少ないという課題を抱えていました。ところが、この制限数を緩和できるというニュースがAWSから出されました。以下に示すEKSの物理構成図の赤枠の部分について構成の改善を行いましたので、その過程と結果を共有できればと思います。 EKSの構成 EKSでは、Kubernetes(K8s)用のAmazon VPC Container
CodeBuildのbuildspec.ymlに複数行に渡るコマンドを書く & 条件分岐を書く | DevelopersIO
複数行に渡るコマンドを書く CodeBuildのビルド仕様を定義するbuildspec.yml内にて、複数行に渡るコマンドを定義したいです。 失敗 コンソールで複数行に渡るコマンドを実行したい場合は、行末に\を入れます。そうすることで、次行の入力内容も同行として解釈して実行してくれますよね。 % terraform plan -no-color -input=false \ -target="module.base.null_resource.remove_default_coredns_deployment" \ -target="module.base.null_resource.modify_kube_dns" \ -target="module.base.helm_release.coredns" これと同じ様にbuildspec.ymlにも書いてみました。 buildspec.y
困っていること EKSクラスターを、TerraformのEKS公開モジュールを使ってプロビジョニングしています。現在使っているversionは19.17.1です。クラスターのversionは1.27です。 2月初旬頃から、EKSクラスターのkube-system namespaceのConfigMap aws-auth の内容が何者かによってTerraform外で更新されるようになっており、それによってterraform planや terraform applyで以下のようなdiffが検出されることがあります。 mapRoles.groups配列内の要素順が異なる mapRoles.groups配列内の文字列が全般「"」で囲まれていない→囲まれている # module.eks.kubernetes_config_map_v1_data.aws_auth[0] will be update
概要 2020年10月15日、HashiCorpがWaypointという新しいプロダクトを発表しました。 Announcing HashiCorp Waypoint Waypoint Github - hashicorp/waypoint 簡単に説明すると、デプロイ設定ファイル1つ書くだけで、Amazon EC2やECS、Google Cloud Run、Azure Container Instancesといったクラウド環境にワンライナーでビルドからデプロイまで出来てしまう凄いツールです。 機能 Waypointは、AWSやGoogle、Azureといったプラットフォームにアプリケーションを構築・リリースするためのワークフローを提供する waypointup up コマンドで、アプリケーションのビルドからデプロイ・リリースまでを一括で実行することができる 現在サポートしているプラットフォー
[アップデート] AWS Config で AWS コンテナサービスの構成変更管理が可能になりました | DevelopersIO
本日のアップデートで AWS Config で AWS コンテナサービスの構成変更の管理が可能になりました！ AWS Config now supports Amazon container services ECS/EKS ユーザー待望のアップデートが来ましたね！ AWS Config の AWS Container Service サポート AWS Config は セキュリティ、ガバナンスのために利用されるフルマネージドサービスです。AWS Config では AWS リソースのインベントリ、構成履歴、構成変更通知の機能を備えています。 これらの機能により意図しない変更を検知したり、特定時点における AWS リソースの構成状態を追跡することが可能となります。 また、AWS Config ルールを利用することで特定の条件を満たしていないリソースを「非準拠」として検出し、自動的にリカバリ
![[アップデート] AWS Config で AWS コンテナサービスの構成変更管理が可能になりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/5362277bad24f524a483997c202904782c2ae7df/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-config.png)
EKSにおけるkubernetes-external-secretsとIRSAによる権限移譲 - decadence
これは何 EKSでパスワード等のsecret情報を利用するにあたり、EKS x parameter store/secret secret manager x kubernetes-external-secretを利用する際に、IRSA+assume roleで権限を絞る方法について 背景 EKSを利用する際の課題として、Secretの管理をどのようにして行うのか、といった問題がある。 1つの解として、AWS Parameter Store / Secret Manager / etcによるパスワード等の管理を行い、kubernetes-external-secretsを利用して、ExternalSecret resourceからSecretを作成する、といった方法が考えられる。 一方で、正しい使い方をしないと、意図せず強い権限を持ったroleが出来てしまうこともある。 この記事では現時点
Java ベースの Kubernetes オペレーターを使用した Amazon EKS での Kubernetes RBAC と IAM の統合 | Amazon Web Services
Amazon Web Services ブログ Java ベースの Kubernetes オペレーターを使用した Amazon EKS での Kubernetes RBAC と IAM の統合 はじめに Kubernetes ネイティブアプリケーションは、Kubernetes クラスターにデプロイされ、Kubernetes API と kubectl などのクライアント側ツールの両方を使用して管理されるアプリケーションです。Kubernetes オペレーターは、etcd データベースクラスターや Prometheus モニタリング/アラートシステムなど、重要な Kubernetes アプリケーションをデプロイするための抽象概念です。このようなアプリケーションに必要なドメイン固有の知識を持つカスタムリソースとコントローラを使用して Kubernetes 機能を拡張するメカニズムを提供します。
Hi, I am Niekis Aurimas, and I am a System division leader at GMO Research. I have been working for GMO for over a year. I was born and raised in Lithuania, but I lived in Germany and the United Kingdom for a few years before moving to Japan last year before CODID-19. Since last winter, I have been working on a new project structure at GMO, which would include all the latest technologies and pract
Linux Daily Topics Canonical、Spark on Kubernetesソリューション「Charmed Spark」のベータ版を公開 Canonicalは7月3日、Kubernetes上でSparkジョブをデプロイ/実行するオープンソースソリューション「Charmed Spark」の最初のベータ版リリースを発表した。 Charmed Spark beta release is out – try it today | Canonical Charmed SparkはCanonical Data Fabricチームが開発を主導するソリューションのひとつで、Charmed Sparkのほかに「Charmed Kafka」「Charmed MongoDB」「Charmed OpenSearch」「Charmed PostgreSQL」「Charmed MySQ
これは何？ 仕事でKubernetesを触ることになったのですが、それまでに予習としてインプットに活用させて頂いた情報源をまとめました（分類分けがかなり雑ですが、優しく見てください）。 （個人的な）結論 Kubernetesについて調べ始めると、Kubernetes自体が大きなエコシステムであることと、それを取り巻くいろんなツールが出てきて、「どこから始めればいいんだ...」となりがちです（少なくとも僕はなりました...）。 そこで個人的には、Youtubeなどの動画（Kubernetesは情報の行進が早いので、1年以内に配信されたものがオススメ。またハンズオンがあると尚良し。）を見てKubernetesの全体像を掴んだ後に、 Kubernetes完全ガイド impress top gearシリーズ にざっと目を通す流れが良いと思いました（詳細を覚えるのではなく、頭にインデックスるを作る感
こんにちは、Tier IVでMLOpsを担当している澁井（しぶい）です。 Tier IVには2020年9月に入社して、現在社歴2ヶ月です。Tier IVでは自動運転のための機械学習システムとオペレーションを開発しています。MLOpsでは機械学習のパイプライン開発から基盤構築、運用までをエンドツーエンドに行うのですが、MLOpsエンジニアは現状私一人で、寂しく気ままに開発しています。 前職ではECの会社でMLOpsとEdge AIを担当していました。基盤の一部にAWSのKubernetesマネージドサービスであるEKS (Elastic Kubernetes Service) を使っていたのですが、退職直前の2020年7月にそのKubernetesクラスターを再構築しました。2年越しで使っていたKubernetesクラスターが2クラスターあり、Kubernetesのコンポーネントがいろいろと
EKS Pod Identity を活用して Terraform でプロビジョニングした EKS を Blue/Green アップグレードしてみた | DevelopersIO
EKS Pod Identity を活用して Terraform でプロビジョニングした EKS を Blue/Green アップグレードしてみた EKS Pod Identity とは？ EKS クラスター内の Pod に AWS 権限を与える新しい方式として EKS Pod Identity が発表されました。 Pod に Service Account 単位で細かく権限設定を行う際、 IRSA(IAM Roles for Service Accounts) を以前から利用できました。 こちらを使わずに EKS ノード単位で権限を付与すると Pod に必要以上の権限を付与してしまう可能性が高いため、IRSA はかなり一般的に利用されている機能かと思います。 Pod Identity も特定 Service Account 内の Pod から IAM ロールを利用可能にするための同じ目的
We’re running Haskell in production. We’ve told that story before. We are also running Haskell in production on Kubernetes, but we never talked about that. It was a long journey and it wasn’t all roses, so we’re going to share what we went through. TL;DRConfigure Haskell RTS settings: Match -N⟨x⟩ to your limits.cpuMatch -M⟨size⟩ to your limits.memoryYou can set them between +RTS ... -RTS arguments
どうもSREのid:renjikariです。この記事はfreeeカード Unlimited の開発の裏側について紹介する連載の第7回目になります。 私は直近でfreeeカード UnlimitedのStaging&Production向けのインフラ構築などを担当していました。(id:nekottyo が検証用アカウント作成＆整備や検証環境作成といった下地作りをしてくれてました:ty:) 最近ベータリリースを果たしまして実際にお客様がクレジットカードで決済を通せるようになりました。感激ぃ！ さて、このdevelopersブログでぜひインフラについて書いてほしいという依頼を受けまして嬉しい限りなんですが、実のところインフラについて言えば他のfreeeのサービスと大きく違うところはあまりなく、(blogに書いて自慢できるほどではないのですが)freeeでつくっているインフラ構成の一つとしてfree
Amazon EKS Anywhere — オンプレミスで Kubernetes クラスターの作成と管理が広く利用可能になりました | Amazon Web Services
EKS Anywhere は、顧客が EKS Anywhere のメリットを活用できるようにし、さらに他の機能を提供するため、さまざまなパートナーと連携します。これには、クラスターアップデートの Flux、GitOps の Flux コントローラー、eksctl (EKS でクラスターを作成し、管理するための簡単な CLI ツール)、ネットワーキングとセキュリティのための Cilium が含まれます。 また、他の領域で選択したツールと連携できる柔軟性も備えています。EKS Anywhere クラスターに連携を追加するには、推奨されるサードパーティーツールのリストを参照してください。 Amazon EKS Anywhere を始めましょう EKS Anywhere の使用を開始するには、ローカルでの開発およびテストの目的でマシーンにブートストラップクラスターを作成します。現在、本番ワークロー
こんにちは。SRE の @chaspy です。 今回、ステージング環境のリソースを使用していない時間に削減することで、コストを削減したのでその事例を紹介します。 前提: Pull Request namespace Quipper では本番環境、開発環境ともに Amazon EKS*1 を使用しています。また、開発環境として、Pull Request ごとに namespace が作られます。そして monorepo*2に存在するすべての Application が Deploy*3されます。これにより Pull Request をマージする前に動作確認をすることができます。Developer だけでなく Designer や Product Manager を含めて確認できるもので、Quipper 名物とも呼べる優れた仕組みです。 一方で、この仕組みによるコストの増加も否めません。Pul
Field Notes: Managing an Amazon EKS Cluster Using AWS CDK and SHI’s Cloud Resource Property Manager | Amazon Web Services
AWS Architecture Blog Field Notes: Managing an Amazon EKS Cluster Using AWS CDK and SHI’s Cloud Resource Property Manager This post is contributed by Bill Kerr and Raj Seshadri For most customers, infrastructure is hardly done with CI/CD in mind. However, Infrastructure as Code (IaC) should be a best practice for DevOps professionals when they provision cloud-native assets. Microservice apps that
システムを使う上で、障害を完全になくすことはできません。そして、いざ障害が発生し、システムが正常に動作しない状況に陥ると、多大な損害が発生することもあります。そのため、システム構築では障害に備えて冗長性を確保し、事前に障害検証を行い、障害が起きてもシステムが正常に動作することを確認します。 しかし、現在の主流である「分散システム」は、多数のサービスを組み合わせることで1つのシステムを実現させるため、規模が大きくなるにつれてシステムが複雑化していきます。それに伴い、障害検証の負荷も増えています。さらに、昨今コンテナを利用した「マイクロサービス化」によって、ますますサービスの数が増えて、システムの複雑化が一段と進んでいる状況です。既に人力だけでは障害検証を行っていくことが難しくなってきました。 そんな中、登場してきたのが今回お話する「カオスエンジニアリング」です。 Chaos Meshとは カ
※ 2022年8月更新：ドキュメントが大幅に変わっていたため本記事も大きく書き換えました。 背景 EKSクラスターやワーカーノードに用いるセキュリティグループ（以下SG）には何種類かありますが、それぞれの役割について一部よくわからない部分がありました。 今回、AWSサポートへの問い合わせや動作検証によりきちんと調べてみたので、まとめていきたいと思います。 EKS関連SGの種類 EKS関連のSGは下記3種類がある。 クラスターSG コントロールプレーンSG ノードSG ノードSGがワーカーノードEC2に付与するSGっていうのは、なんとなく分かる。けど、1.と2.の違いがよく分からん。。という状態でした。 さらに検証進めていく中で、ノードSGも少し特殊な動作することがわかりました。 それぞれ詳しく 1. クラスターSG 下記3者に付与されるSG EKSコントロールプレーン通信用ENI（EKS-
Karpenter による Kubernetes のスケーリング: Pod Affinity と Volume Topology Awareness による高度なスケジューリング | Amazon Web Services
Amazon Web Services ブログ Karpenter による Kubernetes のスケーリング: Pod Affinity と Volume Topology Awareness による高度なスケジューリング この記事は Scaling Kubernetes with Karpenter: Advanced Scheduling with Pod Affinity and Volume Topology Awareness (記事公開日: 2022 年 7 月 18 日) を翻訳したものです。 この記事は、SUSE の Principal Technical Evangelist、AWS の Container Hero、そして HashiCorp Ambassador であるLukonde Mwila と共同で執筆したものです。 イントロダクション クラウドネイティブの
Amazon EKS Pod Identity は、Amazon EKS クラスター上のアプリケーションの IAM 許可を簡素化します | Amazon Web Services
Amazon Web Services ブログ Amazon EKS Pod Identity は、Amazon EKS クラスター上のアプリケーションの IAM 許可を簡素化します 11月26日より、Amazon EKS Pod Identity を使用して、AWS のサービスにアクセスするアプリケーションを簡素化できます。この拡張機能により、Amazon Elastic Kubernetes Service (Amazon EKS) クラスター内のアプリケーションに必要な IAM 許可を定義できるようになり、クラスター外の AWS のサービスに接続できるようになったため、シームレスで簡単な設定エクスペリエンスを享受できます。 Amazon EKS Pod Identity は、多くの EKS クラスターで直面することが増えた許可の管理に関する課題を解決するのに役立ちます。 Amazon
Karpenter導入によるメリットとデメリットと躓いた点 - Studyplus Engineering Blog
Karpenter導入によるメリットとデメリットと躓いた点 こんにちは。SREグループの蜂須賀です。 弊社ではEKSを利用しており、これまでノードのオートスケールにはCluster Autoscaler(CA)を利用していました。 2024年6月頃にCAからKarpenterに移行したので、Karpenter導入によるメリットとデメリット、躓いた点を紹介します。 (Karpenterのバージョンはv0.37になります) karpenter.sh Karpenter導入によるメリット ノードの起動速度が速い CAでは、Amazon EC2 Auto Scalingグループを経由してノードのスケーリングを実施します。 Karpenterは直接ノードのスケーリングを実施するため、Auto Scalingグループを経由しない分だけノードの起動が早くなります。 実際に、nginxの1Podを起動要求
EKSへのデプロイを楽にするためにGitHub Appsを導入しました - Money Forward Developers Blog
こんにちは。 マネーフォワードでインフラエンジニアとして働いているkappy（@kappyhappy）です。 今回は、Amazon EKSへのデプロイを効率化するために導入したGitHub Appsのdeploy-botを紹介します。 なぜdeploy-botが必要だったのか デプロイに使用しているコンポーネント deploy-bot導入の経緯の説明の前に、デプロイのために使用しているコンポーネントとその用途を説明します。 AWS ECR 作成したDocker Imageを保存します AWS EKS AWSマネージドなKubernetesを実行します GitHub ソースコードを保存します CircleCI GitHubでPRのマージをトリガーにECRにDocker Imageをpushします ArgoCD GitHubのリポジトリ更新をトリガーに、更新されたKubernetes Mani
Exploiting Authentication in AWS IAM Authenticator for Kubernetes
Exploiting Authentication in AWS IAM Authenticator for Kubernetes Amazon Elastic Kubernetes Service (Amazon EKS) is a managed service that helps you to create, operate, and maintain Kubernetes clusters. Amazon EKS has several deployment options including AWS cloud and on-premises (Amazon EKS Anywhere). Amazon EKS uses IAM to provide authentication to the cluster through the AWS IAM Authenticator f
【 RECRUIT Job for Student 2022 Autumn】Kubecostの検証をしてみました - スタディサプリ Product Team Blog
EKS上でKubecostの検証 初めまして、今回 RECRUIT Job for Student 2022 Autumn Engineer に参加させていただいていた@masaki12-sです。 私は本アルバイトでスタディサプリ小中高のSREチームに配属され、Kubecostと呼ばれるツールの調査を行いました。本記事ではEKS上でのKubecostの導入から調査の結果を軽くまとめています。 本記事での貢献 EKS上へのKubecostの導入方法（Cost&Usage Report統合は未完了） Kubecostの概要や詳細についての説明 調査のきっかけ スタディサプリ小中高では複数のマイクロサービスで構成されていて、各チームがそれぞれマイクロサービスを開発運用しています。 開発運用をしていく中で各チームがマイクロサービスにかかるコストを把握することができれば、どの部分でコストが発生してい
AWS Config now supports 20 new resource types including Amazon SageMaker, Amazon Route 53, Amazon Elastic Kubernetes Service (Amazon EKS), AWS Global Accelerator, AWS Glue, and others. For the full list of newly supported resource types see [1]. With this launch, you can now use AWS Config to monitor configuration data for the newly supported resource types in your AWS account. AWS Config provides
はじめに docker statsコマンドとkubectl top podコマンドで表示されるメモリー使用量に差異があることに疑問を持った方もいるのではないでしょうか？ その差は、kubectl top コマンドのみ、メモリー使用量にPage Cache(active)が含まれているためらしいのですが、検証も含め少し深掘りしたいと思います。 kubectl topのメモリー使用量 kubectl top コマンドで取得できるメモリー使用量は、各Nodeのkubelet(内のcAdviser)が収集した値です。 ここで、メモリー使用量と言っても具体的に何の指標を利用しているのでしょうか？ 公式ドキュメントを見ると、以下の記載があります。 Memory is reported as the working set, in bytes, at the instant the metric was
エニグモ開発者ブログ
こんにちは、インフラグループ Kubernetesチームの福田です。 突然ですが、Webアプリケーションでユーザの認証にOIDCを使うことはよくあると思います。 弊社でも様々な箇所でOIDCが利用されてます。 自社で開発しているWebアプリケーションや最近のログイン機能を持つOSSの多くは、OIDC Providerさえ用意すればOIDCを利用することができます。 しかし、現実的にはログイン機能を持たないOSSのWebアプリケーションでOIDC認証を使いたいケースや自前で開発したWebアプリケーションにおいてもわざわざOIDCのクライアント機能を追加実装するのが面倒なケースがあります。 そんな時に使えるのがOAuth2Proxyです。 OAuth2Proxyはリバースプロキシとして動作しながら、OIDCの認証をしてくれます。 具体的にはクライアントからのアクセスに対してOIDCの認証を行い
【Sansan Tech Talk】研究開発部のプラットフォーム戦略 〜マルチプロダクト環境における課題と展望〜 - Sansan Tech Blog
こんにちは、Sansan Engineering Unit 部長の笹川裕人です。今回で7回目を迎える「Sansan Tech Talk」では、Sansanのテックリードが日々取り組んでいる技術的な課題や挑戦を深掘りしてお届けしています。今回は、研究開発部で活躍するWebアプリエンジニアの新井和弥にインタビューしました。 ▼連載記事はこちら buildersbox.corp-sansan.com （写真左から）研究開発部 新井 和弥、Sansan Engineering Unit 部長 笹川 裕人 笹川：今日は研究開発部の新井さんにお越しいただきました。新井さん、自己紹介をお願いできますか。 新井：よろしくお願いします、新井と申します。現在、技術本部研究開発部のArchitectグループにあるML Platformチームでリーダーを務めています。Sansan株式会社には約2年半前に中途入社し
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
EKS Managed Node Groupでカーネルパラメータを変更する - Gunosy Tech Blog
CodeBuild + SkaffoldのCI/CD環境のビルド時間を改善した話 - Qiita
Amazon EKS Price Reduction | Amazon Web Services
EKSのワーカーノードで使用できるPodの制限緩和を行いました - OPTiM TECH BLOG
EKSのaws-auth ConfigMapに変更が入って辛い | DevelopersIO
Waypointを使ったアプリケーションの超簡単デプロイ - Qiita
An Introduction to Terraform - GMO Research & AI Tech Blog
Canonical、Spark on Kubernetesソリューション「Charmed Spark」のベータ版を公開 | gihyo.jp
Kubernetes入門の際に参考にした情報
2020年でKubernetesクラスターを3回再構築した話 - TIER IV Tech Blog
Tuning Haskell RTS for Kubernetes, Part 1
【連載 第7回】クレジットカードのインフラ作ってみた - freee Developers Hub
ステージング環境の夜間停止によるコスト削減 - スタディサプリ Product Team Blog
Chaos Meshによるラックのカオスエンジニアリング、あえて障害を起こす最新手法を検証 | LAC WATCH
EKSのセキュリティグループについて理解する - Qiita
AWS Config now supports 20 new resource types
kubectl top pod と docker stats メモリー使用量の違い - Qiita