はじめに Amazon Elastic Kubernetes Service (Amazon EKS) はAWS上でKubernetesを実行することができる。EKSはeksctlコマンドを用いることで簡単に作成できるが、デフォルトの設定では意外とインターネットアクセスを前提としている点が多い。私自身、インターネットアクセスをしないプライベートEKSの構築にとても苦労したので、その作成・設定方法を備忘録として残しておきたいと思い、本稿を記載する。 必要な設定 プライベートEKSクラスターの構築に必要な設定は大きく分けて3つある。 1．VPCエンドポイントの作成 EKSは内部で様々なAWSリソースにアクセスしており、それらはデフォルトではグローバルIP経由でアクセスしている。プライベートなEKSではグローバルIP経由でのアクセスは不可のため、AWSリソースにアクセスするためのVPCエンドポイ
AWS Certified Cloud Practitioner CLF-C02 Exam Part 3 - Qiita
The actual exam version for the AWS Certified Cloud Practitioner CLF-C02 Exam in 2024. I have just passed this exam and I want to share a very helpful website. Source: AWS Certified Cloud Practitioner CLF-C02 Exam Part 3 Q121. A company wants to monitor its workload performance. The company wants to ensure that the cloud services are delivered at a level that meets its business needs. Which AWS Cl
AWSのDynamoDB, S3, Glueを組み合わせて実現したコスト最適化 | CyberAgent Developers Blog
はじめに メディア事業部でサーバーサイドエンジニアをしている宋です。私はAmebaというサービスで、デモグラフィックターゲティングを実現するために、システムの設計、開発を担当しました。今回は、このシステムを開発する上で、コスト最適化を実現するために工夫した点を紹介します。 デモグラフィックターゲティングとは ユーザーの性別や年齢などの情報をもとに、広告を配信するターゲティング手法です。詳細な説明はGoogleに任せます。 デモグラフィックターゲティングとは システムの全体像 デモグラフィックターゲティングを実現するために、バックエンドでは、ユーザーのIDを受け取り、IDに紐づくデモグラフィックデータを返すAPIを実装します。amebaではシステム刷新が進んでおり、インフラ層をAWS上に統合する、AmebaPlatformという構想があります。今回開発するシステムも、このプラットフォーム上に
はじめに EKSワーカーノードが、VPCサブネットのプライベートIPアドレスを大量に消費してしまい、プライベートIPアドレスが枯渇しまう問題が発生した。 暫定的な対策を取った記録をまとめる。 やったこと 最初に暫定対策を書いておく。 デフォルトで入っている aws-node プラグインの設定値を変更して、余分に確保されていたプライベートIPアドレスを開放した。 下記のコマンドを実行すると、aws-node が全て再起動して設定が反映される。 kubectl -n kube-system set env daemonset aws-node WARM_ENI_TARGET- kubectl -n kube-system set env daemonset aws-node MINIMUM_IP_TARGET=20 kubectl -n kube-system set env daemonse
[レポート] AWSセキュリティサービスによるコンテナの脅威検出と対応 #TDR372 #AWSreInforce | DevelopersIO
AWS re:Inforce 2024 TDR372 Container threat detection and response with AWS security services のセッションレポートです。 AWSにおけるコンテナのセキュリティ対策を総ざらいで体験できる、ハンズオン形式のセッションでした。 こんにちは！ AWS 事業本部コンサルティング部のトクヤマシュンです。 フィラデルフィアで開催されている AWS re:Inforce 2024 に参加しています。 本記事は AWS re:Inforce 2024 のセッション「Container threat detection and response with AWS security services」のセッションレポートです。 さまざまなサービス・ツールを使って多層的なコンテナ脅威検知・対応を行うため、参加すればひと通
![[レポート] AWSセキュリティサービスによるコンテナの脅威検出と対応 #TDR372 #AWSreInforce | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/d1ac42cfd4e5f0a287ed5db0380a987866b4dde2/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2024%2F06%2Feyecatch_awsreinforce2024_1200x630.png)
Amazon EKS on Fargate - NLB (AWS Load Balancer Controller) - Qiita
ポイント AWS Load Balancer Controller を利用する。AWS Load Balancer Controller によって Kubernetes クラスター向けの AWS ELB が管理される。 Service で type: LoadBalancer を指定することで NLB が作成される。
Platformのエンジニアが行くAWS re:Invent 2023 - Pod Identity編 - Sansan Tech Blog
こんにちは、技術本部研究開発部 ML Platformチームの神林です。前回は技術とは関係ないULパッキングの記事を書きました。あまりにも関係なさすぎたので、今回は技術の方に振り戻そうと思います。 buildersbox.corp-sansan.com AWS re:Invent 2023も後半戦となりました。毎日6時前後起きで20000歩くらい歩いています。私はEKSやKubernetesのBreakout Session、Workshop、Chalk Talkを中心に参加しています。初日は「The future of Amazon EKS」というBreakout Sessionがあったので見に行きました。Breakout Sessionは基本的に後でアーカイブが見られるようになるので、話半分で見ていたら半分以上忘れてしまいました。一つ、スライドの中で気になるワードが出てきたので、そこに
マネージド型ノードグループを利用した Amazon EKS クラスターのアップグレード戦略を検討する | Amazon Web Services
Amazon Web Services ブログ マネージド型ノードグループを利用した Amazon EKS クラスターのアップグレード戦略を検討する はじめに Amazon Elastic Kubernetes Service (Amazon EKS) は、独自のコントロールプレーンをインストール、運用、保守することなく、AWS 上で Kubernetes を実行できるマネージドサービスです。Amazon EKS を使用すると、AWS インフラストラクチャのすべてのパフォーマンス、スケール、信頼性、および可用性のメリットを享受できるだけでなく、AWS ネットワーキングおよびセキュリティサービスとの統合の恩恵も受けることができます。また、Amazon EKS クラスターは、セルフマネージド型ノード、マネージド型ノードグループ、AWS Fargate といったノードオプションを組み合わせて P
ユビタスの AWS 生成 AI 事例 : Amazon EC2 や AWS Parallel Cluster による大規模言語モデルの開発を加速 | Amazon Web Services
Amazon Web Services ブログ ユビタスの AWS 生成 AI 事例 : Amazon EC2 や AWS Parallel Cluster による大規模言語モデルの開発を加速 本ブログは、株式会社ユビタスと Amazon Web Services Japan が共同で執筆いたしました。 株式会社ユビタスは、NVIDIA の投資を受けたテクノロジー企業で、世界有数の GPU 仮想化とクラウドストリーミング技術を有しています。クラウドと AI 分野での最高のサービスを提供することを目指しています。ユビタスは、台湾大学や東京大学などの著名大学と協力し、繁体字・日本語の大規模言語モデル（LLM）を学習させるほか、AI キャラクターソリューション「UbiONE」を立ち上げ、ブランドキャラクター「AI Vtuber: Ubi-chan」を発表するなど、生成 AI の分野でイノベーショ
Terraformで一発起動できるNew RelicのAPMマイクロサービスDEMO環境を構築する（12/20追記） | DevelopersIO
Amazon EKS上で動くマイクロサービスのAPM、もちろんk8s/AWSインフラ監視も。locust付きでトラフィックも流せます。素敵！ でもメンテナンスが2022年末で止まっていたので、今(2023年)の環境で動くようにしました。 ※落穂拾いを追記しました "From zero to Observability while you brew coffee" New Relic 社の GitHub アカウント「New Relic Experimental」で、 newrelic-microservices-sandbox というリポジトリが公開されています。 これを使うと、New Relic の計装設定が既にされた状態の Kubernetes (k8s) クラスタ環境と、その上で動くマイクロサービスアプリケーションが手に入ります。 しかも負荷ジェネレータ locust のスクリプト（テ
AWS Weekly Roundup: Amazon EC2 G6 インスタンス、Amazon Bedrock での Mistral Large、AWS Deadline Cloud など (2024 年 4 月 8 日) | Amazon Web Services
Amazon Web Services ブログ AWS Weekly Roundup: Amazon EC2 G6 インスタンス、Amazon Bedrock での Mistral Large、AWS Deadline Cloud など (2024 年 4 月 8 日) AWS Summit Sydney (4 月 10～11 日) 開催がいよいよ 2 日後となり、AWS Summit Singapore (5 月 7 日) と AWS Summit Bangkok (5 月 30 日) を皮切りとする東南アジアの AWS Summit シーズンも開催まで残すところあと 1 か月になりました。この期間にシドニー、シンガポール、バンコクにおられる場合は、ぜひ AWS Summit にご参加ください。 4月1日週のリリース 4月1日週の Weekly Roundup をまだお読みになっていませ
O2 Telefonica と Nokia、 5G コアネットワークを AWS へ移行 | Amazon Web Services
Amazon Web Services ブログ O2 Telefonica と Nokia、 5G コアネットワークを AWS へ移行 本記事は、「O2 Telefonica Moves its 5G core network to the Cloud with AWS and Nokia」（2024年5月7日公開）を翻訳したものです。 O2 Telefónica は新しい「5Gクラウドコア」を発表しました。この5Gクラウドコアはヨーロッパのネットワーク機器プロバイダーである Nokia とアマゾンウェブサービス（AWS）の技術を使用して、完全にクラウド上で構築されます。 より多くの通信事業者が、ネットワークワークロードをクラウドに移行する価値を認識しています。今年前半、日本の主要なモバイルオペレーターである NTTドコモが、AWS と協力して全国規模の 5G オープン無線アクセスネットワ
日本取引所グループ（JPX）はAmazon Web Services（AWS）上にデータレイク「J-LAKE」を構築する。傘下のJPX総研が構築を担い、2024年度中の稼働を予定する。 J-LAKEによってJPXが保有する株式の取引情報や適時開示情報などのデータを一元管理し、社内でのデータ分析に加え、社外向けのデータ配信を正確かつ効率的にする。JPX総研の西端恭一ITビジネス部デジタライゼーション部長は「データを一元管理することで、分析や加工の手間を減らせる」と説明する。 構築にはAWSのコンテナ基盤サービス「Amazon EKS」を活用する。西端部長によると、AWSを活用することで「オンプレミス（自社所有）環境で構築するのと比べて、約3割のコスト低減が見込める」という。構築自体は2024年5月には終える予定で、「オンプレミスだと1年半から2年半くらいかかる規模のため、開発期間の短縮効果も
[アップデート]GuardDutyのランタイムモニタリング機能が共有VPCに対応しました | DevelopersIO
みなさんこんにちは、杉金です。 Amazon GuardDutyのランタイムモニタリング機能が共有VPCに対応しました。 ランタイムモニタリング機能って何だっけ OSレベルのイベントを監視して脅威を検出するGuardDutyの機能です。以前はAmazon EKSのみサポートされていましたが、昨年12月のre:Invent2023でAmazon ECSやEC2にも対応しました。 本記事の執筆時点でもEC2の方はまだプレビュー版のようです。（以下、GuardDutyのランタイムモニタリングの設定画面より） 共有VPCって何だっけ 複数のAWSアカウントでEC2やRDSなどのリソースを同一VPC上で実行するための機能です。いろいろと制約や条件があります。ポイントをかいつまむと以下です。 共有するリソースとして指定するのはVPCではなくサブネット 組織内のAWSアカウントでしか共有できない（組織外
![[アップデート]GuardDutyのランタイムモニタリング機能が共有VPCに対応しました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/b8049cf37a84382f2eef1d0e68d8b5719d773dc4/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Famazon-guardduty.png)
Amazon S3 Express One Zone を使用して非構造化データの処理を加速した Akridata | Amazon Web Services
Amazon Web Services ブログ Amazon S3 Express One Zone を使用して非構造化データの処理を加速した Akridata このブログは Kunal Vasavada（Akridata）と Eric Yuen（Senior Partner Solutions Architect）によって執筆された内容を日本語化したものです。原文はこちらを参照してください。 深層学習プロセスではデータ処理を行う前に、数百 GB に及ぶデータセット全体を読み込むことがよくあります。このようなパフォーマンスが重要なワークロードを実行している企業にとっては、ストレージからの高速なデータ取得と低レイテンシーが非常に重要です。 AWS 独立系ソフトウェアベンダー（ISV）パートナーである Akridata は、ラベルのない動画や画像のデータセットに対して人工知能（AI）を利用した
EKS Cluster を構築すると VPC 内の IP を大量に使うので、IP 数の削減方法について整理し検証しました。 1. EKS Cluster の ENI と IP アドレスの挙動 2. デフォルト設定の Cluster を構築した際の消費 IP 数 3. 消費 IP の削減方法 4. 検証 4.1. 設定方法 4.2. WARM_ENI_TARGET 4.3. MAX_ENI 4.4. WARM_IP_TARGET 4.5. MINIMUM_IP_TARGET 4.6. どの環境変数を使用するか 5. まとめ 6. 参考 1. EKS Cluster の ENI と IP アドレスの挙動 EKS のデフォルト CNI である Amazon VPC CNI の ENI と IP アドレスの挙動は以下になります。 コントロールプレーン（Master） ENI が 2 個付く ENI
ペアーズの AWS 生成 AI 事例 : Amazon Bedrock による障害対応の自動化と効率化 | Amazon Web Services
Amazon Web Services ブログ ペアーズの AWS 生成 AI 事例 : Amazon Bedrock による障害対応の自動化と効率化 本ブログは、株式会社エウレカと Amazon Web Services Japan が共同で執筆しました。 背景と概要 Pairs（ペアーズ）は、株式会社エウレカが運営する恋活・婚活のマッチングアプリです。大規模なユーザーベースを持つマッチングサービスであり、システムの安定稼働が非常に重要です。 多くのユーザーにとって、マッチングした後、ペアーズが実際に会うときの唯一の連絡手段となっています。そのため、障害が発生するとユーザー同士の連絡が取れなくなるので、迅速に対応を行い、再発防止のためのナレッジを貯める必要があります。過去には、障害発生時の対応に多大な時間とリソースを費やしてきました。特に、障害対応の指揮を取るコマンダーの責務が多すぎるこ
サービスアカウント Pod 内のコンテナから各リソースへのアクセス制御の際に用いられる。 サービスアカウントの IAMロール IAM ロールをサービスアカウントと関連付けて、サービスアカウントを使用するように Pod を設定する。 要するに、Pod 単位で IAM ロールを割り当てることができる!!! 手順 大まかな流れ クラスター用の IAM OIDC プロバイダーを作成 IAM ロールを引き受けるための サービスアカウントの設定 サービスアカウントを使用するように Pod を設定する 1. クラスター用の IAM OIDC プロバイダーを作成 クラスターには、OIDC 発行者 URL が関連付けられています。 サービスアカウントで IAM ロールを使用するには、クラスターの OIDC 発行者 URL に対して IAM OIDC プロバイダーが存在している必要があります。 EKS クラス
こんにちは、koizumiです。 今回の記事は、6/20, 6/21の2日間で開催されたAWS Summit Japan 2024に参加してきたので、その参加レポートになります。 AWS Summit Japan 2024 今年のトピック 気になったセッションのご紹介 ① Dive deep on Amazon S3 適切なプレフィックスの付け方 S3 Express One Zone 所感 ② Amazon EKS + Karpenterで始めるスケーラブルな基盤作り Cluster Autoscalerの課題 Karpenterの特徴 Cluster AutoscalerからKarpenterへ 所感 その他（ブースセッションなど） まとめ AWS Summit Japan 2024 すでにご存知の方も多いと思いますが、このAWS SummitというイベントはAWSに関する日本最大級の
このページの改善にご協力ください 本ユーザーガイドの改善にご協力いただけませんか? このページの下部までスクロールし、[GitHub でこのページの編集] を選択します。皆さまにご協力いただくことで、あらゆる人々に使いやすいユーザーガイドになります。 ノードを使用してコンピューティングリソースを管理する
Amazon Managed Service for Prometheus (AMP) について Container Insights との比較と OpenTelemetry との連携 - kashinoki38 blog
AWS Containers Advent Calendar 2021 の19日目の記事です。 マネージドな Prometheus である、 Amazon Managed Service for Prometheus (AMP) が今年の 9/29 にGAしています。 本記事では、AMP について触れたいと思います。 触ってみた的な記事は既にいくつかあるので、こちらではもう少し細かく、Container Insights との比較と、メトリクスを AMP に入れるまでの方式3パターンにフォーカスしたいと思います。 CloudWatch Conatainer Insights と Prometheus の使い分け CloudWatch Insights ではカバーできない点 1. EKS Fargate 2. 監視したいメトリクスが多い AMP にメトリクスを送るパターン Kubernete
EKS でクラスターサブネットとセキュリティグループの変更ができるようになりました | DevelopersIO
先日 EKS でクラスターサブネットとセキュリティグループの変更が可能になったので、試してみました。 クラスターサブネットとセキュリティグループとは？ クラスターサブネットはコントロールプレーンとノードや Kubernetes リソースを配置する VPC との通信を可能にするために、 EKS が ENI を作成するサブネットになります。 クラスターを作成すると、Amazon EKS は、指定したサブネットに 2～4 つの Elastic Network Interface を作成します。これらのネットワークインターフェイスは、クラスターと VPC 間の通信を可能にします。これらのネットワークインターフェイスでは、kubectl exec や kubectl logs などの Kubernetes の機能も有効化されます。Amazon EKS が作成した各ネットワークインターフェイスの説明に
AWS ANS 参考リンク集 - Qiita
□SD-WAN ブランチ接続を簡素化する AWS Transit Gateway Connect の紹介 https://aws.amazon.com/jp/about-aws/whats-new/2020/12/introducing-aws-transit-gateway-connect-to-simplify-sd-wan-branch-connectivity/ AWS Transit Gateway Connect は、SD-WAN アプライアンスを AWS Transit Gateway と統合するためのネイティブな方法を提供します。お客様は、Generic Routing Encapsulation (GRE) や Border Gateway Protocol (BGP) などの標準プロトコルを使用して、パートナーオーケストレーションプラットフォームを介して数回クリックする
こんにちは。おうちKubernetesを勧めるためにやってきました。 このシリーズでは、Part 1で「なぜやるのか」、Part 2で「どうやるのか」について話します。 この記事は自宅サーバー上のKubernetesで不特定多数向けのサービスを展開することを勧めるものではなく、自分用・身内用のアプリを自宅サーバー上のKubernetesで運用することを勧めるものです。 エンジニアは全員おうちKubernetesをやるべき絶対的な理由 自己研鑽のために （鑽←この字「研鑽」と「大鑽井盆地」でしか見ない） 企業がKubernetesを採用する場合、ほとんどがEKSやGKEといったクラウド上で動作するマネージドKubernetesサービスを使用すると思います。ただ、Kubernetesであればコマンドやマニフェストファイルの書き方は共通なので、おうちKubernetesで学んだことがそのまま業務
この記事は はてなエンジニア Advent Calendar 2023 の 26 日目の記事です。 本日からはてなエンジニア Advent Calendar 2023 はオーバーランに突入します。昨日は id:d-haru さん明日は id:chaya2z さんとなっています。 私が所属するチームでは EKS を利用してサービスを運用しています。 developer.hatenastaff.com 今年の AWS re:Invent 2023 内でも EKS 関連のアップデートがありましたが、特に EKS Pod Identity という便利な機能に注目したので利用してみました。 EKS Pod Identity とは EKS を利用者にとって嬉しい機能が発表されました。これまで Pod への IAM 権限の割り振りは IRSA ( IAM Roles for Service Accoun
はじめに Kubernetes Horizontal Pod Autoscaler(HPA) は、そのリソースの CPU 使用率に基づいて設定されたデプロイ、レプリケーションコントローラー、またはレプリカセット内の Pods の数を自動的にスケーリングします。 HPA を動作させるには、メトリクスソース (metrics-server など) が EKS クラスターにインストールされている必要があります。 Cluster cluster は、以前書いた下記の記事の「cluster」を参考に準備します。 metrics-server # metrics-server をデプロイ kubectl apply -f https://github.com/kubernetes-sigs/metrics-server/releases/latest/download/components.yaml
GuardDuty EKS Runtime Monitoring 用エージェントで複数パラメータを設定可能になったので試してみた | DevelopersIO
GuardDuty EKS Runtime Monitoring 用エージェントで複数パラメータを設定可能になったので試してみた GuardDuty EKS Runtime Monitoring の v1.5.0 からエージェントに対して複数パラメータを設定可能になりました。 今回設定可能になったパラメータは下記になります。 CPU settings(Requests, Limits) Memory settings(Request, Limits) PriorityClass settings dnsPolicy settings 設定可能になったパラメータ まず、設定可能になったパラメータを確認してみます。 CPU settings, Memory settings Requests はコンテナが利用するリソースの最低保証量になり、Limits はリソースの最大量になります。 CPU
AWS 用語集 - AWS 用語集
数字と記号100-continue サーバーが実際にリクエストを送信する前に、リクエストを受け付けることができるかどうかを確認できるようにするメソッド。大規模なPUTリクエストの場合、この方法では時間と帯域幅の料金の両方を節約できます。 Numbers and symbols | A | B | C | D | E | F | G | H | I | J | K | L | M | N | O | P | Q | R | S | T | U | V | W | X, Y, Z AAD参照 追加認証データ. アクセスコントロールリスト （ACL） 特定の bucket またはオブジェクトにアクセスできるユーザーを定義するドキュメント。の各 bucketおよび オブジェクトには Amazon S3がありますACL。このドキュメントでは、各種のユーザーが実行できる操作 (書き込みおよび読み取りの
【セッションレポート】Amazon EKS + Karpenter で始めるスケーラブルな基盤作り（AWS-36） #AWSSummit | DevelopersIO
【セッションレポート】Amazon EKS + Karpenter で始めるスケーラブルな基盤作り（AWS-36） #AWSSummit はじめに お疲れさまです。とーちです。 現在開催中のAWS Summit 2024で行われた「Amazon EKS + Karpenter で始めるスケーラブルな基盤作り」のレポートをお伝えします。 セッション視聴 セッションはオンデマンドで視聴可能です。公開期限は2024年7月5日（金）までとなっておりますので、視聴される場合はお早めにアクセスしてください。 セッション概要 セッション概要 タイトル : Amazon EKS + Karpenter で始めるスケーラブルな基盤作り 本セッションでは、Amazon EKS の運用を検討しているお客様、Amazon EKS + Cluster Autoscaler を運用中のお客様に対して、Kubernet
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
プライベートEKSクラスターの構築に必要な設定 - Qiita
Amazon EKS ワーカーノードが確保するIPアドレスを減らす
JPXがデータレイク「J-LAKE」を構築へ、AWS活用でコスト3割減
EKS Cluster の消費 IP 数を減らす - YasuBlog
Amazon EKS on サービスアカウントの IAMロール - Qiita
AWS Summit Japan 2024 に参加してきました - Gunosy Tech Blog
ノードを使用してコンピューティングリソースを管理する - Amazon EKS
エンジニアは全員おうちKubernetesをやるべし【Part 1：なぜやるのか】 - Qiita
EKS Pod Identity を活用するメリット - masayosu’s blog
Amazon EKS on Fargate - HPA - Qiita