【Autify x ZOZO x dip共同開催】AWSコスト削減事例祭り（イベント参加レポート） - Qiita
Autify x ZOZO x dipさんが共同開催の「AWSコスト削減事例祭り」というイベントの参加レポートとなります。 アーカイブ 塵も積もれば山となるコスト削減の話（Autify 松浦さん） Autifyさんはソフトウェアのテストをノーコードで作成することができる製品を提供。 元々Webサービスに対するテストを作成できる製品があり、その後にモバイルアプリをテストできるサービスをリリース。 以下のような構成がAWS上で動いている。 まずは、ワーカーとテストデバイスをFargateに移行してコストを最適化。 この最適化のおかげでお客様が増えれば売り上げも増えるような仕組みとなった。 モバイルアプリに対するテストをするサービスをリリースしたことで、急にコスト増加。 原因は以下 開発用インスタンスの一時的な軌道 ユーザが少なくコスト効率が悪い Web障害からの学びで大きめのインスタンスを使っ
Amazon Web Services ブログ 詳細: Fargate データプレーン 本日、AWS Fargate の新しいプラットフォームバージョン (1.4) をリリースしました。これには、お客様のための数多くの新しい機能が含まれています。これらの機能の詳細については、こちらのブログ記事をご覧ください。プラットフォームバージョン 1.4 で導入された変更点の 1 つは、Fargate のコンテナ実行エンジンとして、Docker Engine を Containerd に置き換えたことです。 このブログ記事では、お客様のコンテナのワークロードにとってこれが何を意味するか、この変更の背後にある動機、およびこの再設計されたコンテナ実行環境 (Fargate データプレーンとも呼ばれます) の内情について詳しく説明します。 用語集 ブログの本編で使用する用語と概念を確認してみましょう。 コ
【開催報告】「 クラウド最適化コンテナ編 ～コンテナ x Graviton2 x スポットインスタンスによるコスト最適化～」セミナー | Amazon Web Services
Amazon Web Services ブログ 【開催報告】「 クラウド最適化コンテナ編 ～コンテナ x Graviton2 x スポットインスタンスによるコスト最適化～」セミナー EC2スポットインスタンススペシャリスト ソリューションアーキテクトの滝口です。2021年8月26日にオンラインで開催された「クラウド最適化コンテナ編 ～コンテナ x Graviton2 x スポットインスタンスによるコスト最適化～」セミナーでは、150名近くの聴衆の方々にご参加いただき、AWSからの技術解説、またAmazon ECSとAmazon EKSそれぞれをお使いの2社のお客様による、Amazon EC2スポットインスタンスを使いこなすための具体的な活用方法をご紹介いただきました。 本記事では、お客様のご登壇資料を含む当日資料をご紹介し、また参加者の皆様からいただいた当日のQ&Aの一部をご紹介します。
はじめに お仕事でプリセールスをしているため、お客様やSIパートナー様といっしょに「ぜったいにサービスを止められないシステム」について議論することが多くあります。 一方、クラウドはオンプレに比べてスケーラブルな構成をとることが得意です。したがって、ユーザーの利用が時間的にばらつきがあるシステムやスパイクアクセスが発生するシステムなどの場合は、クラウドを提案する良いチャンスだったりもします。 このブログではそのようなニーズを満たすクラスターを運用するときに気を付けたいことや、私自身が検証していて気づいたことをホワイトボードに書く感覚で、だらだらと書きとめます。 なお、本内容はたまたまAzureが提供するKubernetesマネージドサービスである「Azure Kubernetes Service（以下AKS）」を使って検証しましたが、基本的な考え方はやGoogle CloudのGKEやAWS
リソースベースポリシーをサポートしないAWSリソースのクロスアカウント設定と、Go による実装 - freee Developers Hub
こんにちは、サービス基盤のkumashunです。 freeeでは、ほとんどのサービスがAWSをインフラ基盤として利用しています。さまざまな目的や業務上の要件に応じて、複数のAWSアカウントを運用しており、時折、異なるアカウント間でのネットワーク通信やリソースへのアクセス、つまりクロスアカウントアクセスが必要となります。ここでは、リソースベースポリシーをサポートしていないAWSリソースにおける、クロスアカウントアクセスの実現方法についてご紹介します。 事例を "リソースベースポリシーをサポートしないAWSリソース" に限定しているのは、以下の背景からです。簡単に用語を説明します。 IAM Policy AWSリソースへのアクセス定義 誰がどのリソースに何をできる/できないかをJSON形式で定義できる IAM Role 1つ以上のIAM Policyをまとめたもの 人間がマネジメントコンソール
There will be cases like the serverless compute engine ECS Fargate, Google Cloud Run, etc., where some of these pieces are out of our control, so we work on a shared responsibility model. The provider is responsible for keeping the base pieces working and secured And you can focus on the upper layers. Prevention: 8 steps for shift left security Before your application inside a container is execute
Summary of the AWS Service Event in the Northern Virginia (US-EAST-1) Region
December 10th, 2021 We want to provide you with some additional information about the service disruption that occurred in the Northern Virginia (US-EAST-1) Region on December 7th, 2021. Issue Summary To explain this event, we need to share a little about the internals of the AWS network. While the majority of AWS services and all customer applications run within the main AWS network, AWS makes use
8月15日、AmazonはElastic Observabilityを発表しました。 この新機能を使用することで、エンジニアは効果的にECSクラスターのコンポーネントを監視できます。 以下では、詳細な内容と使い方について説明します。 米クラウドコンピューティング大手のAmazon Web Services（AWS）は、8月15日、Amazon ECS（Elastic Container Service）のEC2ベースのクラスター上でアプリケーションを管理する新たなサービス「Elastic Observability for Amazon ECS」を発表した。 lastic Observability for Amazon ECSとは このサービスは、AWSのクラウドネイティブな監視ツールであるCloudWatchを活用し、ECSクラスター内のコンテナ化されたアプリケーションのメトリクスとロ
はじめに こんにちは。転職会議事業部でエンジニアをやっている落合です。最近、転職会議事業部では転職会議MIRRORという新サービスをリリースしました。 詳しくは以下のプレスリリースをご覧ください。 prtimes.jp 私もエンジニアの1人として開発に携わっていたのですが、今回はMIRRORの開発プロジェクトチームにプロジェクトの流れや技術選定・気をつけていたことなどをインタビューしました。 新規サービスの開発の進め方や、リブセンスでのエンジニアの働き方の一例として参考になると嬉しいです。 インタビューに答えていただいた方 転職口コミサイト「転職会議」のエンジニアのみなさんと、開発プロジェクトのプロダクトオーナーの方にお話を伺いました。 転職会議では開発手法としてスクラムを採用しており、1つのスクラムチームにエンジニアが2〜3名と企画職のプロダクトオーナーが1〜3名アサインされて開発を進め
こんにちは。READYFOR 株式会社で SRE として働いている ジェダイ・パンくず🚀 と申します。 突然ですが、皆さんの現場ではインフラのテストの仕組みは導入済みですか？我々はまだ出来ていません(笑)。 READYFOR では IaaS として AWS を、IaC として Terraform を導入しているのですがコードのテスト・コードによってデプロイされた状態のテストを何かしらの仕組みを使って実践したいなぁと考え、今調査している最中です。 今回は Terraform のテストを書くツール Terratest について調べた内容を皆さんに共有したいと思っています。また AWS の状態をテストする仕組みとしてよく知られている Awspec との比較も行っていきたいと思っています。 必要になるモノ 事前に必要になるソフトウェアの一覧です。 Golang (requires version
本記事は、Gunosy Advent Calendar 2020 8日目の記事です。 前回の続きとなります。 tech.gunosy.io 今回は後編として、実際にEKSクラスター構築の途中からアプリをデプロイする環境を整える流れをご案内し、最後に運用管理フェーズで必要となるであろうオススメ監視設定についてご案内します。 クラスター構築・後編（kube-system） アプリのデプロイ編 Helm Skaffold 監視運用編 アラート設定 cloudawach datadog dashboard さいごに クラスター構築・後編（kube-system） さて、EKSクラスターとASGも用意できたので、ここから作り込みを行っていきます。 まずはkube-system環境を整えていきましょう。 用途に応じて必須なものとそうでないものがあります。それぞれ表でまとめます。 対象 要否 メモ cl
「AWS CDK Conference Japan」は AWS CDK ユーザーが集まって事例やノウハウを共有しあうイベントです。今回は、CDKv2をメインテーマに、初の大型カンファレンスが開催されました。ここで登壇したのは、NTTテクノクロス株式会社の渡邉洋平氏。「AWS Solutions Constructs」を使ったシステム作成について発表しました。 自己紹介と本日のアジェンダ 渡邉洋平氏（以下、渡邉）：「AWS Solutions Constructsで楽してシステム作りたいよ〜！」という話をします。よろしくお願いします。最初に今日のアジェンダです。まずは「AWS Solutions Constructsって何？ を調べてみました」。商用でも、実践的な知見ではないことは予めご了承ください。次に「Solutions Constructs×CDK v2で×記述の抽象化・省力化をどこま
国内企業はコンテナ型仮想化の本格的な普及期に。本番環境での採用率は17％、テストや検証段階は23％、合計40％以上が導入へ。IDC Japan
国内企業はコンテナ型仮想化の本格的な普及期に。本番環境での採用率は17％、テストや検証段階は23％、合計40％以上が導入へ。IDC Japan 調査会社のIDC Japanは、コンテナ仮想化技術（以下、コンテナ）とKubernetesの導入状況に関する調査結果を発表しました。 調査は420の国内企業および組織を対象としたアンケートとして、2021年2月に行われたもの。 コンテナの導入状況について調査した結果によると、本番環境で使用している企業は16.9％、導入構築／テスト／検証段階にある企業は23.3％で、この2つを合わせた40.2％の企業がコンテナの導入を進めていることになります。 同社はこの結果から「国内はコンテナの本格的な普及期に入りました」とコメントしています。 また、これまでの調査では、ITサービス企業がコンテナの導入を牽引してきましたが、今回の2021年調査ではサービス業、金融
米アマゾン・ウェブ・サービス（Amazon Web Services）は2020年1月21日（米国時間）、コンテナ群を管理する「Kubernetes（クーバネティス）」のマネージドサービスである「Amazon Elastic Kubernetes Service（EKS）」の料金を半額にしたと発表した。Kubernetesクラスターごとに1時間当たり0.2米ドル（約22円）を同0.1米ドル（約11円）に値下げした。
Amazon EKS のリファレンス環境を、VPC と EKS クラスタ別々に CLI から作成するための手順と実践 | DevelopersIO
また以下のパラメータは、作成したスタックから describe-stacks すれば入手できます。 VPC ID VPCID サブネット ID PublicSubnet1ID, PublicSubnet2ID, PublicSubnet3ID PrivateSubnet1ID, PrivateSubnet2ID, PrivateSubnet3ID というわけで、下記のようなシェルスクリプトを作成しました。JSON の加工のためにjqコマンドを使っていますので、まだの方はこの機会にインストールしてみてください。 また、どうせならということでRemoteAccessCIDRに「今現在つかっているグローバル IP アドレス」を自動的にセットするために、curlコマンドで下記 URL へアクセスしています。あわせてご確認下さい。 https://checkip.amazonaws.com/ 実際に
私がこれを書く動機 私はKaigi on Railsのオーガナイザーのひとりです。Kaigi on Rails 2023は物理会場にて開催されることが公開されました。そうなるともちろん、会場でのインターネットについてはどうなる、どうする、という問題が出てきます。それに備えて、先輩イベントであるRubyKaigiを参考にしようというわけで、自分の理解のために書くことにしました。 おことわり 私はRubyKaigi 2022のネットワークをお手伝いしましたが、ケーブルの巻き直し、APの設営、撤収時の諸々を手伝ったのみです。よってこれから言及する内容については、一般参加者に毛が生えた程度の事前知識しかありません。 またこれから読み解くコードにおいて、コメントする内容の正確性は一切ないものと思って読んでください。 RubyKaigiのネットワークについて RubyKaigiのネットワークにおけるL
サーバーレスの現状
2023年8月更新 この調査は、2022年 6月に公開された本記事の前回版を基にしています。各実証に関するグラフはこちらからダウンロードでき、レポート本体はこちらをクリックしてダウンロードできます。 サーバーレスは現代のコンピューティングの主流となっています。今日、企業は増え続けるサーバーレスサービスを利用し、新しい革新的な方法でアプリケーションの構築と管理を行っています。チームはコンテナ化された関数やフルマネージド型のコンテナベースアプリケーションを利用することで、従来の FaaS (Function-as-a-Service) ソリューションを超えてシステムを拡張できるようになっています。AWS、Google Cloud、Azure などの主要なクラウドプロバイダーや、Vercel、Cloudflare などの新興プラットフォームは、開発者の期待するワークロードに対応するように設計され
Bottlerocket、Calico、eBPF で EKS ネットワークをターボチャージする | Amazon Web Services
Amazon Web Services ブログ Bottlerocket、Calico、eBPF で EKS ネットワークをターボチャージする この投稿は、Tigera, Inc. の共同創設者兼 CTO である Alex Pollitt によって共同執筆されました。 先日、Amazon は Amazon Elastic Kubernetes Service (Amazon EKS) 上での Bottlerocket のサポートを発表しました。Bottlerocket は、セキュリティ、運用、および管理性を重視した、コンテナを大規模に実行するために Amazon が構築したオープンソースの Linux ディストリビューションです。Bottlerocket の詳細については、このアナウンスブログをご覧下さい。 Amazon EKS には、Amazon VPC CNI Plugin によって、
この1年の Amazon EKS アップデートを振り返る Amazon EKS Advent Calendar 2019 の1日目です. アメリカ時間だとまだ12/1なので許して… 他の AWS サービス同様、Amazon EKS もこの1年間で多くのアップデートを発表してきました. 本記事では、ざっくりとこの1年間の主なアップデートを振り返りつつ、いよいよ本日から開催される re:Invent に備えていこうではありませんかという、そんな目論見がございます. 日付順にアップデートを追って書いていたんですが、なんだか読みにくかったのでカテゴリごとに分けて書いていきます. 目次です. Security & Reliability Regions & Versions Nodes Storage & Networking Tooling Machine Learning その他 まとめ Sec
技術部セキュリティグループの三戸 (@mittyorz) です。こんにちは。 去る6/25,26日に開催されたAWS re:Inforce 2019に参加しましたので、簡単ではありますが紹介させていただきたいと思います。 今回が初開催なため規模感や雰囲気などは未知数の中、クックパッドからはセキュリティグループの三戸・水谷 (@m_mizutani）とVP of Technologyの星 (@kani_b) のあわせて3名で参加いたしました。 AWS re:Inforce とは AWS re:Inforceは、数あるAWSのカンファレンスの中でもセキュリティに特化したカンファレンスです。 セキュリティに関するイベントはre:Inventなどでもこれまであったわけですが、re:Inventが非常に巨大なイベントとなってしまったこと、クラウドベンダーとしてセキュリティにおいてどのような姿勢で望む
概要 2022年4月頃に、AWS のコンテナヒーロである Vlad Ionescu が Amazon ECS でのコンテナスケーリング時の起動速度をまとめたブログが公開された。 今回は、ブログを読み解きこのブログで語られた内容についてまとめていこうと思います。 ※ なお、本ブログでは Amazon ECS / AWS Fargate についてのサービスを説明することは対象としておりません。あらかじめご了承ください。 ECS における各種データプレーンとタスク起動に比較 そもそも Amazon ECS というのは、AWS が独自開発しているコンテナオーケストレーションサービスです。 そのため、AWS 側が見てくれる領域とユーザ側が見なければいけない領域が異なる点には注視していないといけない。 下記を見てみると、領域の違いがわかるのですが、実際に稼働するコンテナのアプリケーションや、ECS A
【AWS】AWS認定『SysOps アドミニストレーター - アソシエイト』(SOA)も合格した話 - Rのつく財団入り口
アソシエイト3冠達成したよ AWS認定の運用向け資格、『SysOps アドミニストレーター - アソシエイト』に、東京の緊急事態宣言前夜の2020年3月末に一発合格してアソシエイト３冠を達成することができました。 祝ってくれた皆様ありがとうございます。といいつつもう７月、コロナあれこれでだいぶ後になってしまいましたが、合格エントリとしてこれから挑戦する方向けに情報を残しておこうと思います。 アソシエイト3冠達成したよ 挑戦への経緯 きっかけ 書いている人のスキルセット(笑) AWSの実務経験とよく使う興味のあるサービス やったこと 基本方針の確定 スタプラで学習記録を可視化する イベントに……あまり行ってない ネット上の合格エントリを参考にする 学習時間の確保に立ち向かう コロナの脅威に立ち向かう 計画変動に立ち向かう 学習の流れ WHIZLABSを導入 WHIZLABSの英語テキストをハ
Amazon EFSのクライアント当たりの最大スループットが1.5GB/sに。これまでより3倍高速なファイルアクセスを実現
Amazon EFSのクライアント当たりの最大スループットが1.5GB/sに。これまでより3倍高速なファイルアクセスを実現 AWS（Amazon Web Services）は、スケーラブルなNFSサーバをマネージドサービスで提供する「Amazon EFS」（Amazon Elastic File System）のクライアント当たりの最大スループットを、これまでの3倍となる1.5GB/sに拡大したことを発表しました。 Amazon EFSは、Amazon EC2インスタンスやAmazon EKSポッドなどからNFSプロトコルでマウントして利用するストレージサービスです。あらかじめ容量を決めてプロビジョニングする必要がなく、保存するファイルの大きさに対して自動的にキャパシティが増減していくのが特長です。 同時に数千もの同時接続にも対応するスケーラビリティを備えています。 今回発表された、クライ
AWS Organizations を利用したマルチアカウント環境での Amazon ECR リポジトリの共有 | Amazon Web Services
Amazon Web Services ブログ AWS Organizations を利用したマルチアカウント環境での Amazon ECR リポジトリの共有 この記事は Sharing Amazon ECR repositories with multiple accounts using AWS Organizations を翻訳したものです。 お客様は AWS 上でセキュリティの向上と職務の分離を行うためマルチアカウントの導入を進めています。Amazon Elastic Container Registry (ECR) のような一部の AWS サービスは、管理のオーバーヘッドを減らし可視性を高めるために、単一のインスタンスをアカウント間で共有できるスケーラビリティをサポートしています。AWS アカウントは、アカウント番号やその他のアカウント固有のメタデータが頻繁に生成される弾力性のあ
2023.05.08 追記 最近では、日本語ハンズオンやワークショップがまとめられたサイトが公開されているため、こちらをまずはチェックすることをオススメします！ 不定期で更新しています。 2023/05/08 AWS Amplify and AWS AppSync 及び VPC Endpoint Workshop リンク失効 2021/06/07 AWS Workshop リンクを追加 2020/10/28 AWS Well-Architected Labs リンクを追加 2020/08/14 Modernization Workshops リンクを追加 2020/08/14 VPC Endpoint Workshop リンクを追加 こんにちは 園部です。 AWS から一部のサービス・テーマ別でサイトが設けられ、実際に手を動かしながら学習すること出来るワークショップが提供されているのはご存
EKSクラスターへ「kubectl」コマンドでアクセスする際の認証・認可の仕組みと設定 | DevelopersIO
上記のデフォルトロールに当てはまらないアクセス権限を定義したい場合は、新たなロールを定義することになります。 例えば、ポッドの参照のみ行えるアクセス権限は、以下のロールで定義できます。 pod-reader-clusterrole.yaml apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata: name: pod-reader rules: - apiGroups: [""] resources: ["pods"] verbs: ["get", "watch", "list"] $ kubectl apply -f pod-reader.yaml clusterrole.rbac.authorization.k8s.io/pod-reader created ただし、実際には「ポッドの参照のみ」のアクセス権
オートスケールするGitHub Actionsセルフホストランナー環境 tornadeの紹介 ｜Subaru Nakamura(varu3)
はじめにみなさん、GitHub Actionsは利用していますか。 先日、Github actionsのコストパフォーマンスについて検討していた以下の記事が少し話題になっていました。 この記事のデータによると、単純な料金の比較ではFargate Spotを利用してセルフホストランナーを起動するのが圧倒的にコストが低くなるということがわかります。 2022年12月現在、Fargate SpotはEKSに未対応で対応していないため、利用するためにはECSでないといけません。そのため、EKSでオートスケールするので有名な actions-runner-controller ではFargate Spotは利用できません。 そこで思いつきました。ECS上でFargate Spotを利用してオートスケールする仕組みを作れば、より安くセルフホストランナーを利用することができるのではないか、と。 初めにE
こんにちは！コンサル部のinomaso(@inomasosan)です。 絶賛コンテナ勉強中なのですが、CI/CDやIaC、ECSやEKS等で学ぶことが多くて目が回りますよね。 最近、社内の経験者に勉強方法を聞いてみたのですが、初めはそれぞれ分けて勉強した方が良いとのことでした。 ということで、まずはDockerのチュートリアルからはじめてみることにしました。 やること Docker公式ドキュメントのDocker ComposeとWordPressのクイックスタート この記事で学べること DockerでWordPress環境構築 環境 今回実行した環境は以下の通りです。 macOS Catalina 10.15.7 Docker Desktop 3.1.0 コード 任意のディレクトリにdocker-compose.ymlを作成。 チュートリアルに従い、以下のコードを保存。 version:
こんにちは、みてね事業部 開発グループ SREチームの清水 @isaoshimizu です。 この記事では、「家族アルバム みてね（以下みてね）」を支えるSREチームはどんなチームで、普段どんなことをやっているのかを紹介していきたいと思います。チームの行動は頻繁にアップデートされていくので、定期的にブログ記事にできたらと思っています。 みてねのSREチームはこんなチームまずは、みてねのSREチームの紹介と毎日の仕事の流れについて紹介したいと思います。 ちなみに、SREチームは2018年2月1日に作られました。この時のチームメンバーは3名でした。 SREチーム用のSlackチャンネルが作られたときここから徐々にメンバーが増え、2021年6月時点でのSREチームメンバーは5名となっています。 SREチームが作られてから3年以上経過し、当初からスクラムというスタイルで変わらず運用していますが、1
はじめに 用語の定義 取り組みの背景 マイクロサービス化の目的 モノリスのつらさ ふたたびマイクロサービス化の目的 マイクロサービスとは 採用技術について 技術スタック サービス構成 現状の課題 技術面 最後に はじめに こんにちは、マイクロサービス基盤チーム所属のzigeninです。 この記事では、マイクロサービス化の取り組みについて紹介します。 技術的な取り組みやチームに興味を持っていただければと思います。 用語の定義 はじめに本文で使用する単語を定義させていただきます。 コアドメイン：アンドパッドの事業に直結するドメイン 施工管理が該当します 施工管理は建設現場のマネジメントです。 ソフトウェア開発に例えるとプロジェクトマネジメントに近く、ツールとしてはJIRAやGitHub Projectをイメージしていただけると当たらずといえども遠からずです。 汎用ドメイン：コアドメインを支援す
ざっとSecurity Bulletinの2件を読みながらのメモ。12月18日21:00時点。誤りや情報が古いなどありましたらご指摘いただけるとありがたいです。 AWS（Amazon Web Services）のCVE-2021-44228関連情報 Apache Log4j2 セキュリティ速報 (CVE-2021-44228) Apache Log4j2 のセキュリティ速報 (CVE-2021-44228) の更新情報 日本語情報が遅れることがあります。原文は、上記各ページ右上（モバイルブラウザではページ最下部）で言語「English」を選ぶと確認できます。 影響があるもの Amazon Kinesis は修正済みのKinesis Agentが利用可能になっている。 Amazon Kinesis Data Analytics は修正済み。利用者は、アプリケーションを日本時間2021年12月
2020年11月のサーバーレス関連まとめです。こちらのイベントで取り上げる内容です。 serverless-newworld.connpass.com 2020年11月のリリース 11月30日からAWSの年次グローバルカンファレンスであるre:Inventが開催されることから細かいアップデートが多めですね。ていうか数が多すぎるのでS3とか割愛しましたｗ タイトルだけで内容がわかるようなものは特にコメントしていません。 Amazon Kinesis Data Streams は、最大 1 年間のデータストリームの保持が可能に データ保存期間がこれまでの最大7日から最大1年に デフォルトは24時間 Amazon MQ for RabbitMQ の発表 Amazon MQがRabbitMQをサポート RabbitMQは広く使われているOSSのメッセージブローカー 複数のプロトコルに対応、軽量とい
この記事はエムスリーAdvent Calendar 2023とMLOps Advent Calendar 2023の12日目の記事です。 AI・機械学習チームの北川です。 最近は猫のかまってアピールがすごすぎて、よく仕事の邪魔されます。 かまって欲しがる猫 現在AI・機械学習チームではMLのバッチをGoogle Kubernetes Engine(GKE)上で運用しています。 現在数えてみたところ240個以上のバッチがGKE上で動いているようです。 AI・機械学習チームでは2019年頃から約４年ほどGKE上でMLバッチを運用しています。 その間にコストの最適化や安定したバッチの運用などに力を入れてきました。 この記事では、主にスケールインとコスト最適化について説明しようと思います。 チームのMLについて全体を把握したい場合は以下の記事が詳しいです。 www.m3tech.blog GKEの
[アップデート] EKSでIAMロールを使ったPod単位のアクセス制御が可能になりました！ | DevelopersIO
EKS (Elastic Kubernetes Service) のアップデート「IAM Roles for Service Accounts」が発表されました。概要の説明とチュートリアルを行った際の流れをご紹介します。 みなさん、こんにちは！ AWS事業本部の青柳＠福岡オフィスです。 AWSのマネージドKubernetesサービスである「EKS」(Amazon Elastic Kubernetes Service) に、多くの人が待望していた (かもしれない) 機能がついに追加されました！ Amazon EKS Adds Support to Assign IAM Permissions to Kubernetes Service Accounts タイトルを直訳すると「Amazon EKSがIAMアクセス許可をKubernetesサービスアカウントへ割り当てるサポートを追加」です。 今
New – Savings Plans for AWS Compute Services | Amazon Web Services
AWS News Blog New – Savings Plans for AWS Compute Services I first wrote about EC2 Reserved Instances a decade ago! Since I wrote that post, our customers have saved billions of dollars by using Reserved Instances to commit to usage of a specific instance type and operating system within an AWS region. Over the years we have enhanced the Reserved Instance model to make it easier for you to take ad
GitHub - bottlerocket-os/bottlerocket: An operating system designed for hosting containers
Welcome to Bottlerocket! Bottlerocket is a free and open-source Linux-based operating system meant for hosting containers. To learn more about Bottlerocket, visit the official Bottlerocket website and documentation. Otherwise, if you’re ready to jump right in, read one of our setup guides for running Bottlerocket in Amazon EKS, Amazon ECS, or VMware. If you're interested in running Bottlerocket on
Deepen Understanding of CNI by reading amazon-vpc-cni-k8s
仕事で amazon EKS を運用していると、時たま network 周りのエラーに遭遇します。都度都度 on-demand に調査をしているのですが、一度全体感を抑えておいた方がいいなと感じたので amazon-vpc-cni-k8s のコードリーディングを通して k8s の network 周りの理解を深めることにしました。 CNICNI とは端的にまとめると、Container Runtime が用意する network namespace に対して network interface を ADD/DEL する操作を実装する interface です。 Container Runtime の仕様となる CRI が CNI に依存して実装されるので、具体的な Network 設計を抽象化して CRI（及びその client となる kubelet）から network resourc
デスクトップにもKubernetesの波が来る Docker Desktopは、コンテナをはじめて扱うときにほとんどの人が選ぶ個人端末上のコンテナ動作環境だと思います。 一方で、本番環境でコンテナを動かすときは、パブリッククラウド上のマネージドKubernetesを利用することが最近はトレンドとなっていると思います。 ・AWSならAmazon EKS（Amazon Elastic Kubernetes Service） ・AzureならAKS（Azure Kubernetes Service） ・GoogleならGKE（Google Kubernetes Engine） ・IBM CloudならIKS（IBM Cloud Kubernetes Service） ・Oracle CloudならOKE（Oracle Cloud Ingrastructure Container Engine f
AWS for Fluent Bit による Kubernetes ロギング | Amazon Web Services
Amazon Web Services ブログ AWS for Fluent Bit による Kubernetes ロギング 集中ログは、Kubernetes クラスターを大規模に実行および管理するための重要なコンポーネントです。開発者はアプリケーションのデバッグとモニタリングのために、運用チームはアプリケーションのモニタリングのために、セキュリティはモニタリングのために、それぞれログにアクセスする必要があります。これらのチームには、ログの処理と保存に関する異なる要求事項があります。このブログ記事では、Amazon CloudWatch と組み合わせた AWS for Fluent Bit を使用してログを集中管理するソリューションを紹介します。 AWS for Fluent Bit は Fluent Bit 上に構築されたコンテナであり、ログフィルター、パーサー、およびさまざまな出力
old schoolerなネットワークエンジニアがIAP Connectorを試してみた - エニグモ開発者ブログ
お疲れ様です。インフラチームの山口です。 この記事は Enigmo Advent Calendar 2020の18日目の記事となります。 2020年はコロナ禍でほぼ全社的にリモートワークになったこともあり、 前職のネットワークエンジニアだった頃のWANやビデオ会議の思い出を思い返す機会が多い一年でした。 強く思い出に残っているのは大概、障害と機器の不具合などのトラブル系しかなく、それだけでお腹いっぱいになる感じです。 話は変わりますが、アドベントカレンダーは業務から少しずらした内容で書くポリシーなので、現行の業務とはあまり関係ない、リモートワークに伴ってよく起こりがちなネットワークのごまかしの話をします。 今年、私の業務何やってたかなというとEKSの運用サポートとオンプレの保守対応が多かったので、業務からずれた内容をエイヤで書き下します。 1.はじめに 本記事はオフィスおよびオンプレミスの
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
詳細: Fargate データプレーン | Amazon Web Services
高可用性かつスケーラブルなKubernetesクラスターを運用するときに気を付けたいこと - Qiita
Container security best practices: Comprehensive guide
AWS、新サービス「Elastic Observability」を発表 ー ECSクラスターの可視化向上
転職会議で新サービスMIRRORを作った話 - LIVESENSE ENGINEER BLOG
Terraform のテストを Golang で書く！ - READYFOR Tech Blog
ゼロから始めるEKS事始め（後編） - Gunosy Tech Blog
AWS Solutions Constructsでシステム作成は楽になるのか？ 実装・設計・非機能設計から見る、活用のメリット
AWSがKubernetesサービスを半額に、1時間0.1ドル
RubyKaigi 2022の会場ネットワークリポジトリを読み解く | うなすけとあれこれ
この1年の Amazon EKS アップデートを振り返る
AWS re:Inforce 2019に参加してきました - クックパッド開発者ブログ
AWS側がしてきたECS / Fargate のスケーリング速度改善の話 - Qiita
AWS ワークショップを探してみました！ | DevelopersIO
【超初心者向け】DockerでWordPressをサクッと構築 | DevelopersIO
「家族アルバム みてね」のSREチームの紹介と取り組み
ANDPADのマイクロサービス基盤チームの取り組み - ANDPAD Tech Blog
CVE-2021-44228 Log4jの脆弱性のAWS環境への影響 - Qiita
Monthly AWS Serverless Update 202011 - Sweet Escape
GKEでMLバッチ運用のコツ - エムスリーテックブログ
現段階のKubernetesに望むこと - orangeitems’s diary