こんにちは。技術部プラットフォームグループのshibatchです。プラットフォームエンジニアとして、主にSUZURIとminneをより良くするおしごとをしています。 さて私が主として携わっているSUZURIですが、2014年のサービス開始以来、一貫してHerokuを利用してきました。このたび、10年間使っていたプラットフォームを卒業し、新たにAmazon EKS(Elastic Kubernetes Service)へ移す方針に決めた経緯についてお話しします。EKSに移すという決定にするまでに多角的に検討し、時に悩みながら決定した過程について明らかにしていきます。 なお、現在プラットフォーム移設の真っ最中であり、移設の詳細な内容はこの記事に含めません。移設作業はほぼ完了に向かっており、また別途お話しする予定です。 この記事は以下の3部構成になっています。 Herokuから移行しようと思った
はじめに Amazon GuardDutyはどんなサービス？ S3 Protection EKS Protection Malware Protection RDS Protection Lambda Protection Runtime Monitoring Runtime Monitoring 自動エージェント設定 Runtime Monitoring 手動エージェント設定 信頼されているIPリスト/脅威IPリスト マルチアカウント管理におけるAmazon GuardDutyの活用 Amazon GuardDutyを活用したマルチアカウント設計・運用のポイント ①全てのAWSアカウント、全ての利用リージョンで有効化する ②検出結果を定期的に確認する ③Security Hubとの連携 ④世界観、コスト、体制を考慮したGuardDutyの活用 Amazon GuardDutyを活用したマ
Amazon CloudWatch Application Signals, for application monitoring (APM) is generally available - AWS
Amazon CloudWatch Application Signals, for application monitoring (APM) is generally available Today, AWS announces the general availability of Amazon CloudWatch Application Signals, an OpenTelemetry (OTeL) compatible application performance monitoring (APM) feature in CloudWatch, that makes it easy to automatically instrument and track application performance against their most important business
本日、AWS は Amazon EKS クラスター向けの CoreDNS 自動スケーリング機能の一般提供を発表しました。この機能により、カスタムソリューションの管理によるオーバーヘッドなしに、絶えず変化するサービスの容量ニーズに合わせて DNS サーバーインスタンスの容量をスケーリングできます。 多くの組織が、スケーラブルでコンテナ化されたアプリケーションを構築するためのコンピューティングインフラストラクチャプラットフォームとして Kubernetes を標準化しています。CoreDNS ポッドのスケーリングは、クエリの負荷を複数のインスタンスに分散して信頼性の高い DNS 解決を実現し、アプリケーションとサービスに高可用性を提供するための鍵となります。今回のリリースにより、スケーリングパラメータを事前設定して各クラスターにクライアントをデプロイする必要なく、容量を監視し、それに応じてスケ
ネットワーク API により通信ネットワーク機能を AWS のアプリケーション開発者に開放 | Amazon Web Services
Amazon Web Services ブログ ネットワーク API により通信ネットワーク機能を AWS のアプリケーション開発者に開放 API による通信ネットワークへのアクセス アプリケーション・プログラミング・インターフェース(API)は、現代のソフトウェア設計において不可欠な要素であり、マイクロサービスアーキテクチャの基盤です。過去1年間、世界中の通信事業者は、ネットワークを強化し、ネットワークサービスへのアクセスを可能とする API を提供することで、通信ネットワークのオブザーバビリティ（可観測性）とプログラマビリティを向上してきました。GSMA のOpen Gateway イニシアチブの下で、通信事業者はこれらの API 定義の標準化を進めており、これらのAPIを使用するアプリケーションは、さまざまな接続プロバイダーや地域間で移植可能になっています。アプリケーション開発者（デ
Securing Amazon ECS workloads on AWS Fargate with customer managed keys | Amazon Web Services
AWS Compute Blog Securing Amazon ECS workloads on AWS Fargate with customer managed keys As Amazon CTO Werner Vogels said, “Encryption is the tool we have to make sure that nobody else has access to your data. Amazon Web Services (AWS) built encryption into nearly all of its 165 cloud services. Make use of it. Dance like nobody is watching. Encrypt like everyone is.” Security is the top priority a
Journey to Containers in Core Services Worker Platform
By Worker Team (Johan Gustavsson, Kwangshin Oh, Ryo Wada, Takashi Kurihara, and You Yamagata)March 30, 2024 Introduction At Treasure Data, we’re on a mission to radically simplify how companies use data to create connected customer experiences. Our sophisticated cloud-based Customer Data Platform (CDP) drives operational efficiency across the enterprise to deliver powerful business outcomes in a w
endoflife.dateからEOL情報を取得しGoogleスプレッドシートで一覧化する | DevelopersIO
アノテーション株式会社のあのふじたです。 最近、様々なプロダクトごとのEOL情報をまとめたサイト「endoflife.date」 を知りました。 このサイトのAPIを利用して、EOL情報を取得し、Googleスプレッドシートで一覧化してみたいと思います。 endoflife.date とは endoflife.date は、様々な製品のEOL日付とサポートライフサイクルを文書化しているサイトです。 API のページ APIの詳細は以下のリンクから確認できます。 API ドキュメント 現時点では3つのエンドポイントが説明されています。 Get All Details Single cycle details All Products All Products エンドポイントを使うと、全プロダクトの情報が取得できます。 全プロダクト情報 Get All Details は特定のプロダクトの全情
Setting up Pod Level Cost Allocation for AWS EKS
As cloud adoption surges, effective cost management is paramount for Application teams. Many modern products and applications are developed on the cloud agnostic Kubernetes infrastructure. While AWS Elastic Kubernetes Service (EKS) offers powerful orchestration capabilities, dissecting costs at a granular pod level can be very challenging. Without added tools, it was/is nearly impossible to get it
Are you curious to discover the latest trends in Django development? In collaboration with the Django Foundation, PyCharm surveyed more than 4,000 Django developers from around the globe and analyzed the trends in framework usage based on their answers. In this blog post, we share the following key findings with you: Every third Django developer also uses Flask or FastAPI. Most developers use Djan
関連キーワード Amazon Web Services | Amazon S3 | 人工知能 クラウドベンダーAmazon Web Services（AWS）がクラウドストレージ「Amazon Simple Storage Service」（Amazon S3）を2006年に提供開始してから18年が経過した。その間、同社は処理速度の向上やサービス追加など、S3のアップデートを繰り返してきた。 近年では特に、AWSは機械学習など人工知能（AI）技術に関する開発のための機能やサービスをAmazon S3に追加している。その主要な進化を確認しよう。 AI時代の進化とは？ 「Amazon S3」の最新動向 併せて読みたいお薦め記事 Amazon S3の賢い使い方 Amazon S3やSageMakerで作るドローンサービス AWSを使う理由とは？ 「Amazon S3」を安く使う賢い方法 「S3
[アップデート] Amazon EKS が CoreDNS PodのAuto Scalingをネイティブサポートしました | DevelopersIO
Kubernetes未満のEKSクラスターでは使用することはできません。 気になるのは何をトリガーにAuto Scalingするかです。ドキュメントを眺めているとNode数を増やしたり、NodeのCPUコア数を増やすとスケールするようです。 This CoreDNS autoscaler continuously monitors the cluster state, including the number of nodes and CPU cores. Based on that information, the controller will dynamically adapt the number of replicas of the CoreDNS deployment in an EKS cluster. . . (中略) . . As you change the numbe
![[アップデート] Amazon EKS が CoreDNS PodのAuto Scalingをネイティブサポートしました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/8075fcd940cf8089a614c8c7767efa8ac5b79760/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2024%2F03%2Famazon-elastic_kubernetes_service_eks.png)
こんにちは。X（クロス）イノベーション本部クラウドイノベーションセンターの柴田です。 本記事ではDatadog Logsにてホストタグが継承されない問題の原因と解決方法をご紹介します。 発生した問題 Amazon EKSクラスタ＆マネージド型ノードグループを構築し、その上のPodのログをDatadog Logsで収集・管理していました。 あるとき一部のログに AWS Integration 関連のタグ（ region 、 availability-zone 、 autoscaling_group 、EC2インスタンスのタグなど）が付与されていないことがわかりました。 以下は期待通り先述のタグが付与されたログ（以降は正常なログと呼称）です。 {"msg":"structured log without host attribute"} 以下は期待に反して先述のタグが付与されなかったログ（以降
【アップデート】AWS Security Hub のセキュリティ標準に新たに15個のチェック項目が追加されていました(2024/5/3) | DevelopersIO
こんにちは！AWS事業本部のおつまみです。 みなさん、Security Hubの運用をしていますか？私はしています。 AWS公式ブログでアナウンスは出なかったのですが、2024/5/3 に AWS Security Hubのセキュリティ標準に新たに 15個のチェック項目(コントロール)が追加されていました。 Document history for the AWS Security Hub User Guide - AWS Security Hubより 本エントリでは、新規追加されたコントロールの情報をまとめたものを簡単なコメント付きで紹介していきます。 各コントロール毎に以下の情報をまとめていきます。 項目 概要 Amazon Data Firehose [DataFirehose.1] Firehose delivery streams should be encrypted at r
NTTドコモが5G無線アクセスネットワークでAWSを選定 2024年2月26日、AWSがNTTドコモに関する注目すべき発表を行った。オープンな5G無線アクセスネットワーク（オープンRAN：Radio Access Network※1）の国内での商用展開にアマゾン ウェブ サービス（以下、AWS）を選定した、というものだ。 具体的には、コンテナ管理ソフトウエア「Amazon Elastic Kubernetes Service Anywhere（Amazon EKS Anywhere）」をNTTドコモの5GオープンRANに展開し、自動クラスター管理ツールで5Gネットワークの運用を簡素化する。Amazon EKS Anywhereにより、通信事業者が5Gコアネットワーク（5Gコア）からオペレーションサポートシステムおよびビジネスサポートシステム（OSS／BSS）までのエンド・ツー・エンドでのネ
目的 勉強していて用語を調べるたびにネットサーフィンするのが面倒だったのでまとめてみました。 是非本記事を開きながら学習し、学習効率を高めてください。 おすすめの参考書 AWSの勉強をしていて意外と困るのが、用語の意味が分からないことなのですが、この本は掲載されているAWS関連の用語の定義がきちんと書かれており、資格の種類にかかわらず助けになるバイブルです。いろんな参考書を読みましたが、この書籍は読んでいてストレスが全くない最高の本です。 どんなAWS公認の参考書よりも強くお薦めします。 A Access Control List（ACL） システムやファイル、ネットワーク上のリソースなどへのアクセス可否の設定をリストとして列挙したもの。2021年に無効化できるようになり、現在は無効化してバケットポリシーのみでアクセス制御することが推奨されている。 Active Directory Con
困っていた内容 利用できる EKS アドオンのバージョン一覧を取得したいです。 取得する方法を教えてください。 どう対応すればいいの? AWS CLI のdescribe-addon-versionsを実行してください。 コマンド例 aws eks describe-addon-versions \ --kubernetes-version 【Kubernetes バージョン】 \ --addon-name 【アドオン名】 \ --query 'addons[].addonVersions[].{Version: addonVersion}' --output text ※アドオン名はAmazon EKS で利用可能な Amazon EKS アドオンに記載されています。 利用できる EKS アドオンのバージョンは AWS CLI のdescribe-addon-versionsで確認します
Amazon Web Services ブログ Amazon VPC CNI が拡張サブネットディスカバリーを導入 AWS の Amazon Elastic Kubernetes Service (Amazon EKS) を使用してアプリケーションをモダナイズする際、ユーザーはしばしばスケールに伴う IPv4 アドレス空間の枯渇という深刻な問題に直面します。ユーザーは、運用の複雑さを増やすこと無く、EKS 上の Pod に割り当てられた VPC の CIDR とサブネットをできる限り活用したいと考えています。IPv6 アドレス空間の利用が、スケーラブルなネットワークソリューションを構築するための長期的な解決策になると考えられています。しかし、他のネットワークコンポーネントやアプリケーションの IPv6 サポートの制約から、Amazon EKS ユーザーは IPv4 環境を強いられている可能
DevOps on AWS大全
はじめに この記事ではDevOpsを切り口に私がまとめている記事を目次形式でまとめます。 この記事を読んでほしい人 AWSにおけるDevOpsを網羅的に整理したい人 私が書いている記事の前後性や一覧がわかりづらく困っている人 AWS Certified DevOps Engineer Professionalを目指している人 DevOps on AWS大全目次 SDLCのオートメーション AWSにおけるCI/CDのテクノロジースタック https://zenn.dev/tech4anyone/articles/8be802b98dc4f4/ AWSにおけるパイプラインのベストプラクティスパターン整理 https://zenn.dev/tech4anyone/articles/d58d1690973fbd/ AWS CodeCommitの超詳細解説 https://zenn.dev/tech
AWSのECRは、コンテナソフトウェアの保存、共有、デプロイ AWSのECR（Elastic Container Registry）は、コンテナイメージの登録に使えるレジストリサービス。AWSサービスで使用するコンテナイメージを保存しておくと、GitHubやGitLabなどの外部のレジストリサービスを利用するよりも連携が簡単になります。 【関連記事】 ▶GitHubとGitLabの違い ユーザ数規模や特徴、価格やサーバ環境を比較 Elastic Container Registryに登録されたコンテナは、Amazon Elastic Container Service (Amazon ECS) か、Amazon Elastic Kubernetes Service (Amazon EKS) での保存や実行が可能です。 【関連記事】 ▶AWSのdocker実行はAmazon ECS コンテナ
2024年5月くらいのAWS最新情報ブログとかをキャッチアップする – AWSトレンドチェック勉強会用資料 | DevelopersIO
こんにちは、臼田です。 みなさん、AWSの最新情報はキャッチアップできていますか？(挨拶 社内で行っているAWSトレンドチェック勉強会の資料をブログにしました。 AWSトレンドチェック勉強会とは、「日々たくさん出るAWSの最新情報とかをブログでキャッチアップして、みんなでトレンディになろう」をテーマに実施している社内勉強会です。 このブログサイトであるDevelopersIOには日々ありとあらゆるブログが投稿されますが、その中でもAWSのアップデートを中心に私の独断と偏見で面白いと思ったもの(あと自分のブログの宣伝)をピックアップして、だいたい月1で簡単に紹介しています。 5月は69本ピックアップしました。IPv6のアップデートなどはチェックしていきたいですね。 ちなみにAWSの最新情報をキャッチアップするだけなら週刊AWS、生成AIについては週刊生成AI with AWSがおすすめですが
EKS(Kubernetes)を触っていると、EC2 で立てているノードの IP アドレス管理も気になってきます。 1 つのノードで、どのくらいの pod を動かすのか、主に CPU やメモリなどのリソース中心で考えてしまいますが、割り振れる IP アドレスの数も重要ですよね。 ということで、EC2 のインスタンスタイプごとに、以下の情報を調べてみました。 ・最大の ENI の数 ・1 つの ENI ごとの IP アドレスの数 ENI(ネットワークインタフェース) ENI の情報は awc cli を使えばすぐにわかります。 You can use the describe-instance-types AWS CLI command to display information about an instance type, such as its supported network i
Amazon Web Services ブログ 新しい AWS ヒーローたちをご紹介します – 2024 年 6 月 活気に満ちた AWS コミュニティは、世界中の何百万ものビルダーで構成されています。このグローバルなオーディエンスには、問題を解決するために全力を尽くし、学んだことやベストプラクティスを惜しみなく共有して他者をサポートする、技術を心から愛する人々が含まれています。それが AWS ヒーローです。インスピレーションをもたらすこれらのリーダーは大きな貢献を果たしており、AWS ヒーロープログラムは、これらのリーダーの影響力のある取り組みを高く評価し、注目してもらうための当社なりの方法です。 最新の AWS ヒーローたちに向けて、ともに祝意を表しましょう! Arshad Zackeriya 氏 – ニュージーランド、ウェリントン コミュニティヒーローである Arshad Zacke
Amazon Web Services ブログ AI/ML CoE (Center of Excellence) の設立 本記事は、2024年5月9日に公開された Establishing an AI/ML center of excellence を翻訳したものです。 人工知能と機械学習（AI/ML）の急速な進歩は、業界を問わず変革の原動力となっています。マッキンゼーの調査によりますと、ファイナンスサービス業界（FSI）全体で、生成AIは4,000億ドル（業界売上高の5％）以上の生産性向上をもたらすと予測されています。ガートナーによりますと、2026年までに80％以上の企業がAI を導入する見込みです。Amazon では、イノベーションがカスタマーエクスペリエンスの向上とプロセスの効率化をもたらし、生産性を向上させると考えています。生成AI は事業変革の契機となるため、FSI の企業にと
[レポート] AWSセキュリティサービスによるコンテナの脅威検出と対応 #TDR372 #AWSreInforce | DevelopersIO
AWS re:Inforce 2024 TDR372 Container threat detection and response with AWS security services のセッションレポートです。 AWSにおけるコンテナのセキュリティ対策を総ざらいで体験できる、ハンズオン形式のセッションでした。 こんにちは！ AWS 事業本部コンサルティング部のトクヤマシュンです。 フィラデルフィアで開催されている AWS re:Inforce 2024 に参加しています。 本記事は AWS re:Inforce 2024 のセッション「Container threat detection and response with AWS security services」のセッションレポートです。 さまざまなサービス・ツールを使って多層的なコンテナ脅威検知・対応を行うため、参加すればひと通
![[レポート] AWSセキュリティサービスによるコンテナの脅威検出と対応 #TDR372 #AWSreInforce | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/d1ac42cfd4e5f0a287ed5db0380a987866b4dde2/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2024%2F06%2Feyecatch_awsreinforce2024_1200x630.png)
O2 Telefonica と Nokia、 5G コアネットワークを AWS へ移行 | Amazon Web Services
Amazon Web Services ブログ O2 Telefonica と Nokia、 5G コアネットワークを AWS へ移行 本記事は、「O2 Telefonica Moves its 5G core network to the Cloud with AWS and Nokia」（2024年5月7日公開）を翻訳したものです。 O2 Telefónica は新しい「5Gクラウドコア」を発表しました。この5Gクラウドコアはヨーロッパのネットワーク機器プロバイダーである Nokia とアマゾンウェブサービス（AWS）の技術を使用して、完全にクラウド上で構築されます。 より多くの通信事業者が、ネットワークワークロードをクラウドに移行する価値を認識しています。今年前半、日本の主要なモバイルオペレーターである NTTドコモが、AWS と協力して全国規模の 5G オープン無線アクセスネットワ
煩悩のコントロール - Qiita
ウィンストン・チャーチル 成功とは、熱意を失わずに失敗から失敗へとつまずくことです。 ヘンリーフォード 失敗は、今度はより賢く再試行する機会にすぎません。 ビル・ゲイツ 失敗したら落ち込んでいる場合ではなく、いちはやく失敗の原因を探ることが大事である。 John C. Maxwell (ジョン・C・マクスウェル) 人は自分の間違いを認めるのに十分成熟し、そこから利益を得るのに十分な賢さ、そしてそれを正すのに十分な強さを持っていなければなりません。 目次 はじめに 失敗することのメリット 効果的な努力のための内部要因と外部要因の分析 困難を乗り越えるための忍耐力と回復力を身につける 創造性と問題解決能力を向上させる こうやって自分なりのフローを探す 身に着けた問題解決ノウハウの具体的な話 現在は、AWSの資格全てに合格しています はじめに 私は、成功した経験よりも、失敗した経験を数多く持つ事
こんにちは。おうちKubernetesを勧めるためにやってきました。 このシリーズでは、Part 1で「なぜやるのか」、Part 2で「どうやるのか」について話します。 この記事は自宅サーバー上のKubernetesで不特定多数向けのサービスを展開することを勧めるものではなく、自分用・身内用のアプリを自宅サーバー上のKubernetesで運用することを勧めるものです。 エンジニアは全員おうちKubernetesをやるべき絶対的な理由 自己研鑽のために （鑽←この字「研鑽」と「大鑽井盆地」でしか見ない） 企業がKubernetesを採用する場合、ほとんどがEKSやGKEといったクラウド上で動作するマネージドKubernetesサービスを使用すると思います。ただ、Kubernetesであればコマンドやマニフェストファイルの書き方は共通なので、おうちKubernetesで学んだことがそのまま業務
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
なぜSUZURIはHerokuから「EKS」へ移設する決定をしたのか - Pepabo Tech Portal
マルチアカウント管理におけるAmazon GuardDutyの活用方法 - NRIネットコムBlog
Amazon EKS が CoreDNS ポッドのオートスケーリングのネイティブサポートを発表
The State of Django 2024 | The PyCharm Blog
「Amazon S3」は“2006年の誕生”からどう進化した？ AI時代の新たな動向
Datadog Logsにてホストタグが継承されない問題の原因と解決方法 - 電通総研 テックブログ
世界の通信キャリアがクラウド活用を加速！通信業界の最新ユースケースは
AWS Cloud Practitioner関連用語の定義一覧
EKS で利用できるアドオンのバージョンを取得する方法を教えてください | DevelopersIO
Amazon VPC CNI が拡張サブネットディスカバリーを導入 | Amazon Web Services
AWSのECRは、コンテナイメージの保存、共有、デプロイを行なう | ポテパンスタイル
【AWS】EC2インスタンスタイプごとの最大のENIやIPアドレスの数｜サラトガ牧場
新しい AWS ヒーローたちをご紹介します – 2024 年 6 月 | Amazon Web Services
AI/ML CoE (Center of Excellence) の設立 | Amazon Web Services
エンジニアは全員おうちKubernetesをやるべし【Part 1：なぜやるのか】 - Qiita