オンプレミスにAmazon EKSと同等の環境を構築する「Amazon EKS Anywhere」がベアメタルサーバに対応。VMware環境が不要に
Amazon Web Services（AWS）は、オンプレミスのサーバ上にAmazon EKSと同等のKubernetes環境を構築できるソフトウェア「Amazon EKS Anywhere」が、ベアメタルサーバに対応したことを発表しました。 Amazon EKS Anywhereは、2021年9月にリリースされたソフトウェアです。 参考：Amazon EKS Anywhereが正式リリース。オンプレミスにAmazon EKSと同様のKubernetes環境を無料で構築可能 AWSのクラウド上でKubernetesによるコンテナオーケストレーション、ノードプロビジョニング、Kubernetes自身のパッチ適応や更新、統合的な管理コンソールなどをマネージドサービスで提供する「Amazon Elastic Kubernetes Service（Amazon EKS）と同等の環境を、VMwar
Kubernetesを学ぶ意味とは――AWS EKSでクラスタを構築してみよう：マネージドサービスで始めるKubernetes入門（1）（1/4 ページ） 本連載では、AWSが提供するマネージドKubernetesサービスの「EKS」を用いてアプリケーションを公開する方法を紹介。第1回目は、いまからKubernetesを学ぶ意味と、AWS EKSでクラスタを構築する方法について。 「Kubernetes」を学ぶ意味とは？ 顧客ニーズの変化と、分散化指向への対応 昨今、AI（人工知能）やIoT（Internet of Things）、ディープラーニングなどの先端技術をビジネスに活用する事例が増えています。その結果、「人々の生活」や「顧客ニーズ」に変化が起き、そうした先端技術の活用がますます求められる状況です。 これらの変化に対し、開発部門も新しいことにチャレンジできるよう、変化する必要があり
EKSで構築したKubernetesクラスタにアプリケーションをデプロイする：マネージドサービスで始めるKubernetes入門（2）（1/4 ページ） 本連載では、AWSが提供するマネージドKubernetesサービスの「EKS」を用いてアプリケーションを公開する方法を紹介。第2回目はEKSで構築したクラスタにアプリケーションをデプロイする方法について。 Webアプリケーション開発に携わっている人々は、「デプロイ」を外部公開の意味で解釈することが多いと思います。Kubernetesにおけるデプロイはデフォルトで内部（非公開領域）公開になるため、外部公開するには設定を変更する必要があります。 本稿では、「Amazon Elastic Kubernetes Service」（以後、EKS）で構築したKubernetesクラスタにアプリケーションをデプロイし、外部からアクセスできる状態にする方
Amazon Web Services ブログ Bottlerocket、1 年間のあゆみ この記事は Bottlerocket, A Year in the Life を翻訳したものです。 先日、Amazon Elastic Kubernetes Service (Amazon EKS) がマネージド型ノードグループでの Bottlerocket のサポートを開始したことを受け、この機会に Bottlerocket とその機能について改めてお話したいと思います。私は以前、商用の UNIX OS に携わる多くのエンジニアの一人でした。その数年前、Linux が有力な選択肢として確立され、その後の市場においてかなりの部分を占めるようになりました。お客様が徐々に Linux に移行していく中、「OS はまだ重要ですか？」という質問を聞くようになりました。私たちの答えはいつも「Yes」でした。私
Kubernetes as a platform vs. Kubernetes as an API | Amazon Web Services
Amazon Web Services ブログ Kubernetes as a platform vs. Kubernetes as an API はじめに Kubernetes とは何ですか？私はこの技術に初期から取り組んできましたが、8 年経っても、この問いにハッキリと答えられません。Kubernetes をコンテナオーケストレーターとして定義する人もいますが、その定義は果たして、Kubernetes を正しく表現できていると言えるでしょうか。私はそう思いません。この記事では、Kubernetes について、従来の考え方にとらわれない考え方や、技術の伸びしろを探ってみたいと思います。 Amazon Elastic Kubernetes Service (Amazon EKS) は、お客さまに代わって、Kubernetes クラスターを運用をする AWS のマネージドサービスであり、非常
ずっとKubernetesについて書いてきましたが、ここらへんでコンテナのリソース…… つまりアプリケーション・サーバーとしてのリソースの試算について考えてみます。別にコンテナじゃなくてインスタンスでも考え方は同じなので、タイトルからEKSとか抜いてシンプル回帰しております。 ぶっちゃけ、リソースの試算と一口に言っても、実際には色んな要素が入り混じって変化するので、色んな考え方があると思います。なので最初に明記しておくと、今回は特定の項目に着目し、面白半分、もう半分は真面目に計算したコンテンツという感じでよーそろーです。 はじめに なぜこんな試算をする気になったかというと、コンテナの設定をする上で、１インスタンス（Node）あたりのリソースがこれくらいなら、１コンテナあたりにどのくらいのリソースを割り当てて、コンテナ内部のアプリケーション用プロセスは１プロセスあたり何メモリだったら、何接続
freeeのAIチームが作り上げた、チームの力を最大限に生かすための機械学習基盤とは：特集：2020年、AI活用の成否を分かつ技術とは（3）（1/2 ページ） 「最新の進化を取り入れ、freeeという企業の今のステージに適した機械学習基盤を目指した」。freeeのAIラボで機械学習基盤の構築を主導している田中浩之氏はこう話す。では、freeeの今に適した機械学習基盤とは、どのようなものなのか。 freeeで機械学習／AIによる推論サービスを担当しているAIラボでは、チームで利用する機械学習インフラ基盤を構築し、2019年後半に運用を開始した。基盤構築の中心となっている田中浩之氏は、自身が以前、自然言語処理の研究を始めたころを振り返り、機械学習を支援する技術が驚くべき進歩を遂げたと話す。 「当時はC言語で一からアルゴリズムを書いていた。今はそのようなことがなくなり、1日あるいは半日でプロトタ
Building resilient private APIs using Amazon API Gateway | Amazon Web Services
AWS Compute Blog Building resilient private APIs using Amazon API Gateway This post written by Giedrius Praspaliauskas, Senior Solutions Architect, Serverless. Modern architectures meet recovery objectives (recovery time objective, RTO, and recovery point objective, RPO) by being resilient to routine and unexpected infrastructure disruptions. Depending on the recovery objectives and regulatory req
[随時更新] AWS re:Invent 2020 Keynote で発表された新サービスまとめ #reinvent | DevelopersIO
ご機嫌いかがでしょうか、豊崎です。 今年もre:Invent 2020 キーノートではたくさんの新サービス/新機能が発表されるものと思います。 本投稿では、AWS re:Invent 2020のキーノートで発表された新サービスの記事をまとめます。 AWS re:Invent 2020では以下5つのキーノートが計画されています。 12/2： Andy Jassy Keynote 12/4： AWS Partner Keynote 12/9： Machine Learning Keynote 12/11： Infrastructure Keynote 12/16： Werner Vogels Keynote [随時Updateしていきます 2020/12/16 02:57 JST 更新] AWS Late Night Week 1 インフラストラクチャ キーノート前に１つ大きな発表がありました
![[随時更新] AWS re:Invent 2020 Keynote で発表された新サービスまとめ #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/108283f44a84b85921c0b31cf88831b365a682d7/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F11%2Feyecatch_reinvent-2020-standard-hanyo.jpg)
こんにちは。 ご機嫌いかがでしょうか。 "No human labor is no human error" が大好きな ネクストモード株式会社 の吉井です。 AWS アカウントには、サービスクォータ というリソース使用数の上限値が設けられています。 AWS 内部のリソースが枯渇しないようにという理由もありますが、それよりもユーザーが必要以上のリソース確保を誤って行ってしまい過大請求をされることを防いでくれるという防御面の理由が大きいように思います。 この上限値ですが現時点の値はどれくらいで残りどの程度リソースを作成できるのかを忘れてしまうと いざというときに希望のリソースが作成できず、上限緩和申請で時間を取られてしまうというミスをしてしまうことがよくあります。 AWS CLI 等で上限値・現在値を都度確認して突き合わせるのも面倒に感じていたところ便利なツールを発見したので紹介します。 イ
こんにちは！enzaのインフラ周りの仕事をしているmendと申します！ 以前に k8s 1.20のDocker非推奨問題でEKSを使用しているプロジェクトが対応することとして、k8s 1.20からのdocker非推奨問題と対応案ついてまとめました。 今回の記事では先の記事でまとめた案の一つであるAWSで対応したAMIがリリースされましたので、実際にEKS 1.21にアップグレードするときに行ったことと、アップグレード時に気を付けるべきことをまとめたいと思います。 EKS 1.21の新機能 2021年 7月27日にAWSの公式からAmazon EKS が Kubernetes 1.21 のサポートを開始という発表がありました。 このEKS 1.21からコンテナランタイムにcontainerdを使用することが正式にサポートようになり、1.20からDockerのコンテナランタイムが非推奨になって
ブルボン小林 on Twitter: "小学館漫画賞の選考にリモートで参加する島本和彦先生……先生!? 選考がもうマンガ。 https://t.co/YUftrl8ekS"
小学館漫画賞の選考にリモートで参加する島本和彦先生……先生!? 選考がもうマンガ。 https://t.co/YUftrl8ekS
ECSとFargateのメトリクスを一括取得するCloudWatch Container Insightsがプレビューリリースです！ | DevelopersIO
しばらく前に、EKSでプレビューリリースされていたCloudWatch Container Insightsが、ECSとFargateに対応したというニュースが飛び込んできました！ Introducing Amazon CloudWatch Container Insights for Amazon ECS and AWS Fargate - Now in Preview まだ、パブリックプレビューの状態なので、本番環境への適用には注意が必要ですが、設定自体は非常に簡単（５分程度）なので、是非一度、CloudWatchで観測するコンテナメトリクスの世界を堪能いただければと思います！ 提供リージョンには、我らが東京リージョンも含まれているため、今すぐ試すことができます。 ECSコンテナ丸見えきたか…!! ( ﾟдﾟ) ｶﾞﾀｯ / ヾ ＿_L| /￣￣￣/＿ ＼/ / CloudWa
EKS(or Kubernetes on AWS)本番運用で導入を検討すべきな追加コンポーネントについて - inductor's blog
はじめに Amazon EKSを初期導入すると、最小限の構成でクラスターがセットアップされそのままの構成で本番運用をするのはとてもじゃないが厳しいみたいな状態になっています。 これには運用者が柔軟にミドルウェアを選定できるというメリットもありますが、そもそもどんな選択肢があるんだっけみたいなところまではちゃんと整理できていないと思うので、ここでは僕が考える入れておくべきアドオンについて今後のために整理しておきます。 github.com/aws/eks-charts を眺める とりあえず脳死でこのサイトに行き、自分に必要そうなものを眺めることにします。Helmを使ってインストールするかどうかはさておき、それぞれのツールの必要性について検討しようという話です。 github.com App Mesh関連 App Meshを使ったサービスメッシュをやっていきたいのであればこの辺のコンポーネント
関連キーワード SDN（Software Defined Networking） | オープンソース | Docker 第9回「『Kubernetes』を使うなら、まず知っておきたい『Flannel』と『Calico』の通信」は、「Pod」（コンテナの集合体）同士の通信を実現する仕組みとして、オープンソースのCNI（Container Networking Interface）プラグインを紹介しました。コンテナオーケストレーター「Kubernetes」はクラウドサービスで利用することも一般的になっています。今回はクラウドサービスにおけるKubernetesのネットワークの仕組みを紹介します。 併せて読みたいお薦め記事 コンテナの基礎知識 いまさら聞けない「Kubernetes」と「Rancher」の違いとは？ いまさら聞けない「OpenShift」と「Kubernetes」の基礎 どう違う
クラスメソッド データアナリティクス通信(AWSデータ分析編) – 2023年5月号 | DevelopersIO
データアナリティクス事業本部のコンサルティングチームの石川です。コンサルティングチームメンバーを中心に、日々AWSのアナリティクス関連サービスのアップデートを追っています。 先月に引き続き、re:Invent2022で発表された新機能やサービスが利用可能になりました。 Amazon Redshift MERGEステートメント Lake Formationとのデータ共有の集中型アクセス制御 Dynamic Data Masking AWS Glue Visual ETL が新しいネイティブ Amazon Redshift 機能をサポート その他にも、様々なアップデートがありますので、是非チェックしてください。 Amazon Redshift 新機能・アップデート 2023/04/13 Amazon Redshiftの文字列クエリのパフォーマンスを最大63倍向上 Amazon Redshift
AWS Load Balancer ControllerとExternalDNSを利用しています - ハウテレビジョンブログ
こんにちは、SREチームの小川です。 「夏への扉」を読みました。過去・現在・未来の時間軸が最後にかち合った時には感動を覚えました。月並みですが、さすがSFの金字塔ですね。 今回は「外資就活への扉」である、ALB・Route53をSREがどのように管理しているか紹介したいと思います！ はじめに 以前よりSREチームが「外資就活ドットコム」のインフラをEC2中心のものから、コンテナ中心のEKSへと移行したお話をしてきました。 今回はKubernetesを導入した際に、トラフィックの流入元であるALBをAWS Load Balancer ControllerとExternalDNSを利用して管理を行うようにしたお話しをします。 EKSのサービスをALBを利用して公開する際に、アプリケーションコンテナをNodePortで公開し、ALBがNodeGroupの特定のNodePortにリバースプロキシす
イラストではじめる「Kubernetesの動かしかた」～Kubernetesクラスタを用意し、Podを作ってコンテナを起動しよう
本連載ではKubernetesの簡単な説明からはじまり、開発者の方にとってKubernetesを利用することで何が嬉しいのか、どのように開発フローが変わっていくのかについて、イラストを交えながら紹介します。今回は、実際にKubernetesを触ってみる方法をご紹介します。まだまだ理解が怪しいと思っていても、触ってみると知識が深まることもあるでしょう。特にローカルクラスタを作ってさえしまえば、いくら壊しても大丈夫です。 kubectlをインストールしよう この回ではKubernetesクラスタの作成方法と、作成したクラスタに対してPodを作成する方法などを説明します。 Kubernetes環境の作成方法は色々ありますが、ローカルからkubectlを利用してKubernetesクラスタのAPIサーバと接続する必要がある場合がほとんどですので、まずはkubectlをインストールしましょう。Kub
Amazon Web Services ブログ Fluent Bit による集中コンテナロギング 本投稿は Wesley Pettit と Michael Hausenblas による寄稿を翻訳したものです AWS はビルダーのために作られています。ビルダーは常に最適化の方法を模索し、それはアプリケーションのロギングにも当てはまります。全てのログの重要性が同等ということはありません。あるログはリアルタイムの分析を必要とし、他のログは必要となった時に分析が行えるよう単に長期間保管しておくことを必要としたります。それ故に AWS とパートナーが提供する様々なストレージや分析のツールに容易にログをルーティングできることが重要です。 そこで私たちは Fluent Bit をサポートし、コンテナ化されたアプリケーションから AWS やパートナーのログ保存ソリューション、ログ分析ソリューションへのログ
Amazon EKSのカレンダー | Advent Calendar 2019 - Qiita
The Qiita Advent Calendar 2019 is supported by the following companies, organizations, and services.
こんにちは。インフラエンジニアの永井(shnagai)です。 AWS re:Invent今年も大豊作ですごいですね。まだ全部は追えてないんですが、良さそうなものがあればサービスに取り入れていこうと思いわくわくしています。 この記事はコネヒト Advent Calendar 2020 - Qiita 3日目の記事です。 今回は、試してみてる方は結構いそうなので、ざっとLambdaのコンテナサポートを触ってみた感じの所感を中心に書いていきます。 うれしいポイント 今想像してる一番うれしいポイントは、lambdaがサポートしてる数多のAWSインテグレーションをトリガに好きな処理が動かせるところ（lambdaRuntimeAPIの存在を知りそう甘くないことを理解した） ローカルの開発がやりやすくなるなー SAMとか使って出来るけど。個人的にはlambdaの管理は煩雑 dockerで検証出来た方が楽
Hatena Engineer Seminar #20「AWS Renovation 編」をオンラインで開催しました #hatenatech - Hatena Developer Blog
2022年6月7日（火）に、 Hatena Engineer Seminar #20 をオンライン開催しました。ご参加いただいたみなさま、ありがとうございました。 このエントリーでは、当日のアーカイブ動画や公開資料をご紹介します。 Hatena Engineer Seminar #20 について 発表概要と資料 Amazon Aurora の v1 が EOL になるので10クラスタアップグレードして出てきたノウハウ - by id:dekokun はてなフォトライフをECSに移行した話 - by id:cohalz Amazon EKS マルチテナントクラスターにおけるArgoCDを利用したデプロイフローの話 - by id:masayosu AWS Organizations 組織を移動する時に考えること100連発 （AWS Control Tower への組み込みを添えて） - by
マルチテナントのAWSアカウントとKubernetesにおけるコストの可視化 - ZOZO TECH BLOG
こんにちは、カート決済SREブロックの飯島と、ECプラットフォーム基盤SREブロックの織田です。 本記事では複数チームで運用する共通のAWSアカウントとKubernetesにおけるコストの可視化についてご紹介します。 背景 コスト可視化に対する課題 課題解決へのアプローチ AWSリソースのコスト可視化 AWSコスト配分タグ タグの定義と運用ルール タグの付け方 AWS Cost Explorer AWSコスト配分タグの活用例 Kubernetesクラスタのコスト可視化 Kubecost 比較検討 カスタムバンドル採用の決め手 アーキテクチャ 可視化の仕組み ダッシュボード 効果 コスト可視化の活用事例 最後に 背景 現在、ZOZOTOWNはモノリスなサービスを機能ごとに分け、マイクロサービスに移行しながらモダンアーキテクチャへのリプレイスを実施しています。マイクロサービスの移行先としてクラ
こんにちは。Enigmoインフラエンジニアの夏目です。 この記事は Enigmo Advent Calendar 2020 の13日目の記事です。 なんだか競馬関連のエントリがいっぱいですが、弊社の主要サービスは競馬予想サイトではありませんので誤解なきよう。僕は競馬のことはさっぱりわからないのですが、先月末のジャパンカップは大変熱いレース展開でしたね。着順自体はまったく面白みがなく収支マイナスになってしまいましたが。 さておき。1年前と同様、今年もKubernetesクラスタ運用に翻弄される日々を過ごしておりまして、今日の記事はそんなKubernetes...というかAmazon EKSクラスタに関するお話です。 Kubernetesのリリースサイクルに乗り遅れるな 皆さんご存知の通りKubernetesのマイナーバージョンはおよそ3ヶ月ごとにリリースされ、各マイナーバージョンは最新バージ
Amazon Web Services ブログ Amazon ECRのネイティブなコンテナイメージスキャン機能について 本投稿は Richard Nguyen と Michael Hausenblas による寄稿を翻訳したものです。 コンテナセキュリティは、開発者、セキュリティ運用エンジニア、およびインフラ管理者を含む、さまざまなアクティビティとツールで構成されます。クラウドネイティブサプライチェーンの重要な要素の 1 つは、コンテナイメージをスキャンして脆弱性を検出し、そこから行動に移せる洞察を得ることです。 私たちはコンテナロードマップのIssue 17で、AWSネイティブソリューションを提供することがいかにお客様にとって重要であるかを学び、そして、ECRイメージスキャン機能を一般公開いたしました。この投稿では、ECR ネイティブのソリューションについて説明し、ユースケースの一つである
2021年の振り返り 🎉 幅広く技術を語れるように学び続けた ⭕ 2019年から3年連続で「幅広く技術を語れるように学び続ける」を年間目標にしていた．直近3年ほど技術講師をしているため「教える」ことを軸に学ぶことが多く「語れる = 教えられる」という目標設定は自分自身に合っている．2021年も四半期ごとに以下の中目標を掲げていた． 1-3月 : Kubernetes を実践的に学ぶ 4-6月 : 機械学習に入門する 7-9月 : Kubernetes をセキュリティ観点で学ぶ 10-12月 : 機械学習を実践的に学ぶ 継続的にインプットをし続けて，後述するテックブログも中目標に沿って多く書けた．また「CKAD」や「CKA」や「Python 3 エンジニア認定データ分析試験」に合格するなど，マイルストーンも達成できた．でも「CKS」は準備時間が取れず受験できなかった．それでも2020年と比
AWS Security Hubのセキュリティ基準のコントロール一覧を取得するときはus-east-1を利用しようねって話 | DevelopersIO
AWS Security Hubのセキュリティ基準のコントロール一覧を取得するときはus-east-1を利用しようねって話 こんにちは、臼田です。 みなさん、Security Hubでセキュリティチェックしてますか？(挨拶 今回はちょっとしたメモです。 概要 AWS Security Hubのセキュリティ基準はよく使いますよね？もちろん使うのはAWS基礎セキュリティベストプラクティスです。 運用するためのスクリプトを組むときなどで、このコントロール(IAM.6などのチェック項目)一覧が欲しくなります。 その時の注意事項についてメモします。 東京リージョンで一覧取得 大体作業するときは東京リージョンで行うことが多いので、東京リージョンでコントロール一覧を取得してみます。以下のようなスクリプトです。 import sys import logging import boto3 logger =
2020年3月9日、TECH PLAY主催のイベント「業界を変えた大規模サービスの技術選定」がオンライン開催されました。エンジニアリングマネージャー・テックリードなど、技術選定に関わる方に向けて、大規模サービス運営する企業の技術選定に関する知見を共有します。セッション「技術選定は会社を知ることから始めよ」に登壇したのは、ラクスル株式会社 ラクスル事業本部 Head of Engineeringの二串信弘氏。ラクスルを支える技術スタックや、その背景にあるビジョン・ミッションなどについて語りました。講演資料はこちら ラクスルの技術選定について 二串信弘氏：ラクスルの二串です。 今日はYouTubeでの配信ということで、実は年始目標で今年はテック系のYouTuberになるのもいいかなと思っていたんです。真面目にです。「まあ半年後ぐらいだな」と思っていたんですけど、こうしてイベントの登壇がYouT
AWSでカオスエンジニアリング！ AWS Fault Injection Simulatorが利用可能になりました | DevelopersIO
AWSでカオスエンジニアリング！ AWS Fault Injection Simulatorが利用可能になりました 2021/03/15より、AWS Fault Injection Simulator(FIS)の利用が可能になりました。 アジア太平洋（大阪）と中国の2つのリージョンを除くすべての商用AWSリージョンで利用できます。 AWS Fault Injection Simulatorとは、 AWSでフォールトインジェクション実験を実行するためのフルマネージドサービスです。 フォールトインジェクション実験はカオスエンジニアリングで使用されます。 フォールト(障害)を意図的に発生させることでシステムに何が起こるのかを確認する、障害にどのように反応するかを学ぶ事によりシステムの回復力、信頼性、パフォーマンスをあげていくことが目的です。 FISを使うと モニタリングの死角、パフォーマンスのボ
お疲れさまです。SREの西田和史(@k_bigwheel)です。 僕が所属するDX事業本部の開発基盤グループは主にインフラが安定して高いパフォーマンスで動くことに責務を持っています。 今DX事業本部には3つの事業部があり、その中ではイエウール、ヌリカエ、ケアスル介護などのサービスを展開していますので、僕らはそれらのだいたい10サービス前後のインフラを日々増築・改善しています。 僕がSpeeeにジョインしたのが3年前の2019年11月なのですが、それからDX事業本部のインフラは様々なことが進化しました。3年前から変わらず残っているインフラコンポーネントは永続化層1ぐらいといえる程です。ここではその差分を振り返ってこんな良いインフラになったぞ！という部分を書いていきたいと思います。 レガシーインフラの脱却 いきなりですが、3年前に使っていたツール・サービスと今使っているツール・サービスの対応表
AWS SSO を用いた Amazon EKS への迅速なシングルサインオン | Amazon Web Services
Amazon Web Services ブログ AWS SSO を用いた Amazon EKS への迅速なシングルサインオン 訳注：2022年7月に、AWS Single Sign-On は AWS IAM Identity Center に変更されました。 この記事は A quick path to Amazon EKS single sign-on using AWS SSO (記事公開日: 2022 年 6 月 14 日) を翻訳したものです。 Software as a Service (SaaS) とクラウドの導入が急速に進む中、アイデンティティは新しいセキュリティの境界になっています。AWS Identity and Access Management (IAM) と Kubernetes role-based access control (RBAC) は、強力な最小権限のセ
AWS Container Services launches AWS Fluent Bit, a container image pre-installed with Amazon CloudWatch and Amazon Kinesis Data Firehose plugins that helps customers route container logs to multiple destinations such as CloudWatch, Amazon S3, Amazon Redshift, and Amazon Elasticsearch Service. Fluent Bit is an open source and multi-platform Log Processor and Forwarder which allows you to collect dat
EKS(Kubernetes)上にDigdag・Embulk・Redashで分析環境を構築する - Koichi Ishida blog
目次 ワーカーノードの作成 DigdagとEmbulkのDockerビルド KubernetesにDigdag/Embulkをデプロイ Redashの導入 まとめ Kubernetes上に分析環境を構築する機会があったのでどのように構築したかを紹介します。同じような構成でKubernetes上で構築するのは3回目になったので構築方法も洗練されてきました。構成は以下のようになっています。 MySQL(RDS): サービスのデータベース。ここのテーブルからBigQueryにEmbulkでデータをエクスポートします。 PostgreSQL(RDS): Digdagのデータベース。今回新たにつくりました。 Digdag: データベースのエクスポートなどを実行するタスクスケジューラ。失敗したときにリトライもできます。 Embulk: プラグインを使ってデータベースをMySQLからBigQueryにエ
AWS AppConfigとAWS CodePipelineの統合による機能リリースの自動化 | Amazon Web Services
Amazon Web Services ブログ AWS AppConfigとAWS CodePipelineの統合による機能リリースの自動化 昨年、AWS AppConfigをリリースしました。これはアプリケーション設定の作成、管理及び迅速なデプロイを行う、AWS Systems Managerの新機能です。AppConfigを使用すると、デプロイメントを行う前にアプリケーション設定を検証でき、制御及び監視可能な方法で設定をデプロイできます。 AWS AppConfigを使用すると、アプリケーションコードのデプロイメントとは独立して、設定の変更をデプロイ可能です。つまり、アプリケーション設定を更新しても、アプリケーションの再起動やサービスの停止を行う必要がありません。AWS AppConfigを使用すれば、アプリケーションは更新した設定をすぐに使用できます。具体的には、AWS AppCon
【転職会議】ArgoCDで実現するストレスフリーな新GitOps基盤 - LIVESENSE ENGINEER BLOG
こんにちは、かたいなかです。 最近、転職会議のCI/CD基盤をFluxベースのものからArgoCDベースのものに式年遷宮しました。今回の記事では、新しいArgoCDでのCI/CD基盤について、作り直しに至った経緯や改善点をご紹介します。 ArgoCD移行に至った経緯 転職会議では、以前の記事でも紹介したFluxというGitOpsのツールを使用してGitOpsを実現していました。 made.livesense.co.jp しかし、その後FluxからFlux2への移行が公式から推奨されるようになった後も、Flux2やArgoCD Image Updaterへの移行ができない状態が長く続いていました。 また、現行のフローでも以下のような大きな問題点を抱えていました。 ロールバックできない問題 チャットボットが老朽化 Weave Cloudがサービス終了 以下でそれぞれ説明します。 ロールバックで
コンテナ好き4名がコンテナの魅力を喋り倒すJAWS-UGコンテナ支部に行ってきた #jawsug_ct | DevelopersIO
「懐かしのツイートと振り返るAWSコンテナサービスアップデート」 最近、twitter芸人の様相を呈しているポジティブなTori（@toricls）さんの、AWSコンテナ関連サービスのアップデート。 最初から最後まで一貫して、Toriさんのツイートをもとにアップデートを語っていくという斬新なスタイルで、2018年8月以降のアップデートについて語ってくれました。 自分、AWSのコンテナ関連サービスについては、ほぼほぼ全て目を通してブログを書いているつもりなんですが、改めてこうやって網羅的に棚卸しをしてもらったおかげで知ってるつもりで完全に抜けていたものが結構あったので、再復習できてよかったです。 ハマコーなりに重要だとおもうアップデート トリさんセッション中、自分の琴線にふれたアップデートと、Developers.IOのリンクを貼っていきます。気になる方は、今一度復習してみると良いかもね！D
re:Invent 2022 で公開された AWS オブザーバビリティに関する最新情報 | Amazon Web Services
Amazon Web Services ブログ re:Invent 2022 で公開された AWS オブザーバビリティに関する最新情報 この記事は What’s new in AWS Observability at re:Invent 2022 (記事公開 : 2022 年 11 月 29日) を翻訳したものです。 Amazon CloudWatch、AWS X-Ray、Amazon Managed Grafana、Amazon Managed Service for Prometheus について発表されたAWS オブザーバビリティのまとめとともに、AWS re: Invent 2022 ウィークの Kickoff をしましょう。CloudWatch でインターネットの問題がアプリケーションのパフォーマンスと可用性に与える影響の理解から、Managed Grafana での VPC サ
Amazon Web Services ブログ Linux Kernel TCP SACK サービス妨害問題 【日本語訳】日本時間 2019年06月25日10:00 最終更新: 2019/06/18 11:45 PM PDT CVE 識別子: CVE-2019-11477, CVE-2019-11478, CVE-2019-11479 Amazon Elastic Container Service (ECS) 2019年6月17,18日にパッチがあてられた Amazon Linux および Amazon Linux 2 のカーネルで更新版の ECS 最適化 Amazon Machine Image (AMI) が提供されました。最新バージョンの入手方法を含む ECS 最適化 AMI に関する詳細は https://docs.aws.amazon.com/AmazonECS/latest/
やるといった以上、記事は書くわけなんですが、何度この下書きをゴミ箱に突っ込もうとしたかわかりませんKubernetesですよろしくお願いします。 ナニがアレかというと、構成図に全部盛り込めるはずもないくらいには色々要素があるわ、構築手順を書いていこうにも予備知識が必要な箇所がそこかしこに出現するわで、わかりやすく書けそうもないのです。なので、まずは丁寧にやりたいことから整理していくことにします。 全体図 ECSシリーズ まず、前回のECSシリーズの復習としてこちら。 これは複雑そうに見えて、わりとオススメできる簡潔さでした。 ECSをEKSに入れ替える ECSで説明した、ECS以外の部分は大体そのまま流用するので、薄くしたところはあまり触れず、Kubernetesクラスタの内側に重点を置いていきます。必要があれば、ECSの方の記事に都度リンク貼ったりして重複は回避していく感じで。 EKS
楽天グループ株式会社が運営するフリマアプリ「ラクマ」のインフラ基盤をAWS EC2 + AutoScalingGroupからKubernetes(EKS)に移行しました。このプロジェクトは約3年におよび、様々な調査や検証を行いました。 初めてKubernetesへの移行を考える企業にとって、大規模トラフィックを処理するための適切な構成を模索することは一筋縄ではいきませんでした。この発表では、どのような観点を持って調査を行い、どう構築していったか具体的な事例とともにお伝えします。
![[EC2からKubernetes]�楽天ラクマのコンテナ化の歩み](https://cdn-ak-scissors.b.st-hatena.com/image/square/fda7627eab224b9a0df97d9ab2fe2b0187bf8da5/height=288;version=1;width=512/https%3A%2F%2Ffiles.speakerdeck.com%2Fpresentations%2F961b083651954d1dad15bba4a49b4fb0%2Fslide_0.jpg%3F26769230)
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kubernetesを学ぶ意味とは――AWS EKSでクラスタを構築してみよう
EKSで構築したKubernetesクラスタにアプリケーションをデプロイする
Bottlerocket、1 年間のあゆみ | Amazon Web Services
アプリケーション・リソースと同時接続数の試算例 | 外道父の匠
freeeのAIチームが作り上げた、チームの力を最大限に生かすための機械学習基盤とは
AWSリソース上限数と現在の使用数を簡単に比較したい | DevelopersIO
EKSでdocker非推奨問題に対応しました - Tech Inside Drecom
「EKS」「AKS」「GKE」のコンテナ理解に役立つVPCやVNetの通信とは？
Fluent Bit による集中コンテナロギング | Amazon Web Services
Lambdaのコンテナサポートに関する考察 - コネヒト開発者ブログ
Amazon EKS アップグレードにてこずった話 - エニグモ開発者ブログ
Amazon ECRのネイティブなコンテナイメージスキャン機能について | Amazon Web Services
2021年の振り返りと2022年の抱負 - kakakakakku blog
技術選定のカギは「プロダクト中心」 ラクスルの技術スタックと背景にあるビジョン
DX事業本部インフラの3年分の進化 (2019 ~ 2022) - Speee DEVELOPER BLOG
AWS Container Services launches AWS For Fluent Bit
Linux Kernel TCP SACK サービス妨害問題 | Amazon Web Services
EKS Kubernetes 構成と構想 | 外道父の匠
[EC2からKubernetes]�楽天ラクマのコンテナ化の歩み