[レポート] AWS Well-Architected best practices for DevOps on AWS #DOP207 #reinvent | DevelopersIO
[レポート] AWS Well-Architected best practices for DevOps on AWS #DOP207 #reinvent こんにちは、つくぼし(tsukuboshi0755)です! re:Invent2022のセッション AWS Well-Architected best practices for DevOps on AWS を視聴したので、レポートしたいと思います。 セッションの概要 In this session, learn about all of the components required to align your DevOps practices to the pillars of the AWS Well-Architected Framework. Review organization adoption, development
![[レポート] AWS Well-Architected best practices for DevOps on AWS #DOP207 #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/e4cafbaaf61ae0e896e83da659ab2ddaa2d28c88/height=288;version=1;width=512/https%3A%2F%2Fd1tlzifd8jdoy4.cloudfront.net%2Fwp-content%2Fuploads%2F2022%2F11%2Feyecatch_reinvent2022_session-report.png)
CircleCIからもAWS APIへアクセスキーなしでリクエストできる仕組みをTerraformで構築する - BOOK☆WALKER inside
こんにちは。 メディアサービス開発部バックエンド開発グループのフサギコ(髙﨑)です。 Ruby on Railsによるバックエンドの実装運用と、AWSによるサービスインフラの設計構築を中心とした、いわゆるテックリードのような立ち位置で働いています。 CircleCIでもOpenID ConnectのIDプロバイダ機能がリリースされた 私が書いた一つ前の記事では、GitHub ActionsとAWS IAMをOpenID Connectを使って連携させ、TypeScriptで記述したアプリケーション(Next.js, Serverless Framework)のデプロイや、TerrafromのリポジトリにPRを出した際の自動planを永続的アクセスキー不要で行っているとお話ししました。 developers.bookwalker.jp 一方で、TypeScriptやTerraform以外のア
FaaS とコンテナを組合せたサーバレスな個人開発Webサービス のおはなし【増田ランダム / 後編】 - okadato の雑記帳
前回、増田ランダムってなぁに？を書きましたので、今回は裏側のことを書きたいと思います！ まえおき その前に導入として、ぼくがサービス開発をするうえで大切にしている考えを3つ挙げてみます。 1. 自分が使いたいサービスであること（最重要！！！） 2. サービス開発をつうじて多くの学びを得られること 3. できるだけお金をかけずにサービス提供を続けられること（大事…） 1. については前回の記事で増田ランダムを作った経緯や理由を書きました。 今回はそれを踏まえたうえで 2. と 3. に焦点をあて、増田ランダムが どう動いているのか？ なぜその技術スタックを選んだのか？ 運用のために実際どんくらいお金がかかっているのか？ を赤裸々に書いていきます！ ので、今回はちょっぴり技術的な内容になっています。 アーキテクチャ まずざっくりと、全体像はこーんな感じになっています。 アーキテクチャ図 それっ
【Golang】で【Amazon API Gateway Lambda オーソライザー】と【FirebaseAuth】を利用しての認証をやってみた - カミナシ エンジニアブログ
初めに 初めまして。2021年3月より株式会社カミナシにジョインすることとなりました、エンジニアの@Takuと申します。 業務とは直接関係ないのですが、API Gateway Lambda オーソライザーとFirebaseAuthを組み合わせた認証をやってみたので記載させていただきます。 概要 以下のチュートリアルを元に Amazon API Gateway Lambda オーソライザーを利用した認証機能を作成しました。 docs.aws.amazon.com Amazon API Gateway Lambda オーソライザーを利用することで、 認証・認可部分をAPI Gateway側で共通化できるため、 マイクロサービス化(認証・認可と業務の責務分け) サービスを提供するサーバーの負荷軽減 などのメリットが見込めるのではと考えております。 その際チュートリアルから変更した点として、 OA
歴史・年表でみるAWSサービス(AWS Key Management Service編) －機能一覧・概要・アップデートのまとめ・AWS KMS入門－ - NRIネットコムBlog
小西秀和です。 「歴史・年表でみるAWS全サービス一覧 －アナウンス日、General Availability(GA)、AWSサービス概要のまとめ－」から始まったAWSサービスを歴史・年表から機能を洗い出してまとめるシリーズの第6弾です(過去、Amazon S3、AWS Systems Manager、Amazon Route 53、Amazon EventBridgeについて書きました)。 今回はAWS全体で高度な暗号化機能を提供するAWS Key Management Service(AWS KMS)について歴史年表を作成してみました。 今回もAWS KMSの誕生から機能追加やアップデートを追いながら主要機能を現在のAWS KMSの機能一覧と概要としてまとめています。 これらが、各AWSサービスの機能概要に加えてコンセプトや変わらないもの、変わってきたものを知る手がかりとなればと考え
Photo by Ash from Modern Afflatus on Unsplashはじめにこんにちは。Finatextでエンジニアをしている山﨑です。 弊社では、先日「Wealth Wing」という資産運用サービスをリリースしました。そのシステムのバックエンドは、Spring + Kotlinを用いてアプリケーションを構築しており、インフラストラクチャ層ではSpring Data JPAを用いています。 本稿では、以下のような、Spring Data JPAを組み込んだ場合に発生する課題に対する解決策を、弊社の実例を通して示します。 データベースマイグレーションはどうすべきかIn-Memory DB(H2DB)ではなく、MySQL等を使ってJUnitでテストしたいデータベースアクセスを「書き込み専用」「読み取り専用」で呼び分けをしたい最後に、本稿に関するサンプルも添付していますので
TL;DR 3行で。 シンプルで セキュアな Ruby on Rails on ECS by Terraform を作りました。 目次 はじめに 本構成のテーマ リポジトリ アーキテクチャ Terraform側のTips Rails側のTips さらなるカスタマイズ はじめに ここ数年、業務やプライベートで様々なパターンのRuby on Rails + AWS ECS構成を構築してきました。 例えば、構築したことがるパターンを要素ごとに列挙するとざっと以下のようになります。 フロント部分 ALBのみ CloudFront -> ALB assetsのみCloudFront ECS 起動タイプEC2 起動タイプFargate 2種の混在 デプロイパイプライン 全部GitHub Actions Capistrano + ecs-cli CodePipeline + CodeBuild Code
EC2で運用している分析基盤(Digdag + Embulk)をECS/Fargateに移行しました | ランサーズ（Lancers）エンジニアブログ
SREチームの安達(@adachin0817)です。最近ではランサーズ本家のインフラをコンテナに移行しまくっております。今回ランサーズとMENTAで運用しているEC2/分析基盤サーバー(Digdag + Embulk)をECS/Fargateに移行完了しました。では早速概要と苦労した点、今後の展望などを振り返っていきたいと思います。 分析基盤の紹介 > ランサーズの分析基盤(capybara)と運用について紹介 > MENTAをAWSに移行しました ちなみに私が入社して3年経つのですが、運用して変わったことは3年前よりデータの量が膨大になっていることと、現在、社内の分析チームにとって欠かせないシステムとなっております。その中でDigdagによるスケジューラーとEmbulkによるマルチソースバルクデータローダーである分析基盤専用のEC2サーバーがあり、毎日夜中にデータをBigQuryにシンク
TL;DR Lambda がコンテナをサポートしたらしいので試してみる 動かすDocker イメージはLambda のAPI に対応させる必要があるため、今まで使用していたイメージがそのまま動くわけではない New for AWS Lambda – Container Image Support | AWS News Blog 概要 re:Invent の発表でコンテナの実行ができるようになったので、ざっくり試してみるだけの記事 ためす 失敗例 単純なAlpine イメージだと動かないらしいので失敗してみる ECR へコンテナを上げる env コマンドを実行するだけのイメージを作成 $ export ACCOUNT_ID=$(aws sts get-caller-identity --query 'Account' --output text) $ cat <<EOL | docker b
【総まとめ】GuardDutyによるコンテナランタイム脅威検知の注意事項と設定手順と検出の様子 #AWSreInvent | DevelopersIO
AWSマネージドサービスGuardDutyによる待望のコンテナランタイム脅威検知。その検知内容と設定上の注意事項、検出の様子をまとめてお届けします。 「ECSのランタイム脅威検知って、商用製品必須だよね。どれにすっかなぁ。結構高いよね」 「1年前の予告を経て、よーーーやくAWSマネージドなやつがGAされましたよ」 去年のre:Invent2022においてKeynote中に予告だけされていたコンテナ環境のランタイム検知（【速報】GuardDutyによるコンテナランタイムの脅威検知サービスが発表されました！）。 先日のre:Invent 2023のアップデートにより、待望のECSにおけるランタイム検知が、GuardDutyで実現できるようになりました！！もともとEKSにおけるランタイム検知は提供されていましたが、それがECSにも拡張されたアップデートです。 これまでAWSのECSにおいてランタ
昨年12月にラスベガスで開催された re:Invent 2019 で 多くの機械学習関連のサービスのアップデートがアナウンスされました。 今回の受験モチベーションは、機械学習の知識は、エンジニアの教養としてもはや特別なものではなくなってきていると感じ、これらの知識ついて一度体系立てた学習をしてみたくなったのがきっかけです。 今回のスコア(2020-02-23受験) 総合スコア: 755/1000 (ボーダー750) スコアと評価 分野 1: データエンジニアリング -> 十分な知識を有する 分野 2: 探索的データ解析 -> 十分な知識を有する 分野 3: モデリング -> 再学習の必要あり 分野 4: 機械学習の実装と運用 -> 十分な知識を有する AWS認定機械学習専門知識(MLS)について ここからが本題となります。 まずは、以下の公式ページから試験概要の把握を行いました
コンテナ実行に特化したAWS製オープンソースOS「Bottlerocket」がGAになりました！ | DevelopersIO
衝撃の発表 (ハマコー氏談) から半年、いよいよ「Bottlerocket」が正式リリースとなりました。 みなさん、こんにちは！ AWS事業本部の青柳＠福岡オフィスです。 今年3月、AWSからコンテナ実行に特化したOS「Bottlerocket」が発表されました。 Announcing the General Availability of Bottlerocket, a new open source Linux-based operating system purpose-built to run containers 発表と同時にパブリックプレビューとして試すことができる状態でしたが、このたび正式版としてリリースされました！ ※ なお、Bottlerocketは「EKS」および「ECS」のホストOSとして利用可能ですが、今回GAになったのはEKS向けの利用についてのみですので、ご注意
Deep Dive on AWS App Runner VPC Networking | Amazon Web Services
Containers Deep Dive on AWS App Runner VPC Networking AWS App Runner, introduced in 2021, is a fully managed service for running web applications and API servers. App Runner greatly simplifies the experience to build and run secure web server applications with little to no infrastructure in your account. You provide the source code or a container image, and App Runner will build and deploy your ap
pt-online-schema-change の実行が必要かどうか判断するタイミングをより早くした話 - Repro Tech Blog
Repro では Aurora MySQL を使用しています。いくつか数千万行を越えるデータを持つ大規模なテーブルもあります。 大規模なテーブルのスキーマを変更するときは pt-online-schema-change1 を使用していますが、今回はその必要性を判断するタイミングを早めた話です。 pt-osc が必要になる理由等は次の記事が詳しいです。 - pt-online-schema-changeの導入時に検討したこと、およびRailsアプリとの併用について - freee Developers Hub 解決したい課題 Repro では Rails アプリケーションが管理画面や API を提供しています。これらについて、目的別に複数の環境を用意しています。 member: 主に管理画面の動作確認目的で開発者が自由に使ってよい環境 いくつかのミドルウェアは dev_staging と共用
こんにちは、上野です。 2020年のAWS re:Inventで発表されたAWS Proton、以下のハンズオンを参考に色々触ってみました。（作者の山口さんありがとうございます！） AWS Proton で ECS Fargate のアプリケーション実行環境を作ってみようハンズオン これは実際の本番運用で使用できるのでは？という良いポイントがけっこうあったので、まとめてみます。 AWS Protonとは AWSでは「コンテナおよびサーバーレスアプリケーションのための初のフルマネージドデリバリーサービス」と紹介されています。 私の感想としては、プラットフォーム管理者とアプリケーション開発者の境界線を明確にし、各担当者が管理する範囲をテンプレートおよび世代管理できるサービスです。この管理をAWSマネージドでできるため、負荷を下げながら整理されたデリバリー構成を維持できるようになります。 説明だ
AWS Step FunctionsとSSM RunCommandでWebシステムの起動・停止のジョブネットを組んでみた | DevelopersIO
ジョブ管理システムから抜け出したくないですか? こんにちは、のんピ です。 皆さんはジョブ管理システムから抜け出したいと思ったことはありますか? 私は常に思っています。 ジョブ管理システムとは、バッチ処理やOSの起動の一つ一つの処理をジョブとして、制御・運用をするシステムです。 ジョブ管理システムを使うことによって、定型業務を自動化するなどのメリットがあります。 しかし、私が思うに、ジョブ管理システムが便利だからこその辛みもあると思っています。 私が感じるジョブ管理システムの辛いところを以下にまとめます。 ジョブ管理システムで全てのシステムのジョブネットを管理しているがために、ジョブ管理システムのメンテナンスが大変 ジョブ管理システムが停止すると、全てのシステムに影響があるため、高い可用性が求められる ジョブ管理システムによっては、エージェント毎にライセンスの購入が必要になり、大量のクライ
We are delighted to introduce Spin 1.0, the first stable release of the open source developer tool for building serverless applications with WebAssembly (Wasm)! Since we first introduced Spin last year, we have been hard at work together with the community on building a frictionless developer experience for building and running serverless applications with Wasm. For this release, we focused on bui
【LT参加レポート】「Goと面と向かう」というテーマで発表してきました！ - カミナシ エンジニアブログ
初めまして。株式会社KAMINASHIでPMをやっている@gtongy1です。 弊社ではサーバサイドの言語としてGoを活用しています。 自分はカミナシに入って約1年ほどになりますが、カミナシは創業して以来サーバーの言語はずっとGoを使って開発しています。 カミナシではちょうど自分が入ったタイミングで新規プロダクトの開発を開始していて、このプロダクト内でもGoが大活躍してます。 改めて成長する事業に寄り添い柔軟に形を変えられる、Goの魅力をひしひしと感じます。 発表の内ではそんな自分がGoとどう向き合い、課題を解決していったのかを話してきました。 スタートアップで自分はGoとどう向き合ってきたか 僕の好きな本の「UNIXという考え方」で語られている スモールイズビューティフル 一つのプログラムには一つのことをやらせる できるだけ早く試作を作成する この3つが自分の中でGoを利用する理由に合致
Spring Boot アプリケーションを AWS Fargate に最適化する | Amazon Web Services
Amazon Web Services ブログ Spring Boot アプリケーションを AWS Fargate に最適化する この記事は Optimize your Spring Boot application for AWS Fargate (記事公開日: 2022 年 7 月 25 日) を翻訳したものです。 中断や需要のピークに迅速に対応するには、起動時間を短縮することが重要です。それによってリソース効率を高めることができます。AWS Fargate では、基盤となるコンテナホストの面倒を見る必要はありません。しかしながら、コンテナとアプリケーションの起動時間を短縮するために、いくつかの変更が必要になることがよくあります。 この記事では、Fargate 上で実行される Java アプリケーションに適用する最適化手法について説明します。この記事では特に Java Spring B
Renovateはプロジェクトの依存関係の更新を自動化するツールです。 npmライブラリやGitHub Actions、Dockerイメージのバージョンなどを監視し、ライブラリアップデート用のPRの作成を行います。 Renovateは豊富な構文から柔軟な設定ができますが、プリセットと呼ばれるカスタマイズされた設定集を利用することもできます。 その中でconfig:best-practicesというRenovateが考えるベストプラクティスのプリセットが用意されています。 このプリセットを読み解くことで、Renovateがどのようにライブラリのバージョンを指定し運用するべきか知ることができます。 この記事ではconfig:best-practicesの設定を読み解き、どのようにライブラリの依存関係を扱うかを考えていきます。 config:best-practice で設定されている項目 執筆
DockerDesktopの代替になるかも？と巷で話題の「Finch」を使ってみた - NRIネットコムBlog
本記事は NRIネットコム Advent Calendar 2022 18日目の記事です。 🎁 17日目 ▶▶本記事 ▶▶ 19日目 🎄 ども、尾澤です。めっきり寒くなりました。 Techブログ登場は2回目です。 このブログが公開される頃には決勝進出チームが決まり、 ３位決定戦が終わっている頃でしょう。 私の決勝予想はFRA or BRZ ... と、予想していましたが、 BRZはベスト8で姿を消しました。。。がんばれFRA。 Finch とは 近年ライセンス料金改定によって経営陣の頭を悩ませている（？）Docker Desktopですが、 その代替になりうるツールと呼ばれているのが「Finch」です。（読み方わからん） 2022年11月にAWSからオープンソースとして公開されました。 https://github.com/runfinch ちょっとドキュメント読んでみる というわけで
RailsアプリケーションのCIにDynamoDB Localを導入した話 - クックパッド開発者ブログ
こんにちは、事業開発部 サーバーサイドエンジニアの堀江(kentarohorie)です。 今回はRailsアプリケーションのCIにDynamoDB Localを導入した事例をご紹介します。 広告入稿システムとCI クックパッドでは自社製の広告入稿システム・配信サーバーを運用しています。また広告の一部はDynamoDBを利用したアーキテクチャで入稿・配信されています。詳細は以前の記事「広告配信サーバーにおける DynamoDB Accelerator (DAX) 活用事例の紹介」で紹介されています。この入稿・配信のうち、広告入稿システムのCIに対してDynamoDB Localの導入を行いました。 広告入稿システムのCIではブランチへのpush、またはmasterへの変更をトリガーにCIサーバー上でスクリプトが実行されていました。CIサーバーにはMySQLやPostgreSQLの環境が用意さ
Continuous delivery of container applications to AWS Fargate with GitHub Actions | Amazon Web Services
AWS Open Source Blog Continuous delivery of container applications to AWS Fargate with GitHub Actions At the day two keynote of the GitHub Universe 2019 conference on Nov 14, Amazon Web Services announced that we have open sourced four new GitHub Actions for Amazon ECS and ECR. Using these GitHub Actions, developers and DevOps engineers can easily set up continuous delivery pipelines in their code
こちらはLivesense アドベントカレンダー 2020 およびKubernetes3 アドベントカレンダー1日目の記事です。 こんにちは、転職会議のSREのかたいなかです。 転職会議では2020年の一年間をかけてインフラ基盤をECSからEKSに移行してきました。 この記事では構築したEKS基盤やECSからの移行の中で工夫した点を紹介します。 なぜEKS移行？ 古くなっていたECS基盤を刷新する上で、ECSで再度作り直すのではなくEKSを選んだのは主に以下のような理由です。 IaCを更に推し進めGitOpsの考えを採用し、開発者がSREにレビュー以外で依存することなく主体的にインフラを変更できる状態を作るため ArgoやIstioといったKubernetesネイティブに開発されているツールを採用することでの恩恵を将来的に受けられるようにするため 純粋な技術的興味 採用を決めた当時は技術的
Dockerfileとタスク定義の変更を既存のFargateに自動デプロイするGithub Actionsを設定した | DevelopersIO
Dockerfile とタスク定義ファイルが変更され、レポジトリに Push される度にプロセスを自動実行する Github Actions を設定します。 こちらの記事を参考にタスク定義が更新される度に既存環境の Fargate へ自動デプロイをする Github Actions を設定したので手順を書き残しておくことにしました。 参考: GitHub Actions からサクッと Fargate にデプロイしてみた ケースシナリオ Dockerfile とタスク定義ファイルが変更され、レポジトリに Push される度に以下のプロセスを自動実行する Github Actions を設定します。その際に任意の環境へ Assume Role しデプロイできるように設定します。 AWS 環境へ Assume Role する Docker イメージをビルドして既存の ECR へ Push する
インターンでAWS ECSを使って機械学習プログラムを自動化した話 | Geppoプロダクトブログ｜テッシー
こんにちは！従業員のコンディション変化発見ツールのGeppoで6月から2ヶ月ほどインターンとして働いていた中村哲史です。 現在、南カリフォルニア大学3年生でコンピューターサイエンスとビジネスを勉強しています。 今回はインターン期間中にやったことの中で一番苦労した、機械学習を用いたデータ分析の自動化について書いていきます。 データ分析の内容自体は自分で作ったものではないのでここでは触れず、あくまでプログラムの自動化部分に集中しようと思います。 動機データサイエンティストがせっかく機械学習を使用したデータ分析プログラムを開発したのに、プログラムの専門性の高さから開発した本人しか使い方が分からないという問題がありました。 そこで、モデルの学習および学習済みモデルを用いた解析を自動化し、結果をデータベースに保存しておくことでプロダクトチームの誰でも分析結果を有効活用できるようにしました。 構成の検
【Bedrock×Lambda】高精度なハイブリッド検索RAGをサーバレスで実装（Slack連携も可） - Qiita
はじめに 近年、大規模言語モデル（LLM） の発展により、LLMを活用する機会が増加しています。 その中でも、LLMを組み込んだ仕組みの一つとして、RAG（Retrieval-Augmented Generation） が注目を集めています。 本記事では、はじめに、検索精度を向上させたRAGアーキテクチャを紹介します。 次に、それをAWS上で実装する方法について紹介します。 本記事で紹介したアーキテクチャの実装に用いるソースコードはGitHubで公開しています。 検索精度を向上させたRAGアーキテクチャ RAGの概要と検索手法 RAGの用途としては、社内文書など非公開ドキュメントを読み込ませ、そこから回答できる社内専用AIチャットボットなどが考えられます。 そのため、RAGの精度向上のためには、ナレッジベースから検索する際に必要なドキュメントを的確に取得できるかが重要な要素の一つとなります
2019年11月後半アップデート＆AWS re:Invent 2019 サービス別トピック総まとめ #reinvent | DevelopersIO
今年2019年の『AWS re:Invent』も先日全ての日程を終了し、数多くの新機能新サービスが発表されました。その詳細については当ブログでもポータルサイトを展開し、 また、例年通り参加レポートや技術検証ブログ等を書きまくっております。 AWS re:Invent 2019 ｜ シリーズ ｜ Developers.IO ですが、今年は(今年も？)『AWS re:Invent 2019』本編開始前にも数多くの新機能、または幾つかの新サービスも発表されていました。その数がこれまた非常に多く、『本編開始前にこれだけ出てくるってことはこの後(re:Invent 2019は)どうなるんだ...？』と思った方も多かったのではないでしょうか。 本編開始前の内容についてはAWSJ公式ブログでまとめられたエントリが計5本あり、また本編に関しても計5日分の日毎まとめとして、AWSJ公式ブログでその内容がまと
はじめに 最近、AWS CDKでコンテナ関連のリソース構築をしておりますが、コンテナリソースをどこまでCDKで実装するべきかが大きな悩みの種でした。 今回、コンテナ周辺のリソースをCDK、コンテナ本体のリソースをecspressoで構築した為、構築内容の紹介となっています。 ecspressoとは ECSサービス、タスクに関わる最小限のリソースをコード管理する事ができるツールです。 CDKを使う中で「CDKでサービス定義、タスク定義をするのは運用上厳しい」と感じた為、 CDKでサービス定義、タスク定義以外のリソースを構築 ecspressoでサービス定義、タスク定義、デプロイにも利用 ecspressoの外部参照機能（後述）を利用し、CDKで定義したリソースを取り込み といった構築の仕方をしています。 動作環境 cdk 2.59.0 ecspresso v2.1.0 構築内容 今回はサンプ
初めてAWSを使うときのセキュリティ覚書〜利用者編〜 | コラム | クラウドソリューション｜サービス｜法人のお客さま｜NTT東日本
しばらくDevelopersIOから出張してクラソルにも投稿します。 今回はこれからAWSを使う方や使い始めた方向けに、AWSセキュリティで絶対に覚えておく必要があることを解説します。 この記事を読んでいただければ、自信を持って安全にAWSを利用し始められます！ 1.前置き〜AWSは安全？〜 みなさんはAWSやクラウドを利用する際のセキュリティに対してどんな印象をもっていますか？ 「なんだかよくわからないけど不安だ」と感じている方、いい感覚です。初めて扱う技術を怖く感じることは正常な感覚です。しかし、過剰に怖がりすぎるのは違いますね。 逆に「AWSやクラウドは安全だからセキュリティを気にせず使って大丈夫だ」と感じた方は少し危険かもしれません。自らの正確な知識と正しい根拠がないまま勝手に安全だと信じることは正常な感覚ではありません。 いずれの場合も、AWSやクラウドについてこれから学習してい
Announcing additional Linux controls for Amazon ECS tasks on AWS Fargate | Amazon Web Services
Containers Announcing additional Linux controls for Amazon ECS tasks on AWS Fargate Introduction An Amazon Elastic Container Service (Amazon ECS) task is a number of co-located containers that are scheduled on to AWS Fargate or an Amazon EC2 container instance. Containers use Linux namespaces to provide workload isolation—and with namespaces—even though containers are scheduled together in an Amaz
「みんなのAWS〜AWSの基本を最新アーキテクチャでまるごと理解！」 全著者集合トークイベントのQ&Aをまとめました！（動画あり） | DevelopersIO
「みんなのAWS〜AWSの基本を最新アーキテクチャでまるごと理解！」 全著者集合トークイベントのQ&Aをまとめました！（動画あり） 2020年4月17日に開催された「みんなのAWS〜AWSの基本を最新アーキテクチャでまるごと理解！」出版記念！全著者集合トークイベントの動画およびQAコーナーの内容をまとめました。 2020年4月17日に「みんなのAWS〜AWSの基本を最新アーキテクチャでまるごと理解！」出版記念！全著者集合トークイベントを開催しました。 当日は約200人の方に参加いただき、非常に盛り上がりました。ありがとうございます！ 「みんなのAWS〜AWSの基本を最新アーキテクチャでまるごと理解！」出版記念全著者集合トークイベント #awsforeveryone - Togetter 本記事では当日の動画およびイベント後半のQAコーナーをまとめてご紹介＆回答します。 なお、質問内容や回答
皆さん，こんにちは！機械学習エンジニアの柏木（@asteriam）です． 本エントリーはコネヒトアドベントカレンダーの15日目の記事になります． 今回は機械学習モデルの実験管理をする際に使用しているAWSのSageMaker Experimentsの活用例を紹介したいと思います． アドベントカレンダー1日目でたかぱいさんがSageMaker Processingの使い所を紹介してくれているので，こちらも併せて参考下さい． tech.connehito.com はじめに 前回のエントリー*1でML Test Scoreの話をしましたが，その際にMLOpsの大事な要素である再現性（モデル学習など）に触れました．今回はこのモデル学習の再現性のために必要な実験結果（ハイパーパラメータの引数の値，モデル評価指標など）の管理をSageMaker Experimentsでしているというお話です． ※本エ
GitHub ActionsからECSとECRへのCI/CDを最小権限で実行したい | DevelopersIO
こんにちは！コンサル部のinomaso(@inomasosan)です。 前回、GitHub ActionsからECSのCI/CDについて試してみました。 その際、GitHub ActionsにはAWS管理ポリシーによる強めの権限を付与して検証しました。 本番運用を考慮する場合は、FullAccess等の強い権限だと思わぬ事故につながります。 今回はセキュリティの観点から、GitHub Actions用にIAMポリシーの最小権限例を作成してみました。 構成図 GitHub ActionsのDeploy to Amazon ECSテンプレートからワークフロー実行する際の大まかな構成図となります。 今回はIAMポリシーのActionとResourceをメインに権限を見直していきます。 IAMポリシーの最小化権限例 今回作成したIAMポリシーは以下の通りです。 ＜＞で囲った値は、ご自身の環境毎の値
こんにちは。アノテーションの中村 (誠) です。 今回は 2023 年 2 月に投稿された AWS テクニカルサポートノートについてのまとめです。 内容 Container Insights でメトリクスが欠損している原因と対処法を教えてください Metric MathのFILL関数をご利用ください。 EC2 インスタンス自動起動時エラー「Automation Step Execution fails when it is changing the state of each instance. Get Exception from StartInstances API of ec2 Service. …」を回避するには 呼び出し上限を超える StartInstances API 実行リクエストが行われた場合に発生するエラー内容と見受けられます。 Amazon EFS のライフサイクル管理
【レポート】 JAWS-UGコンテナ支部 21 西谷圭介さんとトリさん徹底討論スペシャル #jawsug_ct | DevelopersIO
コンサル部のとばち（@toda_kk）です。 JAWS-UGコンテナ支部 #21 に参加しました。 今回はいつもと毛色が異なり、AWS Japanからスタートアップへ転身された元サーバーレスSAの西谷圭介さんと元コンテナSAのトリさんのお二人に プロレス 討論していただこうという企画になっていました。 セッションタイトルでは「スタートアップ向け」とはなっているものの、スタートアップ以外の企業様にとってもサーバーレスとコンテナの活用を考える上で参考になる討論となっておりましたので、簡単に内容をまとめてみました。 拾いきれていないところも多々あり、また大変面白いやりとりもありました。動画アーカイブが公開されるようなので、全編が気になる方はぜひご覧ください！ 動画アーカイブ セッション一覧 内容 登壇者 AWS最近のコンテナアップデート振り返り 概要 みなさん、最近のAWSコンテナアップデート追
Kubernetes アプリケーションの公開 Part 1: Service と Ingress リソース | Amazon Web Services
Amazon Web Services ブログ Kubernetes アプリケーションの公開 Part 1: Service と Ingress リソース この記事は Exposing Kubernetes Applications, Part 1: Service and Ingress Resources (記事公開日: 2022 年 11 月 22 日) を翻訳したものです。 はじめに 連載「Kubernetes アプリケーションの公開」では、Kubernetes クラスターで実行されているアプリケーションを、外部からのアクセスのために公開する方法に焦点を当てます。 連載の Part 1 では、Kubernetes クラスターでインバウンドトラフィックの制御を定義する 2 つの方法である Service と Ingress リソースタイプについて探ります。Service コントローラ
REALFORCEのMacテンキーレス版、US配列(！)が2019/12/12より発売するとのことで、首を長くして待っているもこ@札幌オフィスです。 つい先月GitHub ActionsがGAし、GitHub単体でお手軽にCI/CDができるようになっています。 あまり触れられていない気がしますが、AWS公式からもGitHub Actionsをいい感じに使えるテンプレートが公開されていますので、今回はこのテンプレートを使ってFargate環境にデプロイして行こうと思います！ Amazon Elastic Container Service で複数の GitHub Actions が公開 テンプレートから作成していく 早速やっていきましょう。 リポジトリ > Actions からDeploy to Amazon ECSを選択します。 こんな感じでテンプレートが作られるので、右上からMaster
はじめに 今回は、NearMeにおけるCIの仕組みについて説明します。 CIとは、Continuous Integration(継続的インテグレーション)の略で、 コード変更の度にビルドとテストを自動で実行するプラクティスを指します(参考)。 NearMeではCIを実現する方法として、Kubernetes(k8s)上に動作するArgoを利用しました。 k8sはコンテナ化されたアプリケーションを管理するためのオープンソースのシステムです。 Argoはk8s上でCIやCD(Continuous delivery)を実現するツール群です。 一般に、CI構築では外部サービスを利用することも多いですが、 他システムの障害や料金に依存せずCIを管理したかったのと、 既にk8sを中心にシステムを構築していたので、 多少の煩雑さはありつつも自前で構築しました。 システム構成 CIシステムはイベントの処理を
Introducing new features for the aws-sdk-rails gem | Amazon Web Services
AWS Developer Tools Blog Introducing new features for the aws-sdk-rails gem The Ruby SDK team is happy to announce that we’ve added new features and consolidated existing gems into the aws-sdk-rails gem to make developing Rails applications using AWS easier than ever. Features supported Amazon Simple Queue Service (SQS) queue adapter for ActiveJob (new) ActiveSupport::Notification instrumentation
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Spring + JPAによるアプリケーション構築事例
シンプルでセキュアなRails on ECSのTerraformによる実装 - Qiita
Lambda でコンテナを実行する - y-ohgi's blog
AWS認定機械学習専門知識(MLS)を、２ヶ月の集中期間で取得したやったことまとめ - Qiita
AWS Protonを使用した本番運用を考える - NRIネットコムBlog
Spin 1.0 — The Developer Tool for Serverless WebAssembly
Renovate の Best Practices から学ぶ依存関係管理の考え方
転職会議のKubernetes移行のあゆみ - LIVESENSE ENGINEER BLOG
AWS CDK + ecspressoでAWSコンテナリソースの管理をラクにしよう！ - Qiita
SageMaker Experimentsを使った機械学習モデルの実験管理 - コネヒト開発者ブログ
2023 年 2 月の AWS テクニカルサポートノートまとめ | DevelopersIO
GitHub ActionsからサクッとFargateにデプロイしてみた | DevelopersIO
ArgoによるCI構築 - NearMe Tech Blog