はじめにはじめまして!! 株式会社グロービスのデジタル・プラットフォーム部門､データサイエンスチーム､データエンジニアリングユニットにてソフトウェアエンジニアをしております､爲岡 (ためおか) と申します｡ (肩書きが長くてすみません｡) グロービスには当初､機械学習エンジニアとして入社しましたが､現在は機械学習や分析に利用するためのデータ基盤の開発・運用をメインで担当しています｡ この記事では､グロービスのデータエンジニアリングユニットが運用しているデータ基盤のアーキテクチャについてご紹介できればと思います｡ グロービスについて突然ですが､皆様はグロービスに対してどのようなイメージをお持ちですか? 特にテクノロジーの領域で働く方々にとって､そもそもグロービスという企業を知らない､という方が大半なのではないか､と思っています｡ また､もしご存じだとしても､経営大学院や研修事業など､テクノロ
インフラ構築経験ほぼ無しの私がモダンスタックで新サービスを公開するまでの歩み - エス・エム・エス エンジニア テックブログ
エス・エム・エスで介護施設への入居マッチングサービス「安心介護紹介センター」の開発をしている中村と申します。「安心介護紹介センター」は2022年3月にローンチしたばかりの新規サービスで昨年から開発プロジェクトの担当をしています。 安心介護紹介センターはゼロからプロダクトを作るプロジェクトだったので、インフラの構成や監視など全てをゼロから考えて作る必要があったのですが、開発チームのメンバーでその経験が豊富な人はおらず、私にいたっては経験ゼロ。いつもインフラについては社内のインフラチームだったり他の誰かに設計・構築してもらい、自分はアプリケーションのコードを書くのみで、ALBもIAMもSecurity Groupも名前と役割は知っているけれど、自分でAWS環境で設定したことはありませんでした。またローカル環境構築のためにDockerを利用してはいましたが、コンテナでサービスを運用したこともあり
株式会社シャペロンのsrkwです。 シャペロンでは昨年、Playwrightを使ったE2Eテストによる各種機能の検証の自動化を導入しました。 E2Eテスト導入の背景や、チームへの浸透に向けた取り組みと反省等については別の記事で紹介しているので、興味のある方はこちらも併せてご覧ください。 この記事では、シャペロンの日次のE2Eテスト実行を支えるインフラ構成と、PlaywrightによるE2Eテスト導入によって溜まったtipsをご紹介したいと思います。同じようにPlaywrightを使ったE2Eテスト導入を検討している、あるいは導入済みで格闘している方にとって、少しでもお役に立てると嬉しいです。 日次のE2Eテスト実行を支えるインフラ構成 前提:Shaperonのテナント構成 シャペロンは製薬企業向けのコミュニケーション用SaaS、Shaperonを提供しており、Shaperonは利用テナント
AWS DevOps Monitoring Dashboard ソリューションを使用して CI/CD メトリクスのキャプチャと分析を自動化する方法 | Amazon Web Services
Amazon Web Services ブログ AWS DevOps Monitoring Dashboard ソリューションを使用して CI/CD メトリクスのキャプチャと分析を自動化する方法 この記事は 2021年4月14日に Solutions Builder and Data Analytics SME の Aijun Peng と Technical Program Manager の Rakshana Balakrishnan により投稿された How to automate capture and analysis of CI/CD metrics using AWS DevOps Monitoring Dashboard solution を翻訳したものです。 世界中の企業が、ソフトウェア・デリバリー・プロセスの生産性を向上させるために、DevOps ツールに投資しています
こんにちは。サービス部の武田です。このエントリは、2018年から毎年公開しているAWS全サービスまとめの2023年版です。 こんにちは。サービス部の武田です。 このエントリは、2018年から毎年公開している AWS全サービスまとめの2023年版 です。昨年までのものは次のリンクからたどってください。 AWSにはたくさんのサービスがありますが、「結局このサービスってなんなの？」という疑問を自分なりに理解するためにまとめました。 今回もマネジメントコンソールを開き、「サービス」の一覧をもとに一覧化しました。そのため、プレビュー版など一覧に載っていないサービスは含まれていません。また2022年にまとめたもののアップデート版ということで、新しくカテゴリに追加されたサービスには[New]、文章を更新したものには[Update]を付けました。ちなみにサービス数は 234個 です。 まとめるにあたって、
CI・CD界隈期待の星!!Daggerに入門してローカルとGithubActionsでCIを動かしてみた | DevelopersIO
CI・CD界隈期待の星!!Daggerに入門してローカルとGithubActionsでCIを動かしてみた こんにちは、AWS事業本部コンサルティング部に所属している今泉(@bun76235104)です。 みなさん、CI・CDのプラットフォームは何を利用されていますか？ AWS CodePipeline AWS CodeDeploy AWS CodeBuild GitHub Actions CirleCI GitLab CI/CD など、沢山の魅力的なサービスがありますね。 一方で以下のような悩みを抱えていらっしゃいませんか？ CI/CDサービスの移行が必要になり、設定ファイルを大きく書き換える必要がある ↑が大変だったので、SaaSの製品を使うようにしたら割と費用がかかるようになった CI/CDの設定をyamlで書いているが、ローカルでの開発が大変 書いた設定ファイルをCI/CDのサービス
はじめに 先日、ノリと勢いで企画した SRE.fm を行い、ゆるふわに Terraform や IaC の話をしました。 sre-fm.connpass.com 実際にやってみて、質問への回答を行う中で、IaC に関わるひとたちのマジョリティと自分たちには大きな隔たりがあるような感覚を持ちました。そういった中で、質問の1点1点に答えるというよりも、大局的な理解であったり、その本質的な要素であったり、段階に分けた学習ステップ等を言語化することが必要なのではないか、と（その後の二次会で）たどり着きました。 「IaC は当たり前になった」というのは Infra Study Meetup #1「Infrastructure as Code」 での Mizzy さんの言葉で、これに関しては大きく同意するものの、この「当たり前」は「誰でもしている状態になった」「できていないのはありえない」というもので
CloudFormationを自チームでも使いこなしたいのですが学習方法を教えてください | DevelopersIO
こんにちは。 ご機嫌いかがでしょうか。 "No human labor is no human error" が大好きな ネクストモード株式会社 の吉井です。 Infrastructure as Code (IaC) という言葉が世の中に登場してから十数年が経過しています。 概念は IT 業界に浸透し、すでに何らかの形で IaC を実践・導入されている企業さんも数多いことと思います。 AWS からは CloudFormation が提供されています。 「CloudFormation の活用を開始しているが良い学習方法を教えてほしい」といった要望を多く頂戴します。 今回は学習に役立つコンテンツを集めてみました。 AWS公式ドキュメント まずは UserGuide を読みましょう。 全ページ読まなくても大丈夫ですが、ブックマークくらいはしておきます。 Template reference Te
SageMaker Serverless Inferenceも使っているNewsPicksの機械学習システムの構成を紹介します！ - Uzabase for Engineers
こんにちは。NewsPicksエンジニアの雲越です。 NewsPicksでは、記事のレコメンドを始めとする機械学習を組み込んだシステムがいくつか動いており、中にはAmazon SageMakerを使って実装されているものもあります。 今回はそんなシステムの一つである記事分類システムが、どのようにSageMakerを使っているかについて紹介します。 どんなシステム？ 学習について Training Jobを利用している背景 推論について Serverless Inference導入 CDKで推論エンドポイントを作るのをやめました 今回の対応まとめ 今後の改善 終わりに どんなシステム？ NewsPicks編集部によってオリジナル記事が投稿されたり、URLピックという機能やRSSによって外部メディアの記事が取り込まれたりすると、NewsPicks内に記事が登録されます。 この際に、その記事のタ
HashiTalks Japan 2021 で弊プロダクトの Terraform Platform について登壇しました - スタディサプリ Product Team Blog
こんにちは。 SRE の @suzuki-shunsuke です。 HashiTalks Japan 2021 で登壇させていただきました。 HashiTalks Japan 2021 とは HashiCorp が主催するコミュニティ向けのイベントです。 Terraform や Vault など、 HashiCorp の様々なプロダクトに関して自由に登壇し、ナレッジを共有するイベントです。 2021年9月30日にオンラインで開催されました。 資料や動画が下記で公開されているので、ぜひご覧ください。 https://events.hashicorp.com/hashitalksjapan HashiTalks: Japan 発表資料 - Speaker Slides - HashiCorp User Groups, Events, and Meetups - HashiCorp Discus
「Amazon CodeCatalyst」が正式サービスに AWS上で開発環境一式、コードリポジトリからテンプレートコード、IDE、CI／CDパイプラインまでを丸ごと提供
この記事は新野淳一氏のブログ「Publickey」に掲載された「「AWS上で開発環境一式、コードリポジトリからテンプレートコード、IDE、CI/CDパイプラインまでを丸ごと提供する「Amazon CodeCatalyst」が正式サービスに」（2023年4月26日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 米Amazon Web Services（AWS）は、クラウド上でアプリケーションの初期コード、インフラ設定、ソースコードのリポジトリ、コードエディタ、ビルド／テスト／デプロイを実行するCI／CDパイプラインなど、アプリケーションの初期設定から開発、デプロイ、そしてチームコラボレーション機能の一式をまとめて提供するサービス「Amazon CodeCatalyst」の正式サービス化を発表しました。 参考：［速報］AWS上で開発環境一式、フレームワーク、初期コード
ArgoCD と Renovate によるコンポーネントの継続的なデプロイ - スタディサプリ Product Team Blog
こんにちは、SRE の @int128 です。 Quipper では日本やグローバル向けのサービスをそれぞれの Amazon EKS クラスタで提供しています。Service Level を保ちながらクラスタを運用していくには Cluster Autoscaler や Datadog Agent などのコンポーネントが必要不可欠になります。また、Developer Productivity を改善していくために内製ツールで GitHub や CI などのメトリクスをモニタリングする取り組みを進めています。Quipper ではこのようなシステム共通のコンポーネントを System Components と呼んでいます。 Service Level や Developer Productivity を継続的に改善していくには、コンポーネントの設定変更を素早く試したり、新しいコンポーネントを簡単
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? こちらのアドベントカレンダーの記事です。 近々書くような気がするので、先駆けてアドベントカレンダー駆動で書いていきます。 スタートアップのデータ基盤に興味がある人には刺さるかもしれません。 TL;DR 2020年に構築した弊社のS3+Athena構成のデータ基盤の限界が近い 構築当時に比べてデータ基盤の選択肢色々増えて嬉しい 2024/1~3にかけてSnowflake or Redshift Serverlessの検証をします 現在のデータ基盤の構成 タイトルの通りS3 + Athenaを中心にAWSの細かいサービスを使っています 使用
DAZN はイベントベースの動画ストリーミングを大規模にオーケストレーションするために AWS Step Functions をどのように利用しているか | Amazon Web Services
Amazon Web Services ブログ DAZN はイベントベースの動画ストリーミングを大規模にオーケストレーションするために AWS Step Functions をどのように利用しているか 本ブログは、DAZN の Russ Johnson と、AWS の Corneliu Croitoru、Chris Fane によって共同執筆されています。 このブログ記事では、グローバルなスポーツエンターテイメントプラットフォームである DAZN が、ライブスポーツストリーミングイベントを自動化するために、軽量でモジュラー式かつ拡張可能なオーケストレーターを構築するために、Amazon Web Services（AWS）の AWS Step Functions をどのように使用したのかをご説明します。DAZN はこのアーキテクチャにより、イベントの分類設定と耐障害性の要件に基づき、ジャスト
I originally posted this on Reddit so I could get a good sample of opinions from other engineers to see how they compared to mine before posting and expanding here. This is my opinion based on my experience with both platforms (two years in each). My bias towards GCP is mostly based on the superior experience I have gotten with it and I am in no way affiliated with Google. AWS is still my second c
サーバーレスをこれから始める方へ！「形で考えるサーバーレス設計」のCDKテンプレート(web/mBaaS編)を試して解説してみた | DevelopersIO
サーバーレスをこれから始める方へ！「形で考えるサーバーレス設計」のCDKテンプレート(web/mBaaS編)を試して解説してみた AWSから「形で考えるサーバーレス設計」という資料が公開されています。こちらの設計を実装したCDK・SAMテンプレートとソースが一部で公開されていますので紹介します。試すことでサーバーレスで実装する際の実装・テスト・CI/CDの流れを把握することができます。 はじめに CX事業本部@東京の佐藤智樹です。 サーバーレスでシステムを構築する場合にやりたいことから利用パターンを勉強するために、AWSから「形で考えるサーバーレス設計」という資料が公開されています。 最近見たところ一部のパターンで、実際に動かして試すためのSAM、CDKテンプレートとLambdaのソースが公開されていました。今回はこちらのアプリケーションをコンソールから構築した後、テンプレートの内容を解説
CICD on Serverless Applications using AWS CodeArtifact | Amazon Web Services
AWS DevOps & Developer Productivity Blog CICD on Serverless Applications using AWS CodeArtifact Developing and deploying applications rapidly to users requires a working pipeline that accepts the user code (usually via a Git repository). AWS CodeArtifact was announced in 2020. It’s a secure and scalable artifact management product that easily integrates with other AWS products and services. CodeAr
はじめに こんにちは。クックパッドレシピサービス開発部の宮崎（HN：どや）です。 私は2021年新卒としてクックパッドに入社し、そろそろ１年が経とうとしています。時の流れははやいですね。 さて、表題にも記しましたが、去年の末に新しくサーバーサイドのアプリケーションを作成しました。 クックパッドではサービスメッシュを用いたマイクロサービスアーキテクチャを採用しており、ドメインやチームに応じてアプリケーションが小さく分割されています。今回、クックパッドで利用されるマイクロサービスの１つとして、新しいアプリケーションサーバーを立ち上げました。 社内のマイクロサービスの状況については以下の記事が詳しいので、ぜひ読んでみてください。 techlife.cookpad.com 「アプリケーションサーバーを立ち上げる」と一口に言っても、新しいアプリケーションを作るのは意外と大変です。そもそも、新しいアプ
最近Sphinxつかってドキュメントを書いてるのですがなかなかイケています。 SphinxとはPython製ドキュメンテーションビルダーで、reStructuredTextという記法で書かれたテキストファイルをHTMLやPDFなどに変換することができます。 SphinxはPythonの公式ドキュメントなどにも使われており、見たことある方も多いのではないでしょうか。 今回は「Sphinxを自動デプロイ&公開する方法」を紹介したいと思います。 構成図 せっかちな人へ GitHubの方にソースコード全部あげています。 Sphinxのインストール 詳細は公式ドキュメントを確認ください。 pipenvを使ってライブラリをインストール pipenv install sphinx クイックスタート pipenv shell sphinx-quickstart 作成されたファイル $ tree -L 2
AWS CodeBuild テストレポートの一般公開が開始
AWS CodeBuild でのテストレポート用サポートが本番環境用に一般公開となりました。 テストレポートを使用することで、CodeBuild で実行したテストの詳細やアクション可能ビューを見られるようになり、失敗したテストの検証が容易になります。 テストレポートを使用することで、AWS CodeBuild で実行されたテストの過去の傾向、集約したメトリクス、失敗したテストの詳細などを表示できます。これらの機能は JUnit、Cucumber、TestNG、または TRX のファイルを出力するあらゆるフレームワーク用にサポートされています。2019 年 11 月にテストレポートのベータ版が発表されて以来、レポートグループのタグ付け、2 つのテストフレームワークの追加 (TestNG and TRX) などのサポートを導入してきました。利用を開始するには、レポートグループとテスト結果ファイ
インフラ民主化でトイルを1/9にした話 - Link and Motivation Developers' Blog
こんにちは、Motivation Cloud(以下、MC)のSREをしている岸本です。 今回、最近取り組んでいるインフラ民主化の内容の一部を紹介させていただきます。 （前提、弊社はAWSを用いております） インフラ民主化とは？ 背景 概要 詳細 本番と開発AWSアカウントの分離 ロールの運用について 開発アカウントについて 本番アカウントについて 開発者が自由、かつ、簡単に開発環境を作成できるためのツール作成 インフラ民主化の文化浸透の活動 1. 意識の変革の設計 2. 協力者の創出 今後の展望 インフラ民主化とは？ 我々SREはFour Keysを基準として自律した生産性の高い開発組織をハイパフォーマーにしていくことを目指しています。 ハイパフォーマーにするために、改善活動に注力していきたい一方、プロダクトが増え、開発者からの依頼等で改善活動に充てる時間が減ってきていました。 さらにSR
Amplify CLIを使い、労力ゼロでGraphQL/REST APIやウェブホスティング用にコンテナをデプロイする | Amazon Web Services
Amazon Web Services ブログ Amplify CLIを使い、労力ゼロでGraphQL/REST APIやウェブホスティング用にコンテナをデプロイする この記事は、Zero-effort Container deployment for GraphQL and REST APIs and Web Hosting with Amplify CLIを翻訳したものです。 AWS Amplifyを使うことで、最速かつ簡単に、AWSでクラウド対応のモバイルアプリケーションやウェブアプリケーションを構築することができます。Amplifyは、フロントエンドのウェブ開発者やモバイル開発者が AWSの豊富なサービス群を活用して、革新的で多機能なアプリケーションを構築できるよう、ツール類や各種サービスを一通り備えています。 本日リリースしたAmplify CLIをお使いになることで、フロントエ
Amazon Web Services ブログ ECS 外部デプロイコントローラーを使用したブルー/グリーンデプロイ はじめに 継続的インテグレーション (CI) と継続的デリバリー (CD) は、現代のソフトウェア開発における重要なプラクティスです。それによりソフトウェアの配信を合理化して、ビジネス価値を迅速に提供できます。迅速な配信に加えて、現在のビジネス環境では、アプリのダウンタイムもほぼゼロであることが求められます。ブルー/グリーンデプロイが提供するソリューションは、チームが迅速に提供できるようにするだけでなく、機能のリリースに不可欠と考えられていた「メンテナンスウィンドウ」を排除するのにも役立ちます。大まかに言うと、このアプローチでは、新しいアプリケーションスタック (グリーン) を本番バージョン (ブルー) と並行してデプロイする必要があります。最初に、このグリーンスタックは生
ディップ社・バックエンドエンジニアの藤中雄太氏藤中雄太氏（以下、藤中）：「プロダクト間のデータ連携をイベント駆動で作り直した話」をお話しします。ディップ株式会社の藤中と申します。よろしくお願いいたします。 本日は、（スライドを示して）このアジェンダに沿ってお話をします。 まず、簡単に自己紹介をしたいと思います。私は、2022年3月にディップ株式会社へ入社しました。JavaやGoを主力に、バックエンドエンジニアをやっています。 従来のシステムにおけるデータ連携のかたち藤中：今回の、「イベント駆動でシステムを作り直した話」をお話しするにあたり、まず、従来のシステムについて説明をいたします。 従来のシステムの説明をさせていただくにあたり、システムに関連する弊社の2つのサービスについて軽く説明をいたします。 弊社では、「コボット」と「バイトル」というサービスを提供しています。コボットは、履歴書の送
CloudFront Hosting Toolkitを使って静的Webサイト環境を作ってみた | DevelopersIO
手間をかけずにCloudFrontを使った静的Webサイトを作りたい こんにちは、のんピ(@non____97)です。 皆さんは手間をかけずにCloudFrontを使った静的Webサイトを作りたいなと思ったことはありますか? 私はあります。 過去にAWS CDKを使ってこの思いを実現したことがありますが、一からAWS CDKを作り込むのはなかなか大変でした。 そんな苦労はCloudFront Hosting Toolkitを使用すると少し解消されるかもしれません。 CloudFront Hosting ToolkitはCLIまたはAWS CDKでフロントエンドのホスティングとCI/CDパイプラインを用意するツールです。 今だとAmplifyを使えば良いのではないか? という声も聞こえてきますが、細かいカスタマイズを行いたい場合にCloudFront周りを直接操作したい場合があります。そうい
Linux SIGNAL と Graceful Shutdown - Link and Motivation Developers' Blog
はじめに 来期は「本番デプロイをもっと気軽に。高速に」を実現したいな〜と思っている SRE 川津です。 そもそも、本番デプロイが気軽にできない事の根本には 「起動しているアプリケーションを気軽にシャットダウンできない」 ことがあります。 何が問題か？ 現状のリリースプロセス LM では、本番デプロイが 半 自動化されています # Actor Operation 1 人間 リリース PR を master マージします 2 CI Docker Image をビルドします 3 CI ECS (待機系) に新しい Image がデプロイされます → 古いコンテナがシャットダウンされます 4 人間 コンテナが完全に立ち上がり切る (Health = Green) のを待ちます 5 人間 (CI) 稼働⇔待機系 の Switch をします。 (CI 手動実行) 作業は自動だが、張り付いて「大丈夫かな
この本の概要 CI/CD（継続的インテグレーション，継続的デプロイ）を導入すると，ビルド／テスト／デプロイなどアプリケーションのリリースに至るまでの多くの作業を自動化できます。開発が効率化するだけでなく，テストを確実に行うことなどにより品質の向上にもつながります。本書は，多くのアプリケーション開発で活用されているCI/CDサービス「CircleCI」を使って，CI/CDを実現できるようになるための書籍です。基本から始め，実際の開発に応用できるよう設定例やTipsをふんだんに掲載しています。 こんな方におすすめ Webアプリケーション開発を効率化したいと考えているWeb開発者 この書籍に関連する記事があります！ はじめに 本書の目的は，CircleCIを通してCI/CDに入門することです。 CI/CDを活用して開発速度と品質を両立！ CI/CDはそれぞれContinuous Integrat
はじめに こんにちは！AI戦略室の曽迪(ｿﾃｷ)です。LIFULL社内の技術や知見を集結させて議論するイベント: LIFULL Tech Hubの運営リーダーを担当しています。今回はLIFULL Tech Hubについて紹介します。 LIFULL Tech Hubとは LIFULL Tech Hubとは、過去に「AI戦略室成果展示会」という名称で開催されたイベントをさらに発展させた全社カンファレンスです。 そもそも私が所属するAI戦略室は、事業部とは独立した組織であるため事業部との距離感が生じやすく、研究開発組織として活動や成果を発信し会社全体に存在意義を認知してもらう必要がありました。「AI戦略室成果展示会」はその流れで開催されたものとして、以来定期的に全社イベントとして開催してまいりました（過去のAI戦略室成果展示会の紹介）。 これらのイベントを開催する過程において、社内には私たちと同
Docker Hub の Rate Limitに引っかかったのでdocker loginで対策した - fu3ak1's tech days
AWSのcodebuildで、docker buildが失敗するようになりその対応をしたので備忘録です。 Docker Hub の Rate Limitとは 英語になりますがこちらに記載があります。 www.docker.com The rate limits will be progressively lowered to a final state of 100 container image requests per six hours for anonymous usage, and 200 container image requests per six hours for free Docker accounts. Image requests exceeding these limits will be denied until the six hour window ela
背景 アドベントカレンダー用記事を書いていて、サイズが大きい自然言語処理ライブラリをLambdaで使う部分で技術的障壁が出てきている。そんな中、EFSにセットアップしたPythonライブラリをLambdaにimportする方法という記事を見つける。こちらの技術で要件が満たせそうなので試してみる。 関係する拙記事 背景で述べた技術的障壁を乗り越えるべく各種技術を検証した時の記事。 LambdaLayer用zipをCodeBuildでお手軽に作ってみる。 LambdaでDockerコンテナイメージ使えるってマジですか？（Python3でやってみる） GiNZA とは 形態素解析を始めとして各種自然言語処理が出来るpythonライブラリ。spaCyの機能をラップしてる（はず）なのでその機能は使える。形態素解析エンジンにSudachiを使用したりもしている。 前提 リソース群は基本CloudFor
AWS CodeBuildがiOSやiPadOS、macOSアプリなどのビルドに対応 Apple M2プロセッサ／macOS 14マシンのビルド環境を自動プロビジョニング
この記事は新野淳一氏のブログ「Publickey」に掲載された「AWS CodeBuildがiOSやiPadOS、macOSアプリなどのビルドに対応。Apple M2プロセッサ/macOS 14マシンのビルド環境を自動プロビジョニング」（2024年8月20日掲載）を、ITmedia NEWS編集部で一部編集し、転載したものです。 AWS CodeBuildはマネージドサービスでビルドとテストを提供 AWS CodeBuildはAWSがビルドサーバの環境構築や管理、アップデートなどの作業をしてくれる、コードのビルドとテストをマネージドサービスとして提供するサービスです。 GitHubやAWS CodeCommmit、Amazon S3などをソースとして、Java、Python、Node.js、Ruby、Go、Android、.NET Core for Linux、Dockerのビルドとテスト
Serverless Framework で生成した API キーをデプロイ時に SSM パラメータストアに登録する - michimani.net
Serverless Framework で生成した API キーをデプロイ時に SSM パラメータストアに登録する Posted on 12 March, 2020 Serverless Framework を使用すると API Gateway の API キーも簡単に生成することができます。今回は、生成した API キーを デプロイ時に SSM のパラメータストアに登録するようにしてみた話です。 目次 概要 前提 やること 1. sls info から API キーの値を取得する 2. 取得した API キーを SSM パラメータストアに登録する 最終的な buildspec.yml まとめ 概要 Serverless Framework で API Gateway の API キーを生成し、その値を AWS Systems Manager (SSM) のパラメータストアに登録します。
Amazon Web Services ブログ マネージドサービスを活用した機械学習のためのCI/CDパイプラインの構築 この投稿は株式会社ブレインパッドのエンジニアである 小杉 知己 氏に、自社で取り組まれた機械学習のための CI/CD パイプライン構築についてご紹介頂き、AWS 社員と共著したものとなります。 はじめに 機械学習 (ML) のビジネスにおける活用はますます加速しています。しかし、MLプロジェクトの初期段階における概念実証 (PoC) フェーズを乗り越え、MLを本番環境において運用するには多くの課題があることが知られています。例えば、運用中のデータの質の変化に対応するためにMLモデルの再訓練を行う必要が出てきたとき、さまざまなモデルのバージョンをいかに管理するかが課題となります。また、作ったモデルの本番適用可否の判断を効率的に行うためにはライフサイクルの管理が必要となりま
本記事は 【コンテナウィーク】 3日目の記事です。 💻 2日目 ▶▶ 本記事 ▶▶ 4日目 📱 はじめまして、2021年キャリア入社の加藤です。 Amazon ECSのデプロイツールであるecspressoを用いて複数環境にECSデプロイを実施してみようと思います。 業務でTerraformを使用する機会が多いので、ecspressoと連携させ、より実践的な使い方を試します。 ecspresso とは ecspressoはfujiwara氏が公開しているECSのデプロイツール(OSS)です。 github.com 設計思想として 「ECSのデプロイに関わる最小限のリソースのみを管理するツール」と書かれており、ECSデプロイに特化したツールであることが分かります。 ecspressoの管理対象は「ecspressoの設定ファイル」「ECSサービスの設定ファイル」「ECSタスク定義の設定フ
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?
![[Terraform]CodeBuildでTerraformリポジトリのCIを行う - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/155af549681da61de090e38058be70be0ac5e824/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fqiita-user-contents.imgix.net%252Fhttps%25253A%25252F%25252Fcdn.qiita.com%25252Fassets%25252Fpublic%25252Farticle-ogp-background-afbab5eb44e0b055cce1258705637a91.png%253Fixlib%253Drb-4.0.0%2526w%253D1200%2526blend64%253DaHR0cHM6Ly9xaWl0YS11c2VyLXByb2ZpbGUtaW1hZ2VzLmltZ2l4Lm5ldC9odHRwcyUzQSUyRiUyRnFpaXRhLWltYWdlLXN0b3JlLnMzLmFwLW5vcnRoZWFzdC0xLmFtYXpvbmF3cy5jb20lMkYwJTJGNTUyMzQzJTJGcHJvZmlsZS1pbWFnZXMlMkYxNjMwNzM0OTczP2l4bGliPXJiLTQuMC4wJmFyPTElM0ExJmZpdD1jcm9wJm1hc2s9ZWxsaXBzZSZmbT1wbmczMiZzPTQ1YzM0MzgwMjQwYWMxMzQ5NmE0NzIwN2YwODFiMTY0%2526blend-x%253D120%2526blend-y%253D467%2526blend-w%253D82%2526blend-h%253D82%2526blend-mode%253Dnormal%2526s%253D797ed11da134fdda744f39588acceb6d%3Fixlib%3Drb-4.0.0%26w%3D1200%26fm%3Djpg%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk2MCZoPTMyNCZ0eHQ9JTVCVGVycmFmb3JtJTVEQ29kZUJ1aWxkJUUzJTgxJUE3VGVycmFmb3JtJUUzJTgzJUFBJUUzJTgzJTlEJUUzJTgyJUI4JUUzJTgzJTg4JUUzJTgzJUFBJUUzJTgxJUFFQ0klRTMlODIlOTIlRTglQTElOEMlRTMlODElODYmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtcGFkPTAmcz04NjFlYWMyMDg3MDI4MzVlOTJhZWFkNDBmMTY2MzI0Mw%26mark-x%3D120%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTgzOCZoPTU4JnR4dD0lNDBtaW50YWsyMSZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1wYWQ9MCZzPWEyMjk0ZTc5ZmFlMjFmZTlhNjYxZDU3MjUwY2QyZTNi%26blend-x%3D242%26blend-y%3D480%26blend-w%3D838%26blend-h%3D46%26blend-fit%3Dcrop%26blend-crop%3Dleft%252Cbottom%26blend-mode%3Dnormal%26s%3Ddb7983ab7990dd2e5b31f9075178f634)
AWS App RunnerのカスタムVPC対応され、VPCリソースにアクセスできるようになった - Qiita
速報 2022/2/9にAWS App Runnerのアップデートが飛び込んできました。！ https://docs.aws.amazon.com/apprunner/latest/relnotes/release-2022-02-08-vpc.html 待ちに待った、App RunnerのカスタムVPC対応で、これにより今までできなかったVPCリソースに対しアクセスできるようになります。 AWS App Runnerとは AWS App Runnerについてはこちらの記事にまとめているので、詳細を知りたい方は、見ていただければと思います。 要約すると、ECS/Fargateをもっと楽に運用したいし、気軽に作ったアプリをデプロイしたいよねって時に使える最強サービスです。 利用ユーザとしては、ECR上に作成したアプリのimageをpushすれば、そこから先、Codebuildを利用し、App
[AWS Black Belt Online Seminar] Amazon Aurora MySQL Compatible Edition ユースケース毎のスケーリング手法 資料及び QA 公開 | Amazon Web Services
Amazon Web Services ブログ [AWS Black Belt Online Seminar] Amazon Aurora MySQL Compatible Edition ユースケース毎のスケーリング手法 資料及び QA 公開 先日 (2020/09/29) 開催しました AWS Black Belt Online Seminar「Amazon Aurora MySQL Compatible Edition ユースケース毎のスケーリング手法」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20200929 AWS Black Belt Online Seminar Amazon Aurora MySQL Compatible Edition ユースケース毎のスケーリング手法 AWS クラウドサービス活用資料集（すべての過去資料
![[AWS Black Belt Online Seminar] Amazon Aurora MySQL Compatible Edition ユースケース毎のスケーリング手法 資料及び QA 公開 | Amazon Web Services](https://cdn-ak-scissors.b.st-hatena.com/image/square/750e538720b71ee41b3ec257a8022c0ef03861df/height=288;version=1;width=512/https%3A%2F%2Fd2908q01vomqb2.cloudfront.net%2Fb3f0c7f6bb763af1be91d9e74eabfeb199dc1f1f%2F2020%2F10%2F13%2FThumbnail-1.png)
[AWS Black Belt Online Seminar] AWS CloudFormation 資料及び QA 公開 | Amazon Web Services
Amazon Web Services ブログ [AWS Black Belt Online Seminar] AWS CloudFormation 資料及び QA 公開 先日 (2020/08/26) 開催しました AWS Black Belt Online Seminar「AWS CloudFormation」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20200826 AWS Black Belt Online Seminar AWS CloudFormation AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. AWS CloudFormation テンプレートを作り込む際、実際にスタック作成してトライ＆エラーで作り込んでますが、スタック作成せずにテンプレートを検証できる方法はないでしょうか？ A. 本 B
![[AWS Black Belt Online Seminar] AWS CloudFormation 資料及び QA 公開 | Amazon Web Services](https://cdn-ak-scissors.b.st-hatena.com/image/square/070d64a8eefc6e9e77a9c49c5dcb09d3a6367439/height=288;version=1;width=512/https%3A%2F%2Fd2908q01vomqb2.cloudfront.net%2Fb3f0c7f6bb763af1be91d9e74eabfeb199dc1f1f%2F2020%2F09%2F16%2Fthumbnail-1.png)
こんにちは。コンサル部@フォートナイトの新シーズンが楽しみなYui(@MayForBlue)です。 ECSをちゃんとさわってみたいなと思ってやってみたハンズオンがAWSの複数のサービスをざっくり学ぶのに良いなと思ったのでご紹介したいと思います。 やってみたハンズオン 今回ご紹介するハンズオンのリンクは以下です。 モダンウェブアプリケーションを構築する このハンズオンでは、用意されているWebアプリケーションをAWSのサービスを使って構築することで、AWSの複数のサービスの構築方法、連携方法を学ぶことができます。 また、複雑な設定などは行わないので、初心者の方がとりあえずやってみたい!このサービスさわってみたい！というときに向いていると思います。 Webアプリケーションの言語はデフォルトでPythonが用意されていて、私もPythonで進めましたが、他にも.NET/Java/Goが用意されて
morishitaです。 先日、いこーよを Kubernetes に移行した件を紹介しました。 tech.actindi.net いこーよは Web だけで動いているわけではなく、裏で定期的に実行されるバッチ処理も行っています。 本エントリではそのバッチ処理の実行環境を Fargate ECS に移行した件について書きます。 移行前はどうなってた？ いこーよは Rails で開発しています。 バッチ処理というと、DB を集計したり、一斉に DB の値を書き換えたりするものがほとんどです。 そこで ActiveRecord のモデルを利用したいので、バッチ処理も Rails で実装しています。 つまり、Rails Runner で定期的にバッチ処理を実装したメソッドを実行しています。 移行前は、バッチ処理専用サーバがあって、crond で定期的に実行していました。 バッチ処理そのものやバッチ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
グロービスにおけるデータ基盤のアーキテクチャについて｜グロービス・デジタル・プラットフォーム
PlaywrightによるE2Eテスト自動化を導入したので各種構成とtipsをご紹介
【2023年】AWS全サービスまとめ | DevelopersIO
IaC Maturity Model と学習ステップ #srefm - ツナワタリマイライフ
S3+Athena構成の弊社データ基盤の限界が近い - Qiita
Why I think GCP is better than AWS
クックパッドの基盤をフル活用して新卒が新規アプリケーションを作った話 - クックパッド開発者ブログ
Sphinxのイケてるドキュメントを自動デプロイしてS3で公開する！ | DevelopersIO
ECS 外部デプロイコントローラーを使用したブルー/グリーンデプロイ | Amazon Web Services
インフラコストを10分の1削減し、タイムラグも解消 利用者急増に伴った「イベント駆動」の新システム開発 | ログミーBusiness
CircleCI実践入門 ──CI/CDがもたらす開発速度と品質の両立
社内テックカンファレンスLIFULL Tech Hubを開催しました - LIFULL Creators Blog
Lambda+EFSで自然言語処理ライブラリ(GiNZA)使ってみる - Qiita
マネージドサービスを活用した機械学習のためのCI/CDパイプラインの構築 | Amazon Web Services
ecspressoとTerraformを連携させて複数環境にECSデプロイしてみた - NRIネットコムBlog
[Terraform]CodeBuildでTerraformリポジトリのCIを行う - Qiita
コンテナ、サーバーレスなAWSサービスをざっくり学べるハンズオンをやってみた | DevelopersIO
バッチ処理をFargateに移行した - アクトインディ開発者ブログ