Pull Request毎の検証環境を自動構築したお話 - Retty Tech Blog
この記事は Retty Part2 Advent Calendar 2021 の 22 日目の記事です。 adventar.org はじめまして、Retty 技術部 インフラチームの中西と申します。 今回は Pull Request毎の検証環境を自動構築した お話となります。 要約 構築の背景について 技術スタックについて 課題について 解決について 1. Pull Request 毎の判定をどう行うか 2. ECS関連のAWSリソースをどうやって作成してくか DNS について ALB について ECS について 3. CI/CDフローをどうしていくか 環境の構築 or update 時 -> CircleCI を使用 環境不要時 -> GitHub Actions を使用 構成図について 設定内容 CircleCI GitHub Actions 最後に 要約 Pull Request を
GitHub ActionsにAWSクレデンシャルを直接設定したくないのでIAMロールを利用したい | DevelopersIO
こんにちは！コンサル部のinomaso(@inomasosan)です。 前回と前々回でGitHub ActionsからECSのCI/CDやIAMポリシーの最小権限作成を試してみました。 [初心者向け] GitHub ActionsからECS FargateにCI/CDしてみた GitHub ActionsからECSとECRへのCI/CDを最小権限で実行したい 今回はGitHub ActionsでAWSの一時的なクレデンシャル(アクセスキーID、シークレットアクセスキー)を利用したいので、IAMユーザーの代わりにOIDCプロバイダとIAMロールを設定していきます。 IAMユーザーのクレデンシャルだとダメなの？ IAMユーザーで発行したクレデンシャルは永続的に利用可能です。 GitHubではAWSのクレデンシャルをSecretsにより秘匿化できますが、AWS外のサービスに永続的なクレデンシャル
Lambda Web Adapter でウェブアプリを (ほぼ) そのままサーバーレス化する Lambda Web Adapter - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
開発者の皆さまこんにちは！AWS Japan で Prototyping Engineer として働いている友岡です。 今日は AWS Lambda Web Adapter というソリューションをご紹介します。VM やコンテナ用に実装されたウェブアプリを、ほとんどそのまま Lambda でも動かせるようにするツールです。(なお、ここで言うウェブアプリとは HTTP を話す任意のウェブサーバーアプリを指します。) Lambda を初めて触る方がまず戸惑うのが、実行方法が Lambda 特有のものになることではないでしょうか。以下は TypeScript の例ですが、Lambda アプリケーションは基本的にこのようなインターフェースの関数 (ハンドラー) を実行する形になり、また外部からの入力はハンドラーの第 1 引数 event として渡されます。
さくらVPS から AWS S3 にバックアップファイルを低冗長化ストレージで自動的に保存する (s3cmd または awscli) - IMPOV::In My Point Of View
さくらVPS(CentOS 6.6)のバックアップをMondorescueで取っている。（以前に書いた記事 ： バックアップ - Mondorescue のインストール） 今まで1年近くに渡りバックアップイメージを手動ダウンロードで保管していたのだが、最近、仕事上の都合で毎日バックアップをしなければならなくなったため、バックアップイメージの保管を自動化することにした。 バックアップの保管先 バックアップの保管先としては、さくらVPS 1Gプランの新規契約や事務所PCを使用することも検討したが、今回は AWS S3 を利用することにした。 バックアップポリシー Mondorescueで毎日夜間バックアップ tmpwatch でVPS上にある７日超のバックアップイメージを削除 バックアップイメージ保管ディレクトリを AWS S3 に同期 費用 バックアップイメージのサイズは現状で一回分が2.5
Amazon CognitoユーザープールでGoogle認証を連携する | DevelopersIO
意外とAmazon CognitoユーザープールのGoogle認証連携に関する情報がなかったため、手順をまとめました。 下記のYouTube動画を参考にしつつ実施しています。 How To Add Google Social Sign On To Amazon Cognito | Step by Step Tutorial - YouTube Cognitoユーザープール作成 Cognito側の大まかな設定の流れは以下の通りです。 ユーザープールを作成する ユーザープールにアプリクライアントを追加する ユーザープールにドメイン名を付与する アプリクライアントの設定で各種URLやOAuth 2.0の設定を行う まずは、Cognitoのユーザープールを作成しておきます。プール名以外、全てデフォルトのまま作成してOKです。 次に、作成したユーザープールにアプリクライアントを追加します。 アプリク
Amazon SQS を使ったアプリケーションを本番で運用する際に考慮すべき基本的な 5 つのこと
Amazon SQS は可用性やスケーラビリティの高いメッセジキューサービスであり、AWS の代表的なサービスの 1 つと言えるでしょう。ところが、本番の運用に耐えられるアプリケーションにしようと思うと考えることが意外に多いものです。本エントリーでは簡単なサンプルアプリケーションをベースに、本番で運用するために考慮すべき点・注意点について見ていきます。題材として扱うのが SQS なだけで、SQS 以外を使ったアプリケーションにも応用できる内容もあるでしょう。 なお、SQS には Standard queue と FIFO queue がありますが、Standard queue を使う前提とします。 アジェンダは次のとおりです。 サンプルアプリケーション 1. ログ 2. At-least-once delivery と visibility timeout 3. デプロイ 4. 異常系 5
3大クラウドAWS、Azure、GCPの機能を比較したら見えてきたサービスごとの違いと特徴とは？ | 株式会社G-gen（旧 株式会社トップゲート）
削除する Google Service TGカルチャー アプリケーション開発 コンサルティング セミナー テックブログ デザイン デジタルプロダクト開発 開発実績 ニュース 2025年の崖(1) 5G(1) AI(39) AI Hub(1) AI Platform(1) AlloyDB(12) AlloyDB for PostgreSQL(6) AlphaZero(1) Analytics HUB(1) Android(11) Android アプリ(1) Anthos(6) API(12) API エコノミー(1) APP(2) App Engine(2) App Maker(2) AppServer(1) AppSheet(3) arduino(1) Authentication(1) AutoML(4) AWS(12) AWS (Amazon Web Services)(1) AWS
AWSクライアントを使ってLocalStack上のSNSやSQSに対してコマンドライン操作する｜chatora tips
以前まで、AWS の SNS や SQS のサービスを利用するには AWS の契約が必須だと思っていたのですが、LocalStack の存在を知り、ローカルの Docker 上でも擬似環境を構築できることが判明しました。 これにより、費用面で難色を示されて AWS のテスト環境をなかなか用意してもらえない職場でも、ローカルで AWS に近い環境を試すことができます。 EC2(AmazonLinux)は CentOS、Aurora(RDS)は MySQL サーバで代用できたとしても、その他多くの AWS のサービスの擬似環境を用意するのには限界がありますからね。 今回は、ローカルスタックの構築とアプリケーションサービスの操作について紹介したいと思います。
LocalStackをつかってローカルでLambdaを実行してみた | DevelopersIO
どうも！AWS勉強中の西村祐二＠大阪です。 今回は前々からさわってみたいと思っていた AWSのモックフレームワークを提供する「LocalStack」をつかって ローカルでLambda関数を実行してみたいと思います。 LocalStackとは クラウドアプリケーションを開発するための使いやすいテスト/モッキングフレームワークを提供するツールです。 イメージとしては、ローカルに擬似的なAWS環境を作ってくれて、 料金など気にせずにテストや動作確認を可能にしてくれます。 LocalStackが提供しているAWSサービス API Gateway Kinesis DynamoDB DynamoDB Streams Elasticsearch S3 Firehose Lambda SNS SQS Redshift ES (Elasticsearch Service) SES Route53 Cloud
【AWS】aws-sdk-mockでLambdaテストを行う - echo("備忘録");
はじめに この記事は、AWS Advent Calendar 2020 最終日の記事です。 qiita.com また、Serverless Advent Calendar 2020の12/18(金)にも記事を書いてますので、よろしければそちらもお願いします。 qiita.com ところで みなさん、テスト書いてますか？ ...と言っといてあれですが、正直僕も今年の前半までは、ほとんどテストを書いてませんでした。(なかなか本腰を入れられなかったのもありますが) でも、秋くらいから本格的にJestを勉強してテストを書いたら、考えがまるっと変わりました。 いやあ、テストは良いわ。てか絶対テストを書くべき。 テストを書くことにより受けられるメリットは、本当に大きいです。 「そんな時間あるならプロダクトコードを...」と思うかもしれませんが、受けられるメリットの大きさを考えたら、テストコードを書く時
待望！Amazon ECSのコンテナにログインできるAmazon ECS Execを試してみた - SMARTCAMP Engineer Blog
スマートキャンプ、エンジニアの入山です。 前回のブログにも書きましたが、弊社では昨年末から既存のEC2からECS/Fargateへのインフラ移行作業を実施しています。 EC2からECSへ移行する上では、特に運用面が大きく変わります。利便性やメンバーへの教育コストを考慮すると、今までEC2でやっていた運用をECSでどう上手く代替するかが力の入れ所だと思います。 一ヶ月前に弊社インターンの関口が書いた以下の記事も、既存運用の置き換えやデバッグ時の利便性向上を目的とした手段の１つで、この記事を執筆した時点ではECS/Fargate上のコンテナに対するAWS公式のログイン手段はありませんでした。 tech.smartcamp.co.jp 弊社のECS移行も稼働直前の佳境を迎えている最中ですが、この度Amazon ECS Execがリリースされ、待ち望んでいたECS/Fargate上のコンテナに対す
carrierwaveでS3にアップロードする際にアップローダー毎にメタデータを設定する - メグリ株式会社
carrierwaveでjson等をアップロードする際に日本語が文字化けしてしまったのでcharset等のメタデータを設定するメモ。 Gemfile # Gemfile gem 'carrierwave' gem 'fog', require: 'fog/aws' carrierwaveの設定 # config/initializer/carrierwave.rb CarrierWave.configure do |config| config.storage = :fog config.directory_permissions = 0777 config.fog_credentials = { provider: 'AWS', aws_access_key_id: アクセスキー, aws_secret_access_key: シークレットキー, region: ap-northeast
Amplify で お問い合わせフォーム を作ってみた | DevelopersIO
本日はAmplifyでちょこっとアプリを作ってみました。 タイトル通り、お問い合わせフォームをちょこっと作ってみました。 Amplifyとは 私の中でのAmplifyの解釈はこんな感じです AWSでのモバイル/ウェブアプリの開発を簡単にするためのもの AWS側である程度バックエンドをよしなにやってくれるので設計が楽になる それで公式には以下のように書かれています。 AWS Amplify は、AWS を使用したスケーラブルなモバイルアプリおよびウェブアプリの作成、設定、実装を容易にします。Amplify はモバイルバックエンドをシームレスにプロビジョニングして管理し、バックエンドを iOS、Android、ウェブ、React Native のフロントエンドと簡単に統合するためのシンプルなフレームワークを提供します。また、Amplify は、フロントエンドとバックエンドの両方のアプリケーショ
Build an iOS Application on AWS
In this tutorial, you will create a simple iOS application using AWS Amplify, a set of tools and serverless services in the cloud. As you complete each module, you will initialize a local app using the Amplify Command Line Interface (Amplify CLI), add user authentication, add a GraphQL API and a database to store your data, and update your app to store images.
“Too Many Requests.” でビルドが失敗する…。AWS CodeBuild で IP ガチャを回避するために Docker Hub ログインしよう！という話 | DevelopersIO
buildspec.yml 内で docker login -u *** -p *** といった処理をしていなければ、それは匿名ユーザーで利用していることになります。 （ちなみに aws ecr get-login のログイン処理は ECR へのログインであり、Docker Hub のログインではありませんのでお間違えないように） 「匿名ユーザーで使ってるけど 6 時間あたり 100 pull も出来るならウチの環境では十分やなー」 と思ってスルーされた方も少なくないと思いますが、ちょっと待ってください。リンク先のブログで言及されているとおり、匿名ユーザーは IP アドレスに基づいて制限されます。 For anonymous (unauthenticated) users, pull rates are limited based on the individual IP address.
DockerとAWSのコラボによりdocker ecsコマンドが爆誕したので使ってみた | DevelopersIO
Docker社とAWSがコラボレーションするという驚きとともに、新しくdockerコマンドに組み込まれたdocker ecsの使い心地を試してみました。 「docker ecsコマンド？なにこれ？」 先日、突如、DockerのECSインテグレーションなるものが発表されました！ AWS and Docker collaborate to simplify the developer experience | Containers 従来あるdockerコマンドに、なんとdocker ecsコマンドが追加され、docker-composeファイルを利用したECSへのデプロイがAWS CLIなどのAWS製ツールを使わずに、全てdockerコマンドだけで完結するという、ちょっと想像がつかないアップデートです。 まだDocker社ではベータ版の扱いということですが、なかなかにおもしろいアプローチだった
AWS をどう使わずにおくか - portal shit!
ジョブキューイングシステムをどうするかでチームのリーダーとやりあって考えたことがあるのでまとめておく。 Rails で使うジョブキューイングシステムの技術選定で、リーダーは Amazon SQS 推し（レガシーシステムで SQS を使っている）、自分は Sidekiq 推しだった。前職時代に Sidekiq を使ってトラブルに遭遇したことはなかったし、とても簡単に使えるので Sidekiq で十分だと思っていた。 Sidekiq は GitHub でのスター数は 9000 オーバーで、 Rails の ActiveJob バックエンドとしては事実上のデファクトスタンダードだといえると思う。ググれば情報がいっぱい出てくるし、チームメンバーもリーダー以外は全員 Sidekiq の使用経験があった。 GitHub - sidekiq/sidekiq: Simple, efficient back
AWSに集まったログをどう分析するか NTTドコモのエンジニアが教えるサーバーレスなログ分析基盤
ログ分析勉強会では、「ログ分析」に関わるすべての技術、事例、知見を共有し、日々の業務に役立てられる情報交換ができる場所を目的として活動。初のオンライン開催となった今回、NTTドコモサービスイノベーション部の千田拓矢氏が、AWS純正サーバーレスなログ分析基盤を構築する方法を解説しました。関連資料はこちら。 AWSのサーバーレスサービスでセキュリティのログ分析 千田拓矢氏：それでは始めたいと思います。AWSのサーバーレスサービスでセキュリティのログ分析をしようという話です。 簡単に自己紹介します。千田と申します。NTTドコモのサービスイノベーション部というR&Dの部署に所属していて、5年目社員です。 基本的に普段の業務では、クラウド、AWS、GCP、Azureのセキュリティに関わる仕事をしています。機械学習もちょっとわかるくらいに勉強していて、その関連でFPGAとかGPUみたいなハードウェアの
AWS システム構築 非機能要件ヒアリングシートを公開してみた | DevelopersIO
こんにちは。 ご機嫌いかがでしょうか。 "No human labor is no human error" が大好きなネクストモード株式会社の吉井 亮です。 日本国内においても多くのシステムがクラウド上で稼働していることと思います。 俊敏性、拡張性、従量課金、IaS、セキュリティなどクラウドのメリットを享受しやすい所謂 SoE で多くの実績があるように感じます。 ここ1~2年は、社内基幹システム・情報システム、SoR 系のシステムのクラウド移行が本格化してきたというのが肌感覚であります。 クラウドでのシステムインフラ構築は従来のようにゼロから非機能要件定義を行っていくものではなく、ベストプラクティスをまず実装して少しずつ微調整を行っていくものと考えています。とはいえ、システムごとの要件は予め明らかにしておくことがインフラ構築においても重要になります。 クラウド上では出来ること出来ないこと
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://d1.awsstatic.com/events/jp/2020/innovate/pdf/S-12_AWSInnovate_Online_Conference_2020_Spring_Container_Operation.pdf