はてなブログをECSに移行してリリース頻度も改善した話 - Hatena Developer Blog
この記事ははてなエンジニア Advent Calendar 2022の26日目のエントリです。 こんにちは id:cohalz です。はてなブログでは2022年7月にインフラをAmazon EC2からAWS ECS(AWS Fargate)に移行するプロジェクトが完了しました。 プロジェクトは2021年9月から始まったので約10ヶ月間という大きなプロジェクトでした。 プロジェクト完了までに行ってきたことのうち、特に面白かったところなどをこの記事で実施した順に振り返ってみます。 はてなブログのインフラのこれまで アプリケーションを動かせるようにする ALBを追加する 検証環境を用意だけしておく プロキシの設定埋め込み 証明書の配信 アクセスログを配送できるようにする アクセスログの形式を新しくする EC2でもFirehoseを経由するように タイムゾーンをUTCに統一 FirehoseのLa
VPC - Terraformで構築するAWS
# terraform init Initializing provider plugins... - Checking for available provider plugins on https://releases.hashicorp.com... - Downloading plugin for provider "aws" (2.6.0)... The following providers do not have any version constraints in configuration, so the latest version was installed. To prevent automatic upgrades to new major versions that may contain breaking changes, it is recommended
CloudFormationでTerraform使用の前提となるリソースを作成する
AWS環境でTerraform使用の前提となる下記リソースをCloudFormationで作成する際のテンプレート。 S3バケット DynamoDBテーブル AWSTemplateFormatVersion: 2010-09-09 Description: S3 and DynamoDB for Terraform Parameters: S3BucketName: Default: 'terraform-s3-bucket' Description: Type of this BucketName. Type: String TableName: Default: 'terraform-state-lock-table' Description: DynamoDB Table Name Type: String Resources: TerraformS3Bucket: Type: 'A
Amazon VPCを「これでもか！」というくらい丁寧に解説 - Qiita
はじめに AWS上で仮想ネットワークを構築できるAmazon VPCは、多くのAWSサービスが動作する基盤となる、非常に重要かつ多機能なサービスです。 多機能ゆえに公式ドキュメントやネット上の記事も断片的な機能の解説が多く、全体像を把握することが難しいサービスとも言えます。 そこで本記事はVPCの全体像を理解できるよう、各機能のつながりや動作原理を丁寧に解説し、 「VPC界の百科事典」 (あくまで例えですが…笑) となるような記事を目指したいと思います。 【追記】 実践編の記事を追加しました VPCの実画面での構築方法は、以下の別記事にまとめました。「VPCを実際に触ってみたい！」という方は、こちらもご一読いただけると嬉しいです。 VPCとは 「Virtual Private Cloud」の略で、クラウド上に仮想的なネットワークを構築するためのサービスです。 例えば、オンプレ環境でWebア
AWSのコストモニタリングの知見をシェアしたい - Uzabase for Engineers
NewsPicksの高山です。 今回は、AWSのコストを我々がどのように定点観測しているかを書いていきます。 あわよくば他社さんも事例を広く共有してもらえて業界全体の共有知が増えることに繋がってほしい狙いがあります。 NewsPicksでは過去2年ぐらいかけて地道にコストモニタリングのオペレーションを作ってきました。手法としては、毎週コストモニタリング担当のメンバーで定例ミーティングをして、以下の手順をやりながら議事録にまとめていきます。 毎週のオペレーション コスト異常検出 Savings Plansの購入 DynamoDBのReserved Capacityの購入 毎月のオペレーション 請求書CSVの取り込み Cost & Usage ReportとQuickSight たまにやるオペレーション Reserved Instanceの購入 規模の適正化に関する推奨事項 Trusted A
AWS SSO を活用しているなら aws-sso-util を使おう
tl; dr aws-sso-util を使うとコマンド一発で ~/.aws/config が生成できたりして便利なので使うべし。 AWS SSO とは 皆さん、AWS Single Sign-On (AWS SSO) というサービスを利用されていますか。 AWS SSO は 公式ページ によると下記のような記載がありますが、もっぱら前者の複数の AWS アカウントのアクセスに利用している方が多いでしょう。 複数の AWS アカウントとビジネスアプリケーションへのアクセスの一元的な管理を容易にし、割り当てられたアカウントとアプリケーションのすべてに対する 1 か所からのシングルサインオンアクセスをユーザーに提供できるようにする AWS のサービスです。 また、AWS CLI v2 からは ~/.aws/config に下記のような設定することで、CLI 作業でも AWS SSO による認証
パラメータストアからEC2に環境変数を設定する - Qiita
AWS Systems Manager パラメータストア で階層構造で登録したパラメータをEC2で利用する方法のメモです 前提 EC2インスタンスのtagにName=MyApp, Env=Devが設定されている roleにパラメータストアの権限が付与されている roleにEC2のreadonly権限が付与されている aws cli設定済み jqがインストール済み パラメータストアに登録 aws ssm put-parameter --name "/MyApp/Dev/S3_BUCKET_NAME" --value "MyAppBucket" --type String aws ssm put-parameter --name "/MyApp/Dev/AWS_ACCESS_KEY_ID" --value "dummy_s3_access_key" --type String aws ssm
Amazon API Gateway：HTTPAPIでのLambdaPayloadバージョン2.0の説明
HTTP APIがされている3月12日にGA。ブログでは、GA以降デフォルトで使用されるLambdaペイロードバージョン2.0を含む新機能と変更について説明しました。HTTP APIは1.0バージョンのLambdaペイロードを使用する方法を提供しますが、デフォルトの変更により、ベータ版から重大な変更が導入されました。 この記事では、なぜ、どのように変更されたのかについて、ある程度説明します。変更は、以前の経験から学んだ教訓に基づいて行われ、多くのフィードバックを聞き、これを考慮しました。要するに、それは美的理由だけで変更されたのではありません。 RESTAPIから学んだ教訓 HTTP APIの前は、APIGatewayはRESTAPIとWebSocketAPIの2種類のAPIを提供していました。REST APIは、2015年以来最も寿命が長く、最も人気があります。また、最初の製品の性質とし
AWSアカウントとVPC、分ける？ 分けない？: 分割パターンのメリット・デメリット | DevelopersIO
分割の基準を2つに絞っても、9パターンもありました。各構成を1つずつ見ていきましょう。 1. 単一のAWSアカウントを使う この構成パターンは、一見単純です。しかし、すべてのシステムを1つのAWSアカウントの中に構築するため、アカウント内の環境はかなり複雑になります。 1-1. 単一のAWSアカウント、単一のVPC default VPC以外のVPCを1つ明示的に作り、その中に複数のシステム、複数の環境を混在させる構成です 1-2. システムの種類と環境の用途でVPCを分割 システムの種類でVPCを分け、さらに本番用と開発用など環境の用途によってもVPCを分ける構成です 1-3. システムの種類でVPCを分割 システムの種類によってVPCを分けますが、開発環境や本番環境を1つのVPC内に構築する構成です 1-4. 環境の用途でVPCを分割 環境の用途によってVPCを分けますが、複数の異なる
AWSアカウントを作ったら最初にやるべきこと ～令和元年版～ | DevelopersIO
はじめに 中山（順）です 4年ほど前にこの記事のタイトルと同じテーマで資料を作成したことがあるのですが、古い内容があったり新しいサービスのことが含まれていなかったりするので改めてまとめてみました。令和だし！ その時の資料はこちらです（クラスメソッドにジョインするくらい2年前です）。 AWSアカウントを作ったら最初にやるべきこと サインアップ （業務利用の場合）非個人メールアドレスでサインアップ サポートプランの確認 ID管理 / 権限管理 CloudTrailの有効化 ルートアカウントのMFA設定 IAM User / IAM Groupの作成 パスワードポリシーの設定 GuardDutyの有効化 Security Hubの有効化 請求 IAM Userによる請求情報へのアクセス許可 支払通貨の変更 Budgetの設定 Cost Explorerの有効化 Cost Usage Report
サーバーレスメールサービス
多くの場合、すべてのアプリケーションまたはマイクロサービスから電子メールを送信するための一般的なアプローチを実装するという要件に直面する可能性があります。この投稿では、Amazon WebService内のAPIエンドポイントを介してメールを送信するメカニズムを提供する可能性のあるサーバーレスアーキテクチャについて説明します。 アプリケーション要件 サーバーレス。 フォールトトレランス。 アタッチメントをサポートします。 Lambda関数へのエントリポイントとしてAWSAPI Gatewayを使用することは、サーバーレスアプリケーションではおそらく一般的なパターンであり、Lambda関数を使用してロジックを処理し、AWSまたはサードパーティサービス内の他のリソースと通信します。ここでは、Lambda関数コード内のエラー処理と再試行ロジックを担当します。 ストレージの最初のパターン しかし、
10TB超えのBigQuery巨大データを高速にS3に同期する - ZOZO TECH BLOG
こんにちは。SRE部MA基盤チームの川津です。 私たちのチームでは今年サービスを終了した「IQON」の10TBを超える大規模データをBigQueryからS3へ移行しました。本記事ではデータ移行を行った際に検討したこと、実際にどのようにデータ移行を行ったかを紹介します。 データ移行の経緯 IQONは2020年4月6日をもってサービスを終了しました。そのIQONではデータ分析にBigQueryを利用していましたが、Amazon Web Services(AWS)上にもIQONに関するリソースが存在します。そのため、IQONはGCPとAWSの2つのクラウドで運用していました。 しかし、サービス終了に伴いGCP・AWSどちらかにリソースを統一する必要が出てきました。統一する意図としては、終了したサービスが利用する取引先を減らし、請求対応などの事務的なコストを減らしたい意図がありました。そのためGC
CloudFront + APIGateway 構成の403 ERROR | Oji-Cloud
概要 はじめに 今回は CloudFront + API Gateway 構成の構築で経験した、403 ERROR について記載します。CloudFront のオリジンが動的コンテンツだからこそ入れたチューニングに罠が潜んでおりました！ 先ず前提として、CloudFront + API Gateway の構成を採用した背景をご説明します。本来であればエッジを利用するAPI Gateway に、さらにCloudFront を配置するパターンに疑問を持つ方もいらっしゃるかと思います。求められた構成として、API Gateway + Lambda によるAPI のオリジンがあり、かつ S3（静的コンテンツ）もある、といった複数のオリジンに対して 1つのFQDN でアクセスする必要がありました。そのため、CloudFront + API Gateway の構成を作ります。また、API Gatewa
Amazon SES API および AWS SDK for PHP バージョン 3 を使用した E メールアイデンティティの検証 - AWS SDK for PHP
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Amazon SES API および AWS SDK for PHP バージョン 3 を使用した E メールアイデンティティの検証 初めて Amazon Simple Email Service (Amazon SES) アカウントを使用し始めるとき、E メールの送信先となる同じ AWS リージョン内のすべての送信者と受取人を確認する必要があります。E メール送信の詳細については、「Amazon SES を使用してメールを送信する」を参照してください。 以下の例では、次の方法を示しています。 を使用して E メールアドレスを検証しますVerifyEmailIdentity。 を使用して E メールドメインを検証しますVerifyDomainIdentity。 を使用
SES と Lambda を使用する大量の同報メール
大規模なメールインフラストラクチャはありませんが、大量の同報メールを素早く送信する必要があります。Amazon Simple Email Service (SES) と AWS Lambda を使って、大量の同報メールを送信するにはどうすればいいですか。 従来、大量の同報メールを送信するのに必要なハードウェア費用、ソフトウェアのライセンスコスト、および技術的専門知識は、コストが膨大にかかりました。アマゾン ウェブ サービステクノロジを使用すれば、社内メールインフラストラクチャを構築して維持管理をしていくのに必要な投資のほんの一部の投資をするだけで、大量の同報メールを素早く送信することができるようになります。 Amazon SES と AWS Lambda を Amazon Simple Storage Service (S3) と組み合わせて使用することによって、HTML またはテキストベ
Laravel + Amazon SES でクリック率が分かるメルマガを一斉送信する
さてさて、「AWSへの出遅れ感」を取り戻すために主要サービスを体験しているのですが、今回はユーザー登録が必要なサイトに有効な機能をお届けします。 それは・・・・・・ メールの一括送信機能 📪 です。 つまり、オンラインショップで言うと「メルマガ」の送信ということになりますが、実はシンプルに見えていろいろ難しかったりします。 なぜなら、ユーザー全員にメール送信しないといけませんし、戦略的にメルマガを使う場合、各メールで内容を変えないといけない（例：名前やクリック率を知るために個別IDを含める）からです。 もちろん、１件ずつループして送信してもいいのですが、途中で止まってしまったり、キューを使うにしてもいろいろと設定をしないといけません。 そこで登場するのが、「Amazon Simple Email Service（Amazon SES）」です。 Amazon SESを使うとメールの一括送信
DynamoDBにまつわるサーバレス失敗談とその対処法
2019年3月6日、Serverless Community(JP)が主催するイベント「Serverless Meetup Tokyo #11」が開催されました。世界各地で運営されているServerless Architectureやその周辺技術について情報を共有する本コミュニティ。今回は、株式会社Speeeのオフィスにて、6人のエンジニアがLTを行いました。プレゼンテーション「サーバーレス失敗談 - DynamoDB編 」に登壇したのは、HiCustomer株式会社の肥前洋佑氏。講演資料はこちら サーバーレス失敗談 肥前洋佑氏：それでは始めさせていただきます。HiCustomerの肥前と申します。 休みの日はこんな格好で山を走っています。 実は今日、次のスピーカーの方とネタが完全にかぶっているということがございまして……。 （会場笑） 司会者：知り合いじゃないんでしょ？ 肥前：知り合いで
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How to Build AWS VPC & Subnets using Terraform - Step by Step
CreateFlow - AmazonAppFlow
SendBulkTemplatedEmail - Amazon Simple Email Service