AWS CDK が GA! さっそく TypeScript でサーバーレスアプリケーションを構築するぜ【 Cloud Development Kit 】 | DevelopersIO
AWS CDK が GA! さっそく TypeScript でサーバーレスアプリケーションを構築するぜ【 Cloud Development Kit 】 やってみた感想から。これが本当の Infrastructure as Code かなと思いました。アプリケーションの開発者がインフラの構築も一緒にやっていて、 インフラ用のテンプレートファイルと格闘している 場合、AWS CDKに移行すると恩恵を得られそうです。一方インフラ構築をメイン業務として、CloudFormation テンプレートに慣れている場合、現時点ではまだ移行コストが大きいと考えています。 AWS CDK (Cloud Development Kit) とは AWS リソースを 構成要素(construct) としてプログラムで書き、それらを組み合わせて実行するとデプロイできるというツールキットです。開発者視点では、AWSの
こんにちは、IT基盤部第一グループの生井です。 DeNAが提供するヘルスケア系サービスのインフラを担当しています。 ヘルスケア領域ではセンシティブ情報を扱いますので、日々高レベルなセキュリティ設計・運用を行う必要があります。 今回はその一例として、アクセス制御を厳格に行っている環境からS3を利用する際に行った対応を紹介したいと思います。 はじめに あるプロジェクトで、センシティブ情報を扱う環境から、S3の特定バケットにのみ、awscliでのデータdownload/uploadを許可したいという要件がありました。 補足：特定バケットに限定するのは出口対策のためです。任意のS3バケットへのアクセスを許可してしまうと、内部犯行によるデータの持ち出しや、マルウェア感染によるデータ漏洩のリスクが高まります。 対応として、この環境で実績のある、FWでのFQDNベースでのアクセス制御を行うことにしました
AWSエンジニアから見たGCP(データ分析編)
こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。前回の記事「AWS SAPを取得したら視野が広がった話」を読んでいただいた方々、ありがとうございます。今回のテーマは「AWSエンジニアから見たGCP」第2弾として、代表的なGCPのコンピューティング系サービスについてAWSと比較し感じた点についてお話いたします。 (第1弾の記事はこちら↓)IaaSCompute EngineAWSではEC2に相当するサービス。各種インスタンスタイプや提供OSイメージ、インスタンス向けのストレージ機能、オートスケール機能など、インスタンスのアーキテ... DWH BigQuery BigQueryはフルマネージドなサーバレスDWHサービスで、Googleが開発した大規模データ向けの分散システムであるDremelを基にしておりSQLクエリを使用して大規模データの分析を行うことができる。さ
はじめに こんにちは、MA部の松岡（@pine0619）です。MA部ではマーケティングオートメーションシステムの開発・運用に従事しています。 ZOZOTOWNでは、マーケティングオートメーションシステム（以下、MAシステム）を使い、メールやLINE、アプリプッシュ通知といったチャネルへのキャンペーンを配信しています。 MA部では、複数のMAシステムが存在しており、MAシステムそれぞれに各チャネルへの配信ロジックが記述されていました。これにより、現状の運用保守ならびに今後の改修コストが高いかつ、使用している外部サービスのレートリミットの一元管理が出来ていないなどの問題を抱えていました。そのため、外部サービスへのリクエスト部分をチャネルごとにモジュールとして切り出し、複数のMAシステムから共通で使える配信基盤を作成しました。 また、社内の他チームの持つシステムからのキャンペーン配信の要望があっ
運用における成功1 プロジェクトに関わるリソースを可能な限りCDKで管理した 吉川幸弘氏（以下、吉川）：ではアジェンダの2点目、これまでの運用における成功と失敗について。 まず成功したこと。プロジェクトに関わるリソースを可能な限りCDKで管理したことです。 これはちょっと比較するにはズルいかもしれませんが、Excel手順書でリリースを作業していたプロジェクトと、CDKを用いた今回のプロジェクトで、リリースコストを比較してみました。 昔、Excel手順書を利用したプロジェクトに携わったことがありますが、レビュー対象は手順書のExcelで、実際の手順はレビュアーに判断基準を一任していたため、何が正しいかが文書化できなかったり、実際に行われる操作が手順書以外だったり、レビューコストがかなり高いという問題がありました。 また、リリース作業は手作業だったため、作業者が作業を誤る可能性も拭いきれません
はじめに はじめまして、4/1からデータチームでデータエンジニアとして働いている @shoso です。 突然ですが、みなさんデータ基盤って開発したことありますか？ 私はheyに来るまでなかったのですが、チームの経験あるメンバーと毎日話しながら（助けてもらいながら）開発する中でようやく少し分かって来たような気がします。 （覚えることが大量にあり大変とても楽しいです！） 今回は、データ基盤開発経験のある方はもちろん、普段サービス開発など他の開発をメインでされている方にも伝わる形で、heyの統合データ基盤と今後やっていきたいことについてご紹介できればと思います。 これまでにも、統合データ基盤のいくつかのトピックについて記事を公開していますが、この記事では統合データ基盤そのものについてより詳細が伝われば幸いです。 統合データ基盤ってなに 一言でいうと、社内に蓄積するあらゆるデータをスムーズ・横断的
AWS IAM Userアクセスキーローテーションの自動化 | BLOG - DeNA Engineering
この記事は、 DeNA Advent Calendar 2021 の17日目の記事です。 こんにちは、 @karupanerura です。 普段はAWSやGCPを使って仕事をしています。 前作 に引き続き、AWS IAM Userのアクセスキーの定期的なローテーションを自動化したので、今回はそれについて書きます。 IAM Userの使いどころ IAM Userの利用にはアクセスキー（Access Key IDとAccess Key Secretの組）やコンソールログイン用のパスワードなどのクレデンシャルが必要です。 当然これらが漏洩すればそれを不正に利用され得るリスクがあるので、可能であればなるべくIAM Roleを利用するべきです。 IAM Roleならクレデンシャルの管理が不要で、アプリケーションやサービスに対してそのIAM Roleを通して任意の権限を与えることができるため、管理も非
最小権限のIAM Policy作成にCloudFormationのコマンドが役立つ | DevelopersIO
最小権限のIAM Policyを作成するのって地味に面倒ですよね。以前私は、Route53ホストゾーンにDNSレコード作成するのに必要な最小権限のPolicyを作るため、権限ゼロの状態から始めて、権限不足エラーが出るたびに権限を足していくという力技でPolicyを作ったことがあります。 Route53ホストゾーンにDNSレコードをTerraformで作成するのに必要な最小権限 | DevelopersIO もうちょっとスマートなやり方が、CloudFormation(CFn)のコマンドを使うとできる場合があることを学んだのでレポートします。 aws cloudformation describe-type そのコマンドが、 aws cloudformation describe-typeです。--typeオプションでRESOURCEを指定して、 --type-nameでCFnのリソースタイ
こんにちはdelyでサーバーサイドエンジニアをしているyamanoiです この記事は「dely #2 Advent Calendar 2020」の12日目の記事です。 adventar.org adventar.org 昨日は@yochidrosさんの「KMMでiOS・Android を共通化しよう」でした。 みなさんwebサイトを作成する時にSPAを利用していますか？ SPAはユーザーに対してメリットが大きいですが、SEO観点やOGPタグのレンダリング等で SSRが避けられない場面に出くわすことがあると思います。 SSRが不要であればビルドして生成された成果物をs3等でホスティングするだけなのでデプロイや、運用が楽なのですが、 SSRをするとなるとNode jsの実行環境必要になります。 ある程度大きなプロジェクトであればECSやGKE, GAEに載せてガッチリと運用すべきだと思いますが
AWS でバックアップを保護するためのセキュリティベストプラクティス Top 10 | Amazon Web Services
Amazon Web Services ブログ AWS でバックアップを保護するためのセキュリティベストプラクティス Top 10 この記事は “ Top 10 security best practices for securing backups in AWS ” を翻訳したものです。 セキュリティは AWS とお客様の間で責任を共有することで実現されます。ここで、お客様は AWS で安全にバックアップを行う方法を求めています。この記事では AWS 上のバックアップデータの保全とその操作に関して、厳選したセキュリティベストプラクティスのトップ 10 を紹介します。この記事では AWS Backup サービスにおけるバックアップデータと操作に焦点を当てて紹介しますが、推奨されるセキュリティのベストプラクティスは AWS Marketplace で提供されるバックアップツールなど、他のバッ
Terraform AWS Provider Version 4がリリースされました | DevelopersIO
2022/2/11に Terraform AWS Provider Version 4がリリースされました。2/22現在、もうVersion 4.2まででています。実際に触ってみて何が変わったのか確認したいと思います。 aws_s3_bucketの大規模リファクタリング 要は「aws_s3_bucketがデカくなりすぎて大変だから、細かく分けようぜ！」ということです。 御存知の通りS3は非常に多機能です。そしてTerraformではその機能の殆どをaws_s3_bucketのattributeで設定していました。 以下はaws_s3_bucketのコード例です。 resource "aws_s3_bucket" "v3" { bucket = local.bucket_name acceleration_status = "Enabled" acl = "private" cors_rul
STORES 予約 でwebアプリケーションエンジニアをやっております。ykpythemindです。 皆さん、Webアプリケーションのテストを書いていますか。 モック(mock)を使っていますか。 今回は自動テスト上で、偽物だけではなく（要所で）本物を使おうよという話を書きます。 想定読者としては主にRuby on Railsを開発しているバックエンドエンジニアを想定しています。 モックとは 今回のモックの定義は以下にしておきます。 *1 実際の外部サービスや内部サービスの代わりをする偽のサービスを作成することです。 ref: https://circleci.com/ja/blog/how-to-test-software-part-i-mocking-stubbing-and-contract-testing/ Rubyでは外部サービスとの接合部で、 RSpecの allow(xx).
Serverless Frameworkの有償化に伴いAWS CDKとAWS SAMへの移行について検討してみた | DevelopersIO
なおこの「Credits」という単位は serverless.yml ファイルのregion,stage,serviceパラメータの組み合わせによって定義されるようです。 したがって、例えば開発者やチケット毎の検証環境をstageで分けている場合は、その分Creditsが嵩むという形になります。 また、serviceもどのように分割するかで総Credit数が変わってきますので、この辺は見積りのし辛さに繋がってくるのかなと思います。 例えばregionとして東京, シンガポールを用意し、stageとしてprod, stg, dev, user1, user2があり、serviceとしてxxx, yyyがある場合、単純に掛け算をすると2x5x2の20 Creditsとなります。 また、Serverless Dashboardの機能を使うと、トレース50,000あたりで1 Credit、メトリク
特定の IAM ロールのみアクセスできる S3 バケットを実装する際に検討したあれこれ | DevelopersIO
今回は S3 バケットへのアクセスを特定 IAM ロールからのみに限定して利用する機会がありましたので、設定方法と検討したあれこれをご紹介します。 やりたいこと 構成図はこんな感じ 前提条件 IAM ロールと S3 バケットは同一アカウントに存在する IAM ロールには S3 を管理する権限がアタッチされている 今回は AmazonS3FullAccess ポリシーをアタッチしています NotPrincipal でやってみる 「特定 IAM ロール以外は制限する」という考え方でパッと思いつくのは、以下のような NotPrincipal で制限する方法かと思います。 バケットポリシー { "Version": "2012-10-17", "Statement": [ { "Effect": "Deny", "NotPrincipal": { "AWS": "arn:aws:iam::xxxx
Raspberry PiとAWSを利用して子どもたちのゲーム時間を可視化してみた | DevelopersIO
DynamoDBの作成 さっそくテーブルをCDKで構築してみます。 game_counter_stack.py from aws_cdk import ( Stack, RemovalPolicy, aws_dynamodb as dynamodb, # DynamoDBのライブラリをimport ) from constructs import Construct class GameCounterStack(Stack): def __init__(self, scope: Construct, construct_id: str, **kwargs) -> None: super().__init__(scope, construct_id, **kwargs) # The code that defines your stack goes here # ここから下に追記していきます
入社４ヶ月でBigQueryの課金額を減らすために考えたこと - 弁護士ドットコム株式会社 Creators’ blog
データ分析基盤室の otobe（𝕏@UC_DBengineer） です。 事業規模が拡大し、大規模なデータの管理が必要になるにつれて、SnowFlake や BigQuery のようなハイパワーな DWH サービスでデータを加工するケースは多いです。 その際、想定外な高額請求が起こる原因のひとつに、クエリが最適化されておらずスキャン量が増大しているケースがあります。 そのため、クエリのスキャン量を監視・管理することが課金額を減らすうえで有効な手段となることがあります。 本記事では、前半で BigQuery で課金されるスキャン量を監視・管理するまでのプロセスを振り返り、 後半で BigQuery の課金額を減らすために簡単にチェックできることについてお話しします。 BigQuery クエリにおけるスキャン量を監視・管理するに至った理由 BigQuery の課金額が想定より大幅に増加してい
GitHub Actionsで実現する、APIキー不要でGitOps-likeなインフラCI/CD - JX通信社エンジニアブログ
※ 今はGitHub ActionsでOIDCが使えるので、本記事の内容は少し古いです。*1 現場のルール等で「インフラを触るワークロードはオンプレでしか動かしてはならない」みたいなルールがある場合には多少参考になるかと思います。 SREのたっち(@TatchNicolas)です。 JX通信社では「インフラチーム」のようなものは存在せず、開発したチームが運用までやるFull-cycleなスタイルを取っています。AWS・GCPリソースの管理も特定のメンバーが担当するのではなく、必要とする人が必要な時に作成・修正等を行います。すると、terraformなどIaCのツールを利用する場合に「今リポジトリにあるコードは実態を正しく反映しているのか」「誰かが矛盾する変更を加えていないか」という問題が発生します。 CIツール上でterraformを実行することで、問題の一部は回避できるかもしれませんが、
セキュリティグループのSSH全開放をAWS Configで自動修復したら3分くらいで直ったからみんな使ってほしい件 | DevelopersIO
こんにちは、臼田です。 皆さん、自動化してますか？(挨拶 先日AWS Config Rulesでコンプライアンスに非準拠となった時に自動修復ができるようになりました。 もともとはLambdaを経由して自動修復が可能でしたが、今回はConfig Rulesで違反を検知してそのままSSM Automationを実行できるのでよりスマートに、より適切になった感じです。詳細は下記をご確認下さい。 [アップデート] AWS Config Rule 非準拠リソースを自動修復する機能が追加になりました！ で、今回はこの機能を利用してSSHを0.0.0.0/0で全開放してしまったセキュリティグループを自動的に修復するという事をやってみました！ タイトルに結論を書きましたが、3分くらいで自動的に修復されましたのでぜひ活用してほしいです。 SSHを全開放することは万死に値するので、もうすべてのAWSユーザはこ
LIFULLを支えるKubernetesエコシステムまとめ 2020年版 - LIFULL Creators Blog
技術開発部の相原です。 以前にブログで書きましたが、LIFULLでは主要サービスのほぼ全てがKubernetesで稼働しています。 www.lifull.blog Kubernetesをアプリケーション実行基盤として本番運用するためにはデプロイやモニタリング・ログ、セキュリティなど考えることが多くどこから手を付ければよいか困ることがあるでしょう。 そこで今回は既に数年の運用実績のあるLIFULLのアプリケーション実行基盤で利用しているKubernetesエコシステムについて紹介します。 全て書くと数が膨大になるので今回はクラスタ周りを中心に、必要とするソフトウェアの数が多いモニタリング・ログまでとします。(それでも大作になりそうですが...) kubernetes/kops projectcalico/calico coredns/coredns node-local-dns kubern
AWS Advanced JDBC WrapperによるAurora Postgresの高速フェイルオーバー - エムスリーテックブログ
【 デジスマチーム ブログリレー1日目】 こんにちは。 デジスマチームの山本です。 クリニック向けDXサービスであるデジスマ診療のWeb フロントエンド・バックエンド・インフラを担当しています。 今回は先日AWSから発表されたaws-advanced-jdbc-wrapperについて紹介します。 はじめに AWS Advanced JDBC Wrapper 提供Plugin フェイルオーバーとは これまでのフェイルオーバー対策 AWS Advanced JDBC Wrapperを利用した場合のフェイルオーバー対策 Failover Connection Plugin Host Monitoring Connection Plugin 導入方法 Gradle(Kotlin)での依存先の追加 Spring Boot + HikariCPでの設定例 実際に動かしてみた 何も設定しない場合 設定後
【週刊 Ask An Expert #17】AWS で Docker を使うときの選択肢は？先週の #AWSLoft で受けた質問10選 | Amazon Web Services
AWS Startup ブログ 【週刊 Ask An Expert #17】AWS で Docker を使うときの選択肢は？先週の #AWSLoft で受けた質問10選 こんにちは、スタートアップ ソリューションアーキテクトの塚田 (Twitter: @akitsukada) です。好きな Chalice の機能は Built-in Authorizer です。 まず最初に、今回の週刊 Ask An Expert では Docker コンテナに関する質問が多く、皆さんの関心が伺える週となりました。そんなみなさんにイチオシのイベント情報は AWS Containers talk with Mercari です！↓ メルカリさんにおける AWS のコンテナサービス活用事例が気になる方は、ぜひ ↑ から申し込んでください！ さて、ではここから週刊 Ask An Expert 第 17 回目をお届
Amazon Web Services ブログ 最小権限実現への4ステップアプローチ 前編 AWS のセキュリティベストプラクティスを実現するに当たり、「最小権限の原則」に戸惑ったことはありませんか？ AWS の利用では AWS Identity and Access Management （IAM）サービスを避けて通ることは出来ません。そのベストプラクティスとして掲げられているのが、最小権限の原則です。特に強固なセキュリティを求めるユースケースではこの原則の実現が課題になることが多いかと思います。本ブログでは、この最小権限の原則をシステマチックに検討するアプローチの一例をご紹介します。 はじめに 「最小権限を適切に運用する」ことを計画する際、まず思いつくのはシステムの運用や開発の視点で「必要」となる操作の権限のみを人やアプリケーションに付与するというアプローチです。シンプルですが、権限が
いま技術書典８に向けてAWSのアカウントセキュリティをテーマに執筆中です。（進捗1%） 執筆の元ネタと告知を兼ねて、私がAWSのセキュリティをどう捉えているか紹介します。 AWSのセキュリティの３要素 AWSのセキュリティをざっくり分類してと、次の３つで考えるのが良いと思います。 AWS上に構築するシステムのセキュリティ AWSアカウント自体の管理（≒IAMの設計・運用） AWSアカウントのガードレール設計 AWS上に構築するシステムのセキュリティについては、ネットワークであったりEC2やRDSなどを利用して構築したサーバ・ミドル・アプリなどがあります。マネージドサービスというAWSならではの要素がありますが、基本的な考え方は従来のオンプレと大きく変わらないと思っています。システムとして穴がない状態を、AWSを使ってどうやって実現するのかという問題です。 次にAWSアカウント自体の管理です
~/.aws/(config|credentials)の設定情報を元にMFAを行い、一時的なセキュリティ認証情報を取得してコマンドを実行するawsdoを作った - Copy/Cut/Paste/Hatena
久しぶりに使うAWSのprofileがありまして、そのprofileについての記憶が失われていた結果、コマンド実行成功までに時間を溶かしてしまいました。 というのも、私は普段使うprofileではaswrapでAssumeRole（と多要素認証）を透過的に便利に実行していた結果、IAMの認証設定については何も考えなくなっていて「とりあえず aswrap 」を実行していました。 そして、 $ AWS_PROFILE=myaws aswrap aws s3 ls An error occurred (AccessDenied) when calling the ListBuckets operation: Access Denied 「あれ？認証情報無効にしたっけな 🤔」とか、トンチンカンな推測をしていました。 よくよく確認してみたらそのprofileは「MFAは必須だがAssumeRole
見落とすとAWSアカウントが停止してしまうかも。Abuse Reportを自動で即時にSlack通知 | DevelopersIO
Abuse Reportは対応を怠るとAWSアカウントが停止されてしまう可能性がある重要な通知です。 見落とさないように自動でSlackに通知を送る設定を作成しました。 オペレーション部の加藤（早）です。 Abuse Reportとは？ AWSリソースをマルウェアの配布やスパム送信、その他違法行為等不正に利用していることが検知された場合、直ちに是正するようにAWSからの警告が発されます。 その警告がAbuse Reportです。 違法行為を行うつもりはなくても、以下のように意図せず抵触してしまうこともあり得ます。 EC2がマルウェアに感染してDoS攻撃の攻撃元となる。 運用しているSMTPサーバが設定ミスでオープンリレー状態になっている。 AWS上で運営している掲示板サービスのエンドユーザが違法なコンテンツを投稿する。 Abuse Reportを受け取った場合、24時間以内に応答しないとA
タイトルにはやや釣り要素が混じっています。 概要 私が今まで所属していた開発チームでは、非エンジニアとエンジニアで気軽にデータを共有する方法としてGoogle Spreadsheetがよく使われていました。 Spreadsheetの優れている点の１つとしてAPIを経由してデータの取り込みを自動化できる事が挙げられるかと思いますが、そのAPIの呼び出し周りの実装はやや手間がかかる(し、それほど面白いものではない、)のが悩みどころです。 なのでシンプルなフォーマットのSpreadsheetをNo-Code or Low-CodeでJson API化できたら便利です。 SpreadsheetのAPI化のサービスとしては、SaaSとして提供されている使い勝手の良いものがいくつかありますが、外部と共有できないデータを扱う場合は自前で用意した環境内だけでSpreadsheetを共有する必要がでてきます
AWSではいろいろなサービスを組み合わせて情報を守る AWS上に構築したシステム、データを安全に管理するにはどうすればよいでしょうか。 オンプレミスの場合、データセンターにサーバー機器を設置して、設定を行い、インターネット回線を敷設して、やっとインターネット経由でシステムが操作できるようになります。また、勝手にデータセンターに入られて、新たに大きなシステムを勝手に作られるといった心配はないでしょう。 AWS（クラウド）の場合はどうでしょうか。AWSアカウントを作成した直後に、管理者ユーザー（ルートユーザー）でログインして操作を行います。つまり、このユーザー情報が第三者に漏れると、AWSアカウント内で任意の操作を第三者が実行できるようになり、不正アクセスされてしまいます。アカウント作成直後であれば機密情報は無いですが、不正にEC2などのリソースを大量に作成するといったことは可能です。そのため
『AWSの薄い本 IAMのマニアックな話』や各種AWS認定試験対策本を執筆されている佐々木拓郎氏がこの度、データ分析基盤に関する書籍を新たに出版されていました。個人的にも非常に気になる内容でしたので早速購入し読んでみましたので書評というか感想を簡単にではありますが述べてみたいと思います。 (※今回はダウンロード版を購入しました) 目次 書籍情報 ポイントとか感想とか 第1章 データ分析基盤が必要とされる理由 第2章 データ分析基盤の全体像と構成要素 第3章 データレイクとDWHのアーキテクチャ 第4章 個人情報と加工方法と保持戦略について 第5章 データ加工について 第6章 アクセス制御 まとめ 書籍情報 書籍はBOOTHで購入が可能です。購入タイプは『物理版(＋ダウンロード版)』、『ダウンロード版』のいずれかが選べます。 書籍自体のボリュームは全7章、54ページと非常にコンパクトにまとま
![[書評] AWSの薄い本Ⅲ データ分析基盤を作ってみよう〜設計編〜 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/509a39cc11f2898c6ad709ad8c85c2095f918066/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2021%2F07%2Faws-no-usui-hon-vol-3_1200x630.jpg)
Self-Hosted Cluster から EKS への移行と Platform の Production Readiness - スタディサプリ Product Team Blog
こんにちは。SRE の @chaspy です。 Quipper では AWS 上で Kubernetes Cluster を運用してサービスを提供しています。 これまで kube-aws を用いて Kubernetes Cluster を Self Host してきましたが、このたび Managed Services である Amazon EKS に移行しました。（以下、 Amazon EKS を EKS と表記します） 本記事では、 Kubernetes Cluster の移行で遭遇した問題をどのように解決したかを説明します。また、数多くの Application が稼働している Platform を移行する際にどのような点を考慮するとよいのか、経験を通して学んだことを共有します。 EKS への移行を検討している方はもちろん、Platform Migration に携わる方にとって学びに
こんにちは。SRE部の塩崎です。七味唐辛子の粉末を7種類に分類するという趣味を発展させて、おっとっとを新口動物と旧口動物に分類するという趣味を最近発明しました。 BigQueryは非常にパワフルなData WareHouse(DWH) SaaSであり、大容量のデータを一瞬で分析できます。しかし、課金額がスキャンしたデータ量に比例するという特徴があるため、意図せずに大量のデータをスキャンしてしまい大金を溶かしてしまうことを懸念する人もいます。 qiita.com そのため、課金額が大きすぎるクエリを発見した際にSlackへ通知する仕組みを作りました。GCP Organization内の全プロジェクトで実行されたBigQueryの監査ログをリアルタイムにチェックすることによってこの仕組みは実現されています。本記事では作成したシステムを紹介します。 なお、本記事は以下のQiita記事に着想を得た
今回は基本はTerraformでインフラを構築しつつも、部分的にはSAMを使用してLambda＋API Gatewayをデプロイしたいと思います。 Lambdaのアーカイブ化やS3へのアップロードをSAMにやってもらうことで、Terraform側でのタスクを軽減することができます。 今回の記事の元ネタは以下のスライドです。 IaCについていろいろな知見が得られると思うのでおすすめです。 SAMとは SAMはLambdaなどのサーバーレスアプリケーションの開発・デプロイを補助するツールでCloudFormationのような形式のファイルを用いてこれらを定義することができます。 Lambdaを開発・デプロイする場合について考えると、必要となる工程は煩雑です。開発ではローカルでの実行やランタイムの管理などをしたくなりますし、デプロイでは依存するパッケージの設置、Zipファイルへのアーカイブ化、ア
はじめに SREの須恵です。 弊社では、昨秋からサービスメッシュの導入を開始していたのですが、なかなかアウトプットできていなかったので書くことにしました。 マイクロサービス化とgRPC 弊社で進行中の技術テーマの1つに「マイクロサービス化」があります。 ビジネスの成長拡大に伴い開発組織も拡大し続けており、どんどん人数が増えています。この増加していく開発者の力を、可能な限り効果的に活かして開発するため、マイクロサービス化に舵を切ることになりました。 （マイクロサービスの動機と目指す結果の詳細はいずれ誰かが記事化することに期待） 今年の1月に弊社初のマイクロサービスとしてリリースされた2つのサービスがあり、それらはgRPCで通信することが決定されていました。また今後も、マイクロサービス間の同期通信にはgRPCの採用が広がる見込みです。 なぜgRPCか モノリスをマイクロサービス化する、あるいは
AWS IAM のコントロールプレーンはバージニア北部リージョンにのみ存在しその設定内容は各リージョンのデータプレーンに伝播される | DevelopersIO
AWS ドキュメントに IAM コントロールプレーンとデータプレーンの記述が増えた コンバンハ、千葉（幸）です。 ひとまず以下の絵を 90 秒くらい眺めてください。 眺めましたか？ まだ 30 秒も経ってなくないですか？せっかくなのでもうちょっと見てください。 ……眺めましたね？ 以上でこのエントリの内容は概ね終わりです。読んでいただきありがとうございました。 ちょっとだけ残りが続きます。 IAM レジリエンスのドキュメントに記述が増えてた AWS IAM のレジリエンス（復元力、耐障害性）に関する記述は以下ドキュメントにあります。 Resilience in AWS Identity and Access Management - AWS Identity and Access Management 上記のページは 2022/5/16 に更新されており、その段階で追記された内容は以下エン
AWS Configコスト上昇の原因を調査：QuickSight + Athenaの分析ツールを活用 - Uzabase for Engineers
ソーシャル経済メディア「NewsPicks」でSREをしている美濃部です。 NewsPicksのSREのミッションの1つに「コストを適正化する」というものがあります。サービスの規模拡大に比例してインフラコストが増えないようにし、売上に対するコストの割合を低く維持していくのがミッションになります。 今回はAWSコスト削減の中でもConfigの料金に注目して紹介したいと思います。 コストモニタリング定例について Configのコスト分析をどうやって行なったか ConfigのレポートをQuickSightで可視化 構成 手順 QuickSightで可視化する事でわかった事 コスト増加の要因となったリソースタイプがわかったので対応する まとめ まず、SREでは週次でコストモニタリング定例を実施しているのでその内容について簡単に触れさせて頂きます。 コストモニタリング定例について 週次で主に以下のよ
はじめまして、wind-up-bird です。スタディストの SRE Unit に入ってから約半年が経ちました。今回は社内で利用している Serverless Framework を lambroll に移行しているのでその話を少し書いてみようと思います。 これまでの開発の流れスタディストでは AWS Lambda および周辺リソース（AWS IAM や Amazon API Gateway など）の管理はこれまで Serverless Framework を利用していました。開発からリリースの流れは以下の通りです。 Lambda の開発serverless.yml を作成開発者がデプロイ担当者に連絡する担当者がローカルの環境から serverless deploy を手動実行Serverless Framework 導入当初は管理しているリソースが少なくこの運用でもあまり問題になりません
JenkinsとAWS CodeBuildおよびAWS CodeDeployとの連携によるCI/CDパイプラインの構築 | Amazon Web Services
Amazon Web Services ブログ JenkinsとAWS CodeBuildおよびAWS CodeDeployとの連携によるCI/CDパイプラインの構築 この記事は、オープンソースの自動化サーバーである Jenkins を用いて、AWS CodeBuild のビルド成果物を AWS CodeDeploy でデプロイし、機能的なCI/CDパイプラインを構築する方法を説明します。適切な設定を行うことで、GitHubリポジトリにプッシュされたソースコードの変更を元にCI/CDパイプラインが起動され、自動的にCodeBuildに送られ、その出力がCodeDeployによってデプロイされることを実現できます。 ソリューションの概観 このパイプラインは、ソースコードをコンパイルするフルマネージドなビルドサービスを作成します。また、このパイプラインはCodeDeployが本番環境に自動的に
こんにちは。イムチェジョンです。 前はフロントエンドとユーザー管理をやってみました。 今回のブログではAWS Lambda、Amazon DynamoDBを利用し、バックエンドの構築しようと思います。 [サーバーレスのウェブアプリケーションを構築シリーズ] １. AWS Amplify を使った静的ウェブホスティング ２. Amazon Cognito を使ったユーザー管理 ３. バックエンドの構築 (AWS Lambda、Amazon DynamoDB) ４. RESTful API (Amazon API Gateway、 AWS Lambda) アジェンダ 今回の目標 AWS Lambda、Amazon DynamoDBを利用してバックエンドの構築 まとめ 0. 今回の目標 目標：AWS Lambda、Amazon DynamoDBを利用し、バックエンド構築する。 バックエンドで実行
手法 いくつかあると思うが、今回の選択肢としては次が挙がった Public SubnetにEC2を構築し、そのEC2を経由してPrivate RDS（など）にアクセスする手法と、 ECS Fargate × SSMで構築し、ECSに対してSSM接続することでProxyとする手法。 Pros and Cons EC2 Pros（長所） 馴染みのEC2なので何かと情報が出回っており、直感で操作できる 構築難易度がECSに比べ低い。 Cons（短所） EC2 Fargateパターンに比べ、イケイケ感の低さや運用コスト（後述）の違いがある 運用担当者がEC2内にSSHユーザーの設定をユーザー毎に行わなくてはいけない sshのkey pairをどう管理するのか問題が控えている ECS(Fargate) Pros（長所） まず、イケている。 運用担当者はSSHユーザーの作成不要で、IAMユーザーさえ作
ecspresso+ecschedule+lambrollでCI/CDを作った話 - トラストバンクテックブログ
前回の記事から間が空いてしまいました、SREのbutadoraです。 年末に向けた準備で忙しなくしているこの頃です。 今回はとある環境で実装したCI/CDのフローを紹介したいと思います。 今回のサービスアーキテクチャ 今回はPHP製WEBサービスをデプロイする環境が必要ということで、以下の様な設計としました。 WEBサービス本体 → ALB+ECS+RDS 定時バッチサービス → ECS (Task Scheduler)+RDS ファイル設置をトリガーにしたバッチサービス → S3+Lambda(コンテナイメージ)+RDS CI/CD 簡単な構成図はこんな感じです。 大きなポイントとしては、タイトルにある3種の各デプロイツールを組み合わせることで、開発側のリソース管理を切り出しているところです。 弊社ではAWSリソースの管理をTerraformで行っていますが、図にあるようなリソースまで管
[レポート]サーバレスアプリケーションのコツ総ざらえ！(SVS401-R Optimizing your serverless applications) #reinvent | DevelopersIO
[レポート]サーバレスアプリケーションのコツ総ざらえ！(SVS401-R Optimizing your serverless applications) #reinvent 「サーバーレスアーキテクチャのフルパワーを解き放つ便利なガイド、欲しくない？」 って言われたらそりゃ欲しいですよね！これはこのセッションの紹介文にあった一節です。この言葉に釣られて参加したセッションのレポートをお届けします。「まだre:Inventの話してるのかよ！」とツッコまれたあなた、おっしゃるとおりです。ですが二ヶ月ほど経った今でも十分有用な情報ばかりなのでぜひご一読いただければと思います。紹介文に偽りはなかったです！ セッションタイトル SVS401-R1 - [REPEAT 1] Optimizing your serverless applications セッション概要 あなたは経験豊富なサーバーレス開
![[レポート]サーバレスアプリケーションのコツ総ざらえ！(SVS401-R Optimizing your serverless applications) #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/f229d9254bb6a1cbfbc11a651d6a88b228d4b2fe/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F02%2Fopt-eyecatch1.png)
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
アクセス制御を厳格に行っている環境からのs3利用 | BLOG - DeNA Engineering
ZOZOTOWNにおけるマーケティングメール配信基盤の構築 - ZOZO TECH BLOG
レビューコストの削減、デプロイの自動化… AWS初学者がCDK運用の成功と失敗から得た、 恩恵と気づき
heyの統合データ基盤と今後の展望 - STORES Product Blog
Cloud Runで手軽にサーバーレス・SSR(サーバーサイドレンダリング) - dely Tech Blog
モックしないテストも書く話 - STORES Product Blog
最小権限実現への4ステップアプローチ 前編 | Amazon Web Services
AWSのアカウントセキュリティ - プログラマでありたい
パーフェクトな言語であるRustでGoogle spreadsheetをJson APIに変換してみる
AWS IAMとは何か？クラウドで重要な認証・認可の基礎を理解する
[書評] AWSの薄い本Ⅲ データ分析基盤を作ってみよう〜設計編〜 | DevelopersIO
BigQueryの監査ログをリアルタイムに監視して使いすぎを防止してみる - ZOZO TECH BLOG
SAM+TerraformでLambdaの管理を楽にする | DevelopersIO
サービスメッシュとしてLinkerdを導入するに至った経緯 - ANDPAD Tech Blog
Serverless Framework から lambroll + Terraform に移行しているお話
サーバーレスのウェブアプリケーションを構築３ バックエンドの構築 | DevelopersIO
AWSのPrivateリソースに対してProxyを立ててアクセスするときに考えること