Lambda / Kinesis / DynamoDB / X-Ray などを組み合わせた実装を学べる「サーバーレスアプリケーション開発ガイド」を読んだ - kakakakakku blog
今月発売されたばかりの「サーバーレスアプリケーション開発ガイド」を読んだので，書評をまとめたいと思う．著者の西谷さん，献本ありがとうございます！ Amazon Web Servicesを使ったサーバーレスアプリケーション開発ガイド 作者:西谷 圭介発売日: 2018/03/16メディア: 単行本（ソフトカバー） なお，サポートページからソースコードをダウンロードできる．コマンドもソースコードもそこそこ量があるため，写経せずに試したいという人はダウンロードして使うと良いかと． book.mynavi.jp 概要 「サーバレスとは何か？」という解説からはじまり，実際に数種類の「サーバレスアプリケーション」を実装しながら理解を深めていく流れになっている．特に，多くの AWS サービスを組み合わせて学べる点が素晴らしく，例えば X-Ray などは，僕もまだ試したことがなかったので，今回学ぶことがで
GCPのCloud Pub/Sub Push SubscriptionをAWSで実現する - LayerX エンジニアブログ
この記事はLayerX Tech Advent Calendar 2022の20日目の記事です。 こんにちは。LayerXのバクラク事業部でOpsエンジニアをやっている@civitaspoです。みなさん、GCPのCloud Pub/Sub Push Subscriptionはご存じですか？便利ですよね。この記事では、あの便利さをAWSで実現する方法を紹介したいと思います。 GCPのCloud Pub/Sub Push Subscription とは？ GCPにはCloud Pub/Subというメッセージングサービスがあります。Pub/Subモデルを実現するGCPのマネージドサービスです。Cloud Pub/Subには3つのSubscription Typeがあり、その一つがPush Subscriptionです。 cloud.google.com cloud.google.com 引用した
wg-serverless/whitepaper at master · cncf/wg-serverless · GitHub
README.md CNCF Serverless Whitepaper v1.0 The current PDF version of the whitepaper can be found here. This paper describes a new model of cloud native computing enabled by emerging "serverless" architectures and their supporting platforms. It defines what serverless computing is, highlights use cases and successful examples of serverless computing, and shows how serverless computing differs from
Amazon ECS におけるコンテナ インスタンス ドレイニングの自動化方法 | Amazon Web Services
Amazon Web Services ブログ Amazon ECS におけるコンテナ インスタンス ドレイニングの自動化方法 同僚のMadhuri Periが素晴らしい記事を書いてくれました。AutoScalingグループのクラスタをスケールダウンする際にインスタンスからタスクを事前に削除するために、コンテナ インスタンス ドレイニングを利用する方法です。 —– Amazon ECSクラスタでは、クラスタからインスタンスを削除する必要があるタイミングというのがいくつかあります。例えば、システムを更新するとき、Dockerデーモンを更新するとき、あるいはクラスタのサイズをスケールダウンするときなどです。コンテナ インスタンス ドレイニング機能によって、クラスタ上のタスクに影響を与えることなく、コンテナインスタンスを削除することができます。この機能により、コンテナインスタンスがDRAININ
AWS による docker コンテナのオーケストレーションサービスである Amazon ECS / Fargate のヘルスチェックの挙動について調査する機会がありましたのでアウトプットしておきたいと思います。 前提として Fargate で ECS のサービスとして、ロードバランサーは Application Load Balancer（ALB）を利用して実行するケースで調査しました。網羅的ではない点、ご了承ください。 ECS におけるヘルスチェック さて、ECS でサービスを実行する上で、いわゆる「ヘルスチェック」は2種類あります。 Elastic Load Balancer（今回は ALB）に関連付けられる Target Group によるヘルスチェック タスク定義のコンテナに対して実行する docker によるヘルスチェック（参考 : docker ドキュメント, AWS ドキュ
大栗です。 先程既存のEC2に対してIAM Roleを設定することができるようになりました！早速試してみます。 New! Attach an AWS IAM Role to an Existing Amazon EC2 Instance by Using the AWS CLI Attach an IAM role to your existing Amazon EC2 instance 2017年3月6日現在 Management ConsoleでもIAM Roleの設定が可能になっています。 [アップデート] EC2コンソールで既存のEC2インスタンスに対してIAM Roleをアタッチ、変更ができるようになりました IAM Roleとは？ IAM Roleとは、AWSのサービスに対してアクセス権限を付与する機能です。IAM Roleでは対象サービスのみにアクセス権限を設定できアクセスキ
![[アップデート]既存のEC2にIAM Roleを付与できるようになりました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/58278067871ebaae68a873315f4dd4b9b78f6b5a/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FAmazon_EC2.png)
こんにちは。ROBOT PAYMENT （以下、ロボペイ）でエンジニアをしているtakamoriです。 私が所属しているチームでは、請求先マイページ機能を開発しており、その中でユーザー認証基盤をAuth0からCognitoへと移行させました。そこで今回は、Auth0からCognitoへのユーザー移行手順を書いていきたいと思います。 ※ 本記事ではAuth0やCognitoの環境構築は対象外で、それぞれの環境が構築済み前提となります。 移行手順 Auth0からユーザーをエクスポート Auth0ユーザー情報をCognitoユーザー情報へマッピング Cognitoへユーザーをインポート Auth0からユーザーをエクスポート Auth0からのユーザーをエクスポートするには、ExportUsersJob APIを利用します。GetUsers APIを利用して取得することも可能ですが1,000件の取得
Amazon ECSコンテナにCloud Native Networkingが登場 | Amazon Web Services ブログ
Amazon Web Services ブログ Amazon ECSコンテナにCloud Native Networkingが登場 この記事はECSのSr. Software Dev EngineerのAnirudh Aithalの寄稿です。 2017年11月14日に、AWSはAmazon ECSのTask Networkingを発表しました。これによって、Elastic Network Interfaceを使ったAmazon EC2のネットワーク機能をタスクに持ち込むことができるようになります。 Elastic Network InterfaceはVPC内のインスタンスにアタッチすることができる仮想的なネットワークインタフェースです。EC2の仮想マシンを起動する時には、インスタンスにネットワークの機能を提供するために自動的に1つのElastic Network Interfaceがプロビ
本投稿は DPE Camp blog series の一部です。 こんにちは。 Platform Infra の Kenichi Sasaki (@siroken3) です。メルカリでは主にAWSの管理を業務にしています。今回の投稿ではAWS構成管理リポジトリのセキュアなCI/CD環境を構築した件について紹介します。 背景 メルカリにおけるAWSの役割 メルカリにおけるAWSの利用の歴史は古く、商品画像を格納するためのストレージとしてS3をサービス開始当初から採用しています。その他S3はMySQLデータベースのバックアップ先、パートナー各社様とのデータ連携のための AWS Transfer Family のバックエンドとして使用しています。また2014年当時のUSメルカリのサービス開始時のメインインフラはAWS上にありました。 直近ではお客さま電話窓口やサポート担当の稼働管理ツールとして
[アップデート] AWS WAFのログを直接CloudWatch LogsおよびS3に出力可能になりました | DevelopersIO
またまたドキュメントをながめていたところ、待望のアップデートを見つけたのでシェアします。 AWS WAFのWebACLトラフィックログをCloudwatch LogsまたはS3に直接出力することが可能になりました！ AWS WAFのWebACLトラフィックログ 従来は以下記事のようにKinesis Data Firehoseを介してCloudWatch LogsまたはS3に出力する必要がありました。 今回のアップデートでAWS WAFから直接CloudWatch Logs、S3に出力可能となりましたので控えめに言って最高のアップデートですね！ 注意点 CloudWatch Logsロググループ名およびS3バケット名はaws-waf-logs-から始まる名前であること Kinesis Data Firehoseも配信ストリーム名でも同じ制約がありましたが、CloudWatch Logs、S3
![[アップデート] AWS WAFのログを直接CloudWatch LogsおよびS3に出力可能になりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/a40565a486672c7039cb5c926f432f33218cbc0e/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-waf.png)
1：名無しさん＠涙目です。(チベット自治区)：2011/05/22(日) 02:14:27.11 ID:H7j6mzjg0● http://www.yomiuri.co.jp/entertainment/cinema/dvd/20110520-OYT8T00887.htm スパニッシュ（スペイン語圏）・ホラーの知られざる鬼才、アルゼンチンのアドリアン・ガルシア・ボグリアーノ監督の日本未公開・初リリース３作と特典ディスクの４枚組み。 残酷とエロス、独特の映像美。美女６人のサバイバル「３６ＰＡＳＯＳ」（２００６年）、旅行者たちを恐怖が待ち受ける 「ルームズ・フォー・ツーリスト」（２００４年）、女子高生たちが何かにとりつかれる「スクリーム・アット・ナイト」（２００５年）。２７日発売。（ＷＨＤジャパン、フォワード、本編３１０分） （2011年5月20日 読売新聞） Amazonで購入ヘルプ 6：
AWS ECS で実現するBlue/Green Deployment：運用を見据えたCDK実装例 - Techtouch Developers Blog
始めに 対象者 作成するアプリケーション構成 運用を見据えた構成とは 構成概要 各スタックの説明 ① SampleInfrastructureStack ② SampleContainerRepositoryStack ③ SampleTaskDefinitionStack ④ SampleServiceStack ⑤ SampleServicePreferenceStack ⑥ SamplePipelineStack 動作確認 正常にデプロイが完了する場合のCodeDeployの挙動 ロールバックが発生する場合のCodeDeployの動作 終わりに 始めに バックエンドの com です。 テックタッチでは Blue Green Deployment 構成の ECS クラスタを、AWS CDK によるコードで管理しながら本番運用で使っています。 ECS Blue Green Deploym
開発時のDynamoDB環境としてDynamoDB Localを用いた際に行なったノウハウを公開します。 | DevelopersIO
開発時のDynamoDB環境としてDynamoDB Localを用いた際に行なったノウハウを公開します。 DynamoDB Local立ち上げや管理画面であるDyanmoDB Admin、AWS SDK for Python (Boto3)を用いたDynamoDB Localへのアクセス方法等を紹介します。 はじめに 好物はインフラとフロントエンドのかじわらゆたかです。 現在私が構築を行っているサービスでは、DynamoDBをデータストアとして用いています。 開発時に開発者各々に開発用のDynamoDBのテーブルを作成すると、 テーブル名の重複やコストの問題が発生してしまいます。 これらの問題を回避するため、開発時にはDynamoDB Localを用いて開発を進めました。 それらの手法についてお伝えします。 環境は以下の環境で実施しております。 Mac OS X High Sierra 1
大阪オフィスのYui(@MayForBlue)です。 複数のアカウントで作業している際にアカウントの切り替えを楽にしてくれるIAMのスイッチロールですが、どんな仕組みになっているのかよくわからずモヤモヤしていたので、実際に手を動かして理解してみました。 目次 スイッチロールとは 実装の手順 まとめ 最後に 参考記事 スイッチロールとは 複数のアカウントで作業する際にアカウントの切り替えを楽にする機能 IAMについてはこちらの記事がわかりやすいです。 AWS初心者にIAM Policy/User/Roleについてざっくり説明する 実装の手順 複数アカウント間でスイッチロールするために必要な手順を実際にやってみます。 スイッチ先での作業 IAMの画面でロールを選択し、「ロールの作成」をクリックします。 信頼する対象に「別のAWSアカウント」を選択し、スイッチ元のAWSアカウントIDを入力して次
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? Elastic Beanstalkでサービスのサーバ環境を自動でセットアップ、指定条件でオートスケーリングを設定します。 まだ情報が少ない印象がある中、実運用で使用するために設定しているのでたぶん他のどの日本語記事より細かい、はず。 というか凄い手探り感があった。 Can & Can't 読み進めて絶望しないように先に書いておく。 Yes we can!! サーバの応答が遅くなったり、CPU負荷が上がったりした時に自動でEC2インスタンスをロードバランサ下に紐づけて登録済みファイルを配置してくれる 自動でデプロイされたサーバには指定した
タイトル修正しました。最初「TerraformでIAM Policyを書く方法4つと失敗する方法ひとつ」というものでしたが、失敗する方法は単に私の書き方が間違ってただけでした TerraformでIAM Policyを書く方法は色々とあるので、紹介していきます。 今回は例として、こちらの公式ドキュメントに出てくる以下ポリシーを使いたいと思います。 { "Version": "2012-10-17", "Statement": { "Effect": "Allow", "Action": "dynamodb:*", "Resource": "arn:aws:dynamodb:us-east-2:123456789012:table/Books" } } ファイル外だし policyの中身はtfファイルに書かず、JSONファイルとして外だしします。それをfile関数を使って参照します。 fil
Alexaのスマートホームスキルの作り方！IFTTTをトリガーと言わずに操作できるようにする | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]
株式会社ラクーンホールディングスのエンジニア/デザイナーから技術情報をはじめ、世の中のためになることや社内のことなどを発信してます。 開発チームの下田です。 こないだ第3世代のecho dotが発売されました。が、第3世代のecho dotは独自仕様の電源で、ちょっと不便だと思いました。 そこでなくならないうちにUSB給電の5V 2Aで動作する第二世代のecho dotを購入しました。 足りない機能は自分で開発できて楽しいです。Alexaに自然に語りかけるようにIFTTTを操作できるスキルを作ってみたので、手順を説明します。 IFTTTとは IF This Then Thatの頭文字から名前をつけられたサービスで、直訳すると「これならば何かする」という意味です。 例えば、「3時になった」ならば「おやつの催促をメール」するといったことができるサービスです。 時間だけでなく、特定のURLにリク
![Alexaのスマートホームスキルの作り方！IFTTTをトリガーと言わずに操作できるようにする | Raccoon Tech Blog [株式会社ラクーンホールディングス 技術戦略部ブログ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/340d82ba85b7ae5afd08a88b168b47e90c9fbc3a/height=288;version=1;width=512/https%3A%2F%2Ftechblog.raccoon.ne.jp%2Fwp-content%2Fuploads%2F2019%2F01%2Feakon_danbou.png)
S3/CloudFront/Route53/ACM構成の静的サイトをTerraformで構築 & CircleCIで自動デプロイ - Giftmall Inside Blog
みなさん、はじめまして。ギフトモールの@nori0620です。 ギフトモールはギフト領域にフォーカスしたベンチャー企業で、日本とシンガポールに拠点があります。 今まであまり情報を発信できていなかったのですが、今後積極的に情報を発信していく一環として、このブロクを開始しました。 会社の詳細については、↓のサイトをご覧ください！ https://careers.lucheholdings.com ※現在はサイトリニューアルしております。 ちなみに上記のサイトはS3,CloudFrontな構成でTerraformで構築 、 CircleCIで自動デプロイといった仕組みで管理しています。 本ブログの最初の記事として、このような構成の組み方を解説する記事にしたいと思います。 最近だと単純な静的サイトであればNetlity のようなホスティングサービスを使う選択肢もあると思いますが、弊社ではTerra
Amazon CloudWatch Logsによるログの収集とフィルタとアラーム設定 | DevelopersIO
AWS Summit NYCが始まりました！ オランダ負けて残念だったね〜、で始まりました、AWS Summit NYCです！そして、早速新機能の発表です！その名もCloudWatch Logsです。 CloudWatch Logsとは？ CloudWatch Logsは、独自のアプリケーションやAWSサービスのログを収集して解析する機能です。EC2にエージェントをインストールしてログを飛ばす事ができます！この仕組みは、Amazon Kinesisの機能を使って実現しているようです。 主な機能は以下の２つです。 アプリケーションとシステムのログをリアルタイムにモニタリングすること ログデータのアーカイブ CloudWatch Logsのコンセプト CloudWatch Logsの全体像を理解するためにコンセプトとなるキーワードを並べてみます。 ログイベント：ログイベントは、監視されているア
こんにちは。インフラエンジニアの光野です。 弊社ではネットワークの構築と管理にAWS CloudFormationとAWS OpsWorksを導入しました。 本記事では、その効果と導入に際しての工夫について紹介いたします。 目次 Before / After 効果 CloudFormarionとは CloudFormation or Terraform OpsWorksとは SSH/sudo管理 CloudFormationとOpsWorksの役割分担 CloudFormationテンプレートの分離方針 OpsWorksマルチレイヤーによるインスタンスの管理 OpsWorksでのdry-runとdiff YAML版CloudFormationでOpsWorks（Chef）を定義する場合の注意点 まとめ Before / After CloudFormationとOpsWorksを導入するま
はじめに こんにちは、虎塚です。 組織でAWSアカウントを利用する際には、担当者ごとにIAMユーザを払い出し、各ユーザが自分でMFA (Multi-Factor Authentication) を有効にすることが推奨されています。クラスメソッドでも、お客様の環境ごとにIAMユーザを作成し、MFAを設定していただくようにお願いしています。 ここで問題になるのが、IAMのポリシーです。IAMユーザ本人に自分自身のMFAを管理できるようにするには、どんなポリシーが適切なのでしょうか？ このテーマは、当ブログの過去記事でも何度か登場していますね。 一般のIAMユーザにMFAを設定してもらう方法 ｜ Developers.IO IAMによるAWS権限管理 – プロジェクトメンバーへの権限付与方針に潜む闇 ｜ Developers.IO 2015年8月現在、上記で紹介されたポリシーでは正常に動かなかっ
こんにちは。SCSKのふくちーぬです。 皆さんは、プライベート（閉域網）環境下でのLambdaを利用したことありますでしょうか。セキュリティに厳しい環境下でLambdaを利用する場合は、VPC設定を施したLambdaを利用する機会があると思います。 今回は、インターネットに接していないVPC Lambdaの設計ポイントをお話しします。また、VPC Lambdaを実現しているAWS内の裏側もご紹介します。 VPC Lambdaとは LambdaにVPC設定を施すことで、顧客VPC内のサブネット上に足を出すことができて(ENIが作成されます)、RDS等のプライベートなリソースにアクセスをすることができます。VPC設定をするためには、VPC・サブネット・セキュリティグループが必要なため、EC2同様のネットワーク設計を行う必要があります。 VPC Lambdaをプライベートサブネット内に配置するこ
[アップデート]全 AWS Fargate 利用者必見！ Seekable OCI インデックスによりコンテナの起動が大幅に高速化するようになりました | DevelopersIO
[アップデート]全 AWS Fargate 利用者必見！ Seekable OCI インデックスによりコンテナの起動が大幅に高速化するようになりました はじめに 昨年、AWSはSeekable OCI（SOCI）の導入により、アプリケーションの起動と同時にコンテナからデータを非同期にダウンロードするコンテナイメージの遅延読み込みを実現しました。 これにより、コンテナイメージを変更せずにアプリケーションをより速く起動できるようになりました。 今回、SOCIがAWS Fargateにもサポートされました! SOCIは、ECRに保存されているコンテナイメージと同じECRにインデックスを作成しておくことで、イメージ全体をダウンロードせずに個々のファイルを抽出してコンテナを迅速に起動できます。 Amazon ECR リポジトリからイメージをダウンロードする際には、自動的にSOCI インデックスの有無
![[アップデート]全 AWS Fargate 利用者必見！ Seekable OCI インデックスによりコンテナの起動が大幅に高速化するようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/985a83259a49c10c9fef990f42efc390ba711740/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Faws-fargate.png)
Lambda処理内容 SNSのメッセージから、処理対象となるS3のバケット、キーを取得します。 ログの時刻情報として期待するカラムのデータが日付フォーマットに一致しない場合や、カラム数が異常なレコードはエラーレコードとして除外します。 「request」カラムに含まれるURLを「urlparse」モジュールを利用してパースし、解析時に利用頻度の高い「HOST」や「PATH」を事前に抽出します。 「json」モジュールを利用してJSONエンコードを行い、Firehoseに対しバッチ転送を行います。 4: Firehose 今回、出力先はS3のみとしましたが、Amazon Elasticserach Service、Redshiftと連係も可能です。 Firehoseのバッファ時間はELB(ALB)のログ出力間隔にあわせ、300秒としました。 Firehoseの後処理をLambda関数で実装す
東京リージョンでのリリースが待ち遠しいAWS Lambda。既にバリバリに活用されている方もいれば、夏に向けて絶賛勉強中の方もいらっしゃるかと思います。 そんな皆様に向けて、今回はAWS Lambdaそのものの機能ではなく、AWS Lambdaファンクションの開発ワークフローに関するお話をお届けします。 今回のスコープ(=AWS Lambdaファンクションのデプロイ) 開発ワークフローとか大げさなことを言いましたが、今回のスコープはAWS Lambdaファンクションのデプロイの部分です。 AWS Lambdaファンクションのデプロイは、AWS Lambdaファンクション本体(index.jsなど)と、AWS Lambdaファンクションで利用するnode.jsパッケージ等のファイル群一式をZIP化してアップロード、 というやり方が基本です。(ランタイムがnode.jsの場合はManageme
Lamdbaの開発を便利にするPythonのアプリケーションフレームワークJeffyが公開されました | DevelopersIO
CX事業本部@大阪の岩田です。 下記リンクの通りServerless OperationsさんからJeffyというOSSのアプリケーションフレームワークが公開されました。 AWS Python Lambda用のアプリケーションフレームワークJeffyをリリースしました！ サーバーレスなシステム開発ではServerless FrameworkやSAMを利用することが多いと思いますが、これらのフレームワークは「アプリケーションフレームワーク」ではありません。リソースの管理やデプロイを簡略化することはできても、アプリケーションのコードは開発者が全て実装する必要があり、コード量の削減や保守性の向上には寄与しません。じゃあDjangoのようなフレームワークを使ってLambdaを開発すればいいのか？というと、そういうわけでもありません。DjangoはLambdaの開発向けに設計されたフレームワークでは
10レスごとに阿笠博士のAAが45度回転するスレ Tweet 1: 以下、名無しにかわりましてVIPがお送りします 2013/07/18(木) 20:25:36.47 ID:G/HLXMFA0 ksk 2: 以下、名無しにかわりましてVIPがお送りします 2013/07/18(木) 20:25:51.18 ID:R8wbCTsZ0 ふーん 3: 以下、名無しにかわりましてVIPがお送りします 2013/07/18(木) 20:26:13.82 ID:G/HLXMFA0 ksk 4: 以下、名無しにかわりましてVIPがお送りします 2013/07/18(木) 20:26:25.92 ID:cljF6Dlw0 ksk 5: 以下、名無しにかわりましてVIPがお送りします 2013/07/18(木) 20:26:46.07 ID:G/HLXMFA0 ksk 6: 以下、名無しにかわりましてVIP
Introducing Amazon Managed Workflows for Apache Airflow (MWAA) | Amazon Web Services
AWS News Blog Introducing Amazon Managed Workflows for Apache Airflow (MWAA) As the volume and complexity of your data processing pipelines increase, you can simplify the overall process by decomposing it into a series of smaller tasks and coordinate the execution of these tasks as part of a workflow. To do so, many developers and data engineers use Apache Airflow, a platform created by the commun
CloudWatch + SQS でバッチサーバー冗長化のために実装した「sqsjkr」の話 - KAYAC Engineers' Blog
Lobiの吉村(moulin)です。今回はCloudWatch + SQSのバッチサーバ冗長化のために作成した「sqsjkr」についてご紹介します。また、sqsjkrはGo実装です。 github.com 目次 背景 sqsjkrについて 運用について 背景 バッチサーバーとは、マシンリソースの消費が高い処理を定期的に実行させたい場合、本体アプリケーションに影響が及ばないようにするために建てられるバッチ処理専用のサーバーを指し、Lobiでも様々なバッチ処理を実行するサーバーを建てています。 バッチサーバーはcrontabが設定されているものが1台、バックアップとして同じ構成でcrontabが設定されていないものが1台起動しており、cronを実行するサーバーに障害が発生した場合は、手動でcrontabをバックアップのサーバーに設定することでフェイルオーバーする運用をしていました。 しかし、バ
文字認識ライブラリ okrabyte を使ってS3にPUTされた画像をAWS Lambdaで文字認識する - from scratch
このエントリはAWS Lambda Advent Calendar 2014 - Qiitaの(本当は9日目の)記事です。 (ちょっとAWS Lambdaのアカウント取得に手間取ってしまって遅刻してしまいました。。すいません。。) AWS Lambda とは AWS LambdaはAmazonが作った新サービスであり、S3の変更やDynamoDBの変更をフックしてNode.jsの関数を実行するという仕組みになっています。これを使うと、例えばデータが変更された後にPush Notificationを出したり、S3にアップロードされた画像のサムネイル画像を作成したりといったことが可能になります。 今回はこのAWS Lambdaを使ってS3でPUTされた画像から文字認識をしてみようという試みです。文字認識した結果をDynamoDBとかに置いて検索に利用すれば、画像内に書かれた文字で検索できるよう
みなさんKubernetesクラスタへのデプロイはどのように実施していますか？？ 小規模環境であれば kubectlを利用した手動デプロイ、もう少し規模が大きい場合は、CodePipeline、CodeBuildなどを利用した自動デプロイにて実施するケースが多いのではないでしょうか。 そんな中、最近のk8s界隈では 俺たちはSpinnakerでデプロイしているぜ！！という声をちらほら聞くようになりました。 ということで今回は、Spinnaker環境の構築方法と、何かできるのかを簡単に紹介したいと思います。 Spinnakerとは Spinnakerは、Netflix社が開発したマルチクラウド環境への継続的デリバリーツールです。 大雑把に説明すると、CodePipelineの機能、CodeDelpoy（マルチクラウド）の機能、管理対象リソースのViewがあるイメージです。 その他、Pipel
S3 バケットに保存されているファイルのウィルススキャンを AWS Lambda を使ってやってみたした。 こんにちは、コンサルティング部の望月です。 1月がはじまったと思ったら、もう終わりそうで、この調子だと『シン・エヴァンゲリオン劇場版』の公開ももうすぐですね!! さて、今回は S3 バケットに保存されているファイルのウィルススキャンを AWS Lambda を使ってやってみたのでブログにまとめました。 現在、S3 にはウィルススキャンという機能はなく、S3 へファイルをアップロードする前か、アップロード後にダウンロードし、ウィルススキャンする方法が多いかと思います。 今回の方法は、下記ソフトウェアを使って Lambda を利用するため、ウィルススキャン用に EC2 など別途用意することなく、手軽に行うことができるため、簡単に試してみることができます。 upsidetravel/buc
望月@シアトルです。 今日はAmazon S3を複数名で利用するときの、IAM権限制御に関するTIPSのご紹介です。 想定する環境 S3は安価かつ高耐久性のストレージとして、AWS上でシステムが稼働しているかどうかに関わらず利用することが可能です。また、単純な保存領域としてだけでなく、S3 Static Website Hostingと呼ばれる機能を利用すれば、S3にHTMLなどの静的ファイルを配置しておくだけで簡単にWEBサイトを作れます。 この機能により、可用性・対障害性の高いWEBサーバを非常に安価(〜10円/月)でホスティングできます。 Static Website Hostingを利用する時には、S3にファイルを配置するだけで外部への公開ができますが、気にしなければならないことの一つに権限の管理があります。S3へのアップロード権限はAWS Identity and Access
IAM の評価論理をやんわり押さえるセッション「やんわり押さえよう IAM の評価論理」で登壇しました #devio2021 | DevelopersIO
【やんわり】（副詞） ━ものやわらかであるさま。おだやかなさま。 （デジタル大辞泉より） コンバンハ、千葉（幸）です。 皆さんは IAM の評価論理って難しいと思っていませんか？ 実は…… … …… ……… その通り、難しいんです。 やれアインディティベースポリシーとリソースベースポリシーだの、アカウントをまたぐまたがないだの、ガードレールがどうだの、暗黙的だの明示的だの、覚えることがたくさんあって難しいです。 詳細な内容は必要に迫られたときに考えるとして、「だいたいこういうことでしょ」とやんわり理解する状態を本セッションでは目指していきます。 セッションの雰囲気 これが…… こうなる感じ雰囲気のセッションです。 セッションで学べること 章ごとにサマリを描きます。 1. IAM JSON ポリシー IAM のポリシータイプは 6 つあること IAM JSON ポリシーの構成要素として Ef
Rubyがマジョリティな会社でC#を使ってAWS Lambdaの本番運用を開始した話 - freee Developers Hub
こんにちは！freeeでエンジニアをしている @toshi0607 です。アイコンよろしくnyanchuと呼ばれてい ます。 Microsoft PlatformというチームでC#、WPF、Xamarinなどを使ってデスクトップアプリを開発しています。 この記事はfreee develpers Advent Calendar 2017の21日目です。 デスクトップアプリから送信するログファイルの処理をAWS Lambdaを使って行うようになりました。 この記事では導入の経緯や工夫したことについて紹介します。 段階的導入 最終的にLambdaを導入することを目指しつつ、ストレージへのログファイルのアップロードを非同期化することから始まりました。 まずはアーキテクチャの変遷をご覧ください。 Phase0 アプリからAPIサーバに複数のログをzipで固めて送信しています。 最初zipの中身をAP
Network Load Balancer (NLB) がセキュリティグループをサポートして何が嬉しいのか整理してみた | DevelopersIO
うおおおおおおおおお!!! ってなったけどなんで歓喜しているんだっけ? こんにちは、のんピ(@non____97)です。 皆さんはNetwork Load Balancer (以降NLB) にセキュリティグループをアタッチしたいなと思ったことはありますか? 私はあります。 本日8/11についにサポートされましたね! 早速、偉大な先人がアップデートをまとめてくれています。 細かい仕様は以下AWS公式ドキュメントにも記載があります。 うおおおおおおおおおおおおお!!! という感じで目が覚めたのですが、なぜ私はこんなに歓喜しているんでしょうか。 この感情を言語化してみました。 いきなりまとめ クライアントIPアドレスを保持する場合、NLBを介さずに直接アクセスされるのを防ぐことが簡単になった 従来はターゲットのセキュリティグループでクライアントのIPアドレスからの許可をする必要があったため、NL
歴史・年表でみるAWSサービス(Amazon EventBridge編) －機能一覧・概要・アップデートのまとめ・入門、Amazon CloudWatch Eventsとの違い－ - NRIネットコムBlog
小西秀和です。 「歴史・年表でみるAWS全サービス一覧 －アナウンス日、General Availability(GA)、AWSサービス概要のまとめ－」から始まったAWSサービスを歴史・年表から機能を洗い出してまとめるシリーズの第5弾です(過去、Amazon S3、AWS Systems Manager、Amazon Route 53について書きました)。 今回はAWSサービスのイベント検知、条件に応じた他のAWSサービスへのイベント連携、イベントの生成などをするAmazon EventBridge(旧Amazon CloudWatch Events)について歴史年表を作成してみました。 今回もAmazon EventBridgeの誕生から機能追加やアップデートを追いながら主要機能を現在のAmazon EventBridgeの機能一覧と概要としてまとめています。 これらが、各AWSサービス
EKSでDockerから卒業すべくBottlerocketのマネージド型ノードグループを使ってみた - inductor's blog
はじめに この記事ではAWSの公式ブログ「Amazon EKS adds native support for Bottlerocket in Managed Node Groups」で取り上げられている内容を、eksctlを使わずCloudFormationでimmutableに実現するための方法を解説します。 aws.amazon.com Bottlerocketとは Bottlerocketは、AWSが開発しているコンテナ実行専用OSです。Fedora/RHELのCoreOSやVMwareのPhoton OS、Rancher OSなどと似ていて、コンテナを実行するためのランタイム以外余計なパッケージが入らない軽量なOSとなっています。 aws.amazon.com Bottlerocketの開発状況についてはBottlerocket Roadmap · GitHubを合わせてみると良
渡辺です。 最近は、システムの開発支援としてAWS環境構築などに関わる事が多いです。 そこで、開発者側視点で押さえておきたいAWSのノウハウや基礎知識を書いて展開してみたいと思います。 今回はEC2で動くプログラムがアクセスキー/シークレットキーを使わずにRoleを利用すべき、という話です。 Roleとは？ RoleはIAMの機能のひとつで、アクセスキー/シークレットキーを使わずに各種AWSリソースにアクセスすることができます。 例えば、EC2インスタンスからS3にオブジェクトを書き込んだり、SNSにメッセージを送信したりする場合に利用できます。 アクセスキー/シークレットキーとの違い ひとことで言えば、Roleはアクセスキー/シークレットキーに比べ、キーの管理をする必要がありません。 ただし、EC2インスタンスにしか割り当てることしかできません。 キー管理が不要 アクセスキー/シークレッ
サーバーレスのウェブアプリケーションを構築２ Amazon Cognito を使ったユーザー管理 | DevelopersIO
こんにちは。イムチェジョンです。 前のブログではAWS Amplify を使った静的ウェブホスティングをやってみました。今回は続いてAmazon Cognito を勉強し、ユーザー管理をしてみようと思います。 [サーバーレスのウェブアプリケーションを構築シリーズ] １. AWS Amplify を使った静的ウェブホスティング ２. Amazon Cognito を使ったユーザー管理 ３. バックエンドの構築 (AWS Lambda、Amazon DynamoDB) ４. RESTful API (Amazon API Gateway、 AWS Lambda) アジェンダ 今回の目標 Amazon Cognito とは Amazon Cognitoを使ったユーザー管理 まとめ 0. 今回の目標 目標：Amazon Cognitoを勉強し、ユーザー管理を行う。 1. Amazon Cognit
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ALB と docker ヘルスチェックによる ECS の挙動について
[アップデート]既存のEC2にIAM Roleを付与できるようになりました！ | DevelopersIO
Auth0からCognitoへのユーザー移行 - ROBOT PAYMENT TECH-BLOG
Automation of Terraform for AWS | メルカリエンジニアリング
絶対に行ってはいけない場所って日本にあるの？ : あじゃじゃしたー
IAMのスイッチロールを理解したい | DevelopersIO
AWS Elastic Beanstalkで環境構築自動化 - Qiita
TerraformでIAM Policyを書く方法5つ | DevelopersIO
CloudFormationとOpsWorksでインフラを育てる - ZOZO TECH BLOG
IAMユーザ本人にMFAを管理してもらうためのIAMポリシー | DevelopersIO
VPC Lambdaを実現しているAWS内の裏側と設計の心得三箇条
ELBとCloudFrontのアクセスログをサーバレスに集約させてみた | DevelopersIO
AWS LambdaファンクションをGulpでデプロイ | DevelopersIO
10レスごとに阿笠博士のAAが45度回転するスレ : 暇人＼(^o^)／速報
Spinnakerを使ってEKSへの継続的デリバリー環境を構築する | DevelopersIO
S3 バケットを AWS Lambda を使って、ウィルススキャンしてみた | DevelopersIO
【IAM TIPS】S3バケット毎に権限を分けるためのIAM権限設計 ｜ Developers.IO
プログラムではアクセスキー/シークレットキーを使わずにRoleを利用する | DevelopersIO