SESで受信したメールを、別の宛先へ転送してみたいと思います。ここでは、AWS WorkMailやMTAは利用せず、SES + Lambda Functionで実装してみたいと思います。 SESで受信したメールを、別の宛先へ転送してみたいと思います。ここでは、AWS WorkMailやMTAは利用せず、SES + Lambda Functionで実装してみたいと思います。 構成イメージ SESでメールを受信し、受信をトリガーにLambda Functionを起動させ、SESの送信APIを利用して別の宛先に送信するといったシナリオです。 前提 メールアドレスに使用するドメインのネームサーバがRoute53で管理されていること SESで有効な受信ルールセット(Active Rule Set)が存在しないこと やってみた メール保存バケット作成 受信メール保存用バケット（ここでは、test-se

Pythonで作ったコマンドをpipでインストールできる形にしてGitHubで公開する方法を紹介しています。 こんにちは、ターミナル住人の平野です。 先日Pythonで作ったコマンドを公開する際、 Pythonなんだし、やっぱりpipでインストールできるようにしたいなと思い、 そのやり方を調べたので記録しておきます。 CSV変形のお供に。テキストの一部分にだけコマンド適用するツールを作ってみた。 GitHubでの公開 pipを使うと通常はPyPIからパッケージを探そうとしますが、 探しに行く先としてGitHubを指定することもできるようです。 いくらPyPIが誰でもパッケージを登録できるリポジトリとは言え、 いきなりここに登録するのは心理的なハードル高すぎなので、 まずはGitHubでの公開だけに留めておきます。 スタート地点 スタート地点としては、sample_command.pyという

コンニチハ、千葉です。 MediaConvertを利用して、mp4をHLSに変換するエントリーを書きました。 Elemental MediaConvertを利用してmp4をHLS変換 + サムネイル出力 今回は、上記で作成したMediaConvertのジョブテンプレートを利用して、S3にファイルをputすると自動で動画変換する仕組みを作ってみます。処理イメージとしては以下です。 S3にmp4をアップロード mp4ファイルが置かれたことをトリガーにLambdaを実行(mp4以外はLambdaは発火しない) LambdaからMediaConvertのジョブを作成する mp4がHLSに変換される やってみた 作業サマリ S3バケット作成 アップロード用(mp4ファイル配置) 動画変換用(HLSファイル配置) MediaConvertの設定 Lambdaの実装 です。それではやっていきましょう。

Amazon CloudFrontのようにラストマイルでのRTMPの使用はAdobe Flashのサポート終了とあわせて勇退します。しかしファーストマイルでのRTMPの使用はまだ現役です。動画配信のRTMP使用場面とあわせて確認をしてみました。 はじめに 清水です。以前、AWSのCDN (Content Delivery Network)サービスであるAmazon CloudFrontでRTMPディストリビューション機能が2020年12月31日に廃止されることをお伝えしました。 Amazon CloudFrontのRTMPディストリビューション機能が2020年12月31日に廃止されます | Developers.IO また実際に2021年になってからは、このCloudFrontのRTMPディストリビューションにアクセスできなくなっていること *1 を確認しました。 2020年末日に廃止が告

はじめに データアナリティクス事業本部の鈴木です。 緯度・経度の情報が入っている地理データを確認する機会がありました。 手軽に確認するのに、Foliumというライブラリを使うと便利だったので紹介します。 Foliumとは pythonからLeafletを使ってインタラクティブな地図を作成できるライブラリです。LeafletはオープンソースのJavaScriptライブラリで、Web地図サービスでインタラクティブな地図を作成するのに使われています。 Foliumを使うと、緯度・経度の値を使って、地図上にマーカーを立てたり、そのマーカーに視覚的な効果を付け足すことができます。タイルはいくつかの選択肢がありますが、デフォルトではOpenStreetMapが使われます。 こんなときに使うと便利 データの観測地点の場所が知りたいとき 地図上にマーカーを作成できるので、データの場所を可視化できます。 必

待望のサーバーレスシェルスクリプト環境！？ 既報ですが、AWS re:Invent 2018 のキーノート Day 2 にて AWS Lambda に新機能、Custom Runtime が発表になりました！ 【アップデート】 もう言語で悩まない！AWS LambdaでCustom Runtimeが利用できるようになりました！ #reinvent New for AWS Lambda – Use Any Programming Language and Share Common Components | AWS News Blog AWS Lambda Now Supports Custom Runtimes, and Enables Sharing Common Code Between Functions 思えば以前から、仕様の隙を突いてごにょごにょすることで Lambda 上で好きな

はじめに AWSにはEC2やRDS、RedshiftなどVPCに対応したサービスが数多くあります。 これらのサービスを利用する場合、まずはVPCやサブネットを作成します。 VPCの作成ではIPアドレス(=CIDR)に何を指定するか迷う方が多いのではないでしょうか。 私がVPCとサブネットのCIDRを決める際に考慮しているポイントは、ざっと以下の通りです。 プライベートIPアドレス範囲から指定する VPNやDirect Connect利用時はオンプレミスとの重複に注意する VPCピア利用時はVPC間で重複できない 将来の拡張に対応可能なCIDRを選択する 最低でも/28以上が必要 CIDRブロックのうち、5IPは利用できない ELBを配置するサブネットは/27以上のCIDRかつ、少なくとも8個の空きIPを用意する それぞれの詳細をご紹介し、最後に優先順位をまとめます。 プライベートIPアドレ

そこで今回は下記ブログで紹介されている ELB のアクセスログを Parquet 形式に変換する手順を試してみました。 S3のデータをAmazon Athenaを使って分析する 試してみた 今回の流れは以下のようになります。 EMR クラスタ立ち上げ スクリプトダウンロード データ変換 変換したデータを S3 へ転送 Amazon Athena からクエリ EMR クラスタ立ち上げ データ変換するスクリプトを実行する EMR クラスタを立ち上げます。 マネジメントコンソールから EMR の画面を遷移します。 Create cluster から立ち上げる EMR クラスタを設定します。 Go to advanced options から詳細設定します。 今回は Spark を利用するので Spark をチェックします。 インスタンスは Core node に r3.8xlarge を 4台利

はじめに S3をWebコンテンツの置き場所として使う場合、Webアプリケーション側でそのS3上のコンテンツに対するPre-signed URLを生成することで、Webアプリケーションで認証されたユーザに限りコンテンツにアクセス可能とするような仕組みを作ることは良くあります。 ただしこのS3アクセス用として生成したPre-signed URLは、CloudFrontを経由した形では使えません。 CloudFront経由で、限られたユーザのみS3からコンテンツを取得出来るようにするためには、CloudFront用の署名付きURLを発行する必要があります。 そこで今回は、CloudFront+Amazon S3を組み合わせて、署名付きURLを使った制限されたコンテンツ(プライベートコンテンツ)の配信を試してみました。 やってみる 今回試したことは、以下のAWSのドキュメントを参照しながら行ってい

SSH不要時代がくるか!?AWS Systems Manager セッションマネージャーがリリースされました! AWS Systems Mangerに新機能 セッションマネージャーが追加されました! この機能はマネジメントコンソール上からEC2インスタンス内のbash・PowerShellを実行できる機能です｡操作ログをS3・CloudWatch Logsに保存することも可能です｡ はじめに おはようございます､加藤です｡す...すごい機能がリリースされました!AWS Systems Mangerの新機能でセッションマネージャーという機能です｡ 一言で言えば､｢EC2インスタンスにSSH・RDPで接続せずにブラウザ上からCLI操作ができる機能｣です｡ブラウザがSSHクライアントとして動作している訳でなく､制御はSSMによって実現されています｡ セキュリティグループのインバウンド設定や踏み台

こんにちは、せーのです。今日は普段Slackをお使いの皆様にオススメの新機能をご紹介します。今日ご紹介する機能を使うとSlackを使ってAWSを操作する、所謂「ChatOps」が手軽にできるようになります。 LambdaからSlackへ LambdaのFunctionを選ぶとまず「BluePrint」と呼ばれるナビゲートが出てきます。これはその名の通りLambdaを使って何を書きたいのか、という青写真が書かれているのですが、今回のアップデートでこのBluePrintに「Slack」の連携が登場しました。 Slackとは2014年に正式リリースされたコミュニケーションツールです。数ある社内チャットツールの中でも使い勝手の良さで人気が高いソフトですのでご存じの方も多いかと思います。 今回用意されたBluePirntを使うことでSlackとAWSの連携がより簡単になり、チャットをトリガーに開発や

こんばんは、菅野です。 ELB の「事前定義されたセキュリティポリシー」に二つ追加されましたので、今回はそのお話になります。 ELB を使う限り避けては通れない部分なので簡単に書いてみました。 はじめに ELB や ALB に用意されている「事前定義されたセキュリティポリシー」は https や ssl のリスナーを使う際には必ず選択しなくてはいけません。（ELB はカスタムセキュリティポリシーを使えますが今回その話はしません） では「セキュリティポリシー」とは何か、ですが以下の3つの組み合わせを指します。 「セキュリティを要求される通信を行うためのプロトコル」 「暗号スイートと呼ばれる暗号技術の組み合わせ」 「サーバーの優先順位オプション（今回触れません）」 これら3つを組み合わせた AWS が用意する「おすすめのセット」が「事前定義されたセキュリティポリシー」です。 最近の事前定義され

【新機能】AWS ELBのApplication Load Balancer(ALB)の認証機能でWebアプリにGoogle認証を追加する Application Load Balancer(ALB)の認証機能のひとつ、OpenID Connectの例としてWebアプリにGoogle認証をかける様子をご紹介します。 ども、大瀧です。 本日、AWS ELBのApplication Load Balancer(ALB)に認証機能が追加されました。 Simplify Login with Application Load Balancer Built-in Authentication | AWS News Blog ALBの認証機能では様々なことができるのですが独自IdPとの連携は既に他のメンバーが記事を書いているので、本記事ではOpenID Connectの例としてGoogle Identi

こんにちは、藤本です。 AWS re:Invent 2016 で EC2 Systems Manager がリリースされ、EC2 の運用がより便利になりました。今回はその一機能のパラメータストアで実際の開発現場を想定して、アプリケーションの環境設定を管理する方法を考えてみました。 アプリケーションの環境設定管理 アプリケーションが動作する上で環境に依存する設定は多くの場合、存在します。例えば、Web アプリケーションであれば、データベース、キャッシュシステム、マイクロサービス化が増えてきている昨今では他マイクロサービスコンポーネントなど、多くの他システムとの接続情報があります。データベースへ接続するにはデータベースのエンドポイント、ポート番号、ユーザ名、パスワード、データベース名、キャッシュシステムへ接続するにはエンドポイントの情報が必要となります。これらはアプリケーションが動作する環境に

[新機能]静的なIPを持つロードバランサーNetwork Load Balancer（NLB）が発表されました！ ウィスキー、シガー、パイプをこよなく愛する大栗です。 先程新しいロードバランサーNetwork Load Balancer（NLB）が発表されました！ New Network Load Balancer – Effortless Scaling to Millions of Requests per Second Announcing Network Load Balancer for Elastic Load Balancing Network Load Balancer Network Load Balancer（NLB）はApplication Load Balancer(ALB)と異なりL4のロードバランサーです。 特徴 Network Load Balancerには以

こんにちは、臼田です。 今回はAWS WAFの神アップデートであるManaged Ruleを利用して、Wordpressの脆弱性に対する攻撃を防いでみたいと思います。 WAFマネージドルールって何？ 今回発表されたAWS WAFの新機能で、下記に速報があります。 【速報】AWS WAFがサードパーティーのマネージドルールに対応しました！ #reinvent そもそもWAFマネージドルールって何がいいの？ マネージドルールがこれまでのAWS WAFのルールより優れている点は大きく2つあります。 ルールを自分で管理しなくていい これまでAWS WAFでは、攻撃に対する防御に利用するルールは自分で作成する必要性がありました。 例えば防御したいサイトに対して、SQLインジェクションの防御用のコンディションを作成し、コンディションにフィルターを追加し、コンディションをルールに適用して利用します。 こ

はじめに 新サービスAWS Fargateが発表されました！ Introducing AWS Fargate – Run Containers without Managing Infrastructure AWS Fargateの紹介 – インフラストラクチャの管理不要でコンテナを起動 AWS Fargateとは 簡単に言うと、コンテナのホストとなるEC2を管理することなく、コンテナを起動するサービスです。フルマネージドコンテナサービスと言えば良いでしょうか。コンテナイメージを作成し、CPUとメモリサイズを指定し、ネットワークとIAのポリシーを定義するだけで、コンテナが起動します。 やってみた ECS管理コンソールを開くと、以下のようにFargateのGet startedというリンクが表示されるのでクリックします。 最初にコンテナとタスクを作成します。ここではsample-appを使っ

AWS Manged Kubernetes! 現在開催中のAWS re:Invent2017にて、Amazon Elastic Container Service for Kubernetes(EKS)が発表されました！待望の、AWSが提供するマネージドKubernetesです。 Amazon EKS - managed Kubernetes service Amazon Elastic Container Service for Kubernetes | AWS News Blog EKSの特徴 Keynoteの中では、EKSの特徴として以下の点に触れられていました。 Hybrid Kubernetes : 別のクラウドや、オンプレミスのKubernetesで動作させていたKubernetesクラスタのアプリケーションををそのまま移行することが可能です Multi AZ : AWSの複数

Swift で使えるオープンソースライブラリ 2014年は新言語 Swift が登場し、iOS アプリ開発者にとってはかなり印象深い年になったのではないでしょうか。Swift の登場以後、さまざまな取り組みが iOS アプリ開発者の中で行われ、その結果の1つとしてオープンソースライブラリもかなり増えました。 Swift で一から書かれたものもあれば、既存のものを Swift でも使えるようにアップデートしてくれているものもあります。ある意味、混沌としている現状では「じゃあいまから Swift で iOS アプリ開発するときに何を使えば良いの！？」といったことになりかねません。ということで、現在までに公開されている Swift で使えるオープンソースライブラリを目的別にまとめてみました。 Swift アドベントカレンダーのために書いた記事なので、タイトルには「Swift 時代の」としています

はじめに こんにちは、虎塚です。 ログファイルの監視ができるAWSサービスといえば、CloudWatch Logsですね。メトリックを使ってアラームを設定し、SNSと組み合わせることで、アラートメールも送信できます。 本ブログでも、これまでに何度かCloudWatch Logsをご紹介してきました。 Amazon CloudWatch Logsでログファイルを監視する ｜ Developers.IO Amazon CloudWatch Logsによるログの収集とフィルタとアラーム設定 ｜ Developers.IO CloudWatch Logsは、2014年7月にリリースされたサービスです。この半年ほどで、いくつか機能アップデートがありました。主なアップデートは、次のとおりです。 CloudWatch Logsが東京リージョン(ap-northeast-1)でも利用できるようになりました