GitHub Actions から EC2 へ Session Manager を使用してなるべくセキュアにファイルをアップロードする
概要 とある案件で GitHub Actions から EC2 へファイルをアップロードしたい、ということがありました。 該当の EC2 は、普段は AWS Session Manager を使用してサーバーにアクセスしており、 SSH/SFTP の穴を開けていないサーバーでした。 そのため、 Session Manager 経由でファイルをアップロードできないか試してみたところ、うまくいったという感じです。 要件 今回やりたかったことは以下のような感じです。 GitHub Actions から rsync でファイルをアップロード EC2 の SSH ポートは開けたくない SSH でログインする Linux のユーザーはアップロード用に作成したもの これを受けて、以下のようにしました。 AWS Session Manager を使用して、rsync over ssh でファイルをアップロ
Amazon Route 53のALIASレコード利用のススメ | DevelopersIO
よく訓練されたアップル信者、都元です。 Amazon Route 53は、AWSが提供するDNSサービスです。通常、ドメインを取得すると、ドメインレジストラからDNSがサービスで提供されることが多いと思います。費用は大抵ドメイン代に含まれていて、追加費用は無いことが多いです。しかしAWSで利用するドメインは、下記のような理由から、ドメインのオマケで付いてくるDNSではなく、Route 53を利用するメリットが大いにあります。 無料じゃないとは言え、とにかく安い。Route 53のコストが月10ドル超えるような人気サービスを作れたら勝ち組です。 プログラマブルである。レコードの定義と書き換えをスクリプトで実行できる。デプロイの自動化に寄与。 CloudFormationからレコードの定義と書き換えができる。まぁ↑とほぼ同じことを言ってますが。 SLAは100%（！？） ELB, CloudF
AWS小ネタ002：ALBを固定IPアドレスで使いたい
年三日坊主のKKです。 拙僧先日、珍しくお坊さんとして大きな法要に呼んで頂いたのですが、コロナ禍で思いのほか体力や肺活量が落ちていて満足いく読経が出来なかったことに衝撃を受けている今日この頃。 皆様季節の変わり目ですので体調にはお気を付けください。 今やAWSでトラフィック制御する上でALBは無くてはならないものになりましたが、残念ながらそのIPアドレスは不定期に変更されるため、Route53で管理できないTLDのネイキッドドメインに設定できないなど、微妙に困るシチュエーションがあります。 ただし、AWS Global Acceleratorと組み合わせることでALBを固定IPアドレスで利用することが可能になります。 AWS Global Acceleratorには固定IPアドレス以外にも可用性やパフォーマンス、セキュリティの向上などの機能もありますが、ここではALBに固定IPアドレスを付
EメールでAmazon SNSからのメッセージを受信する | DevelopersIO
SNSではLambda,HTTPなど様々な方法でメッセージをサブスクライブできます。 今回はEメールでメッセージをサブスクライブするまでを解説します SNSについて Amazon SNS（Amazon Simple Notification Service)はフルマネージドのメッセージングサービスです。 特徴としてはプッシュ式のメッセージ配信形式をとり、多対多でのメッセージのやりとりが可能です。 例えば、SNSから複数の対象（サブスクリプション）に対して同一のメッセージを送ることが可能です。 SNSではサブスクリプション対象としてSQSやLambda、HTTPエンドポイント、SMSなど様々な対象が選べます。 今回はそんな中でEメールのサブスクライブに焦点を絞って解説していきます。 準備 SNSではトピックと呼ばれるキューのような物でメッセージが管理されます。 まずは、そのトピックを作成して
Amazon Polly を使用した日本語テキスト読み上げの最適化 | Amazon Web Services
Amazon Web Services ブログ Amazon Polly を使用した日本語テキスト読み上げの最適化 Amazon Polly は、高度な深層学習テクノロジーを使用して、29 の言語および 61 の音声で、人間のように聞こえる音声を合成するテキスト読み上げ（ TTS ）を提供するクラウドサービスです。Amazon Polly サービスは、自動コンタクトセンター、言語学習プラットフォーム、翻訳アプリ、および記事の読み上げなど、幅広い用途に対応する音声合成を使用するデジタル製品の開発において企業をサポートしています。 Amazon Polly は現在、2 つの日本語音声を提供しています。日本語は書記体系が複雑であるため、TTS システムに多くの課題をもたらします。 この投稿では、日本語が TTS に与える課題の概要、Amazon Polly がそれらの課題に対処する方法、および正
最近やってるLambdaとAPI Gatewayの開発方法の話
先日ちょっとしたAPIをLambdaとAPI Gatewayを使って作ったので、これを機会に最近の弊社のLambda構築状況について書きたいと思います。 TL;DR あるいは まとめ LambdaはECRによるイメージで起動。こうすることで、開発はイメージを作るところまで、インフラはイメージから後、というように分業できる aws-lambda-powertoolsはいいぞ API GatewayはOpenAPIをterraformに読み込ませることで簡単に設定できる Lambdaのruntime Lambdaは2020年12月からコンテナイメージをサポートしました。これは、ECRに置かれたコンテナイメージをLambdaが読み込んで起動する、というものです。 弊社ではLambdaは基本的にこのコンテナイメージからの起動で構築しています。 コンテナイメージを使う利点は以下の2つです。 コンテナ
AWS CodeBuild をちょっと触ってみた - Diary
AWS CodeBuild をちょっと触ってみた フルマネージドのビルドサービス という触れ込みで、実際まあその通りなんだけど、これはあくまでもビルドツールであって CI ツールではない。出来ることはビルドだけ。 なので Amazon Travis 的なサービスではない。 AWS CodePipeline や Lambda や API Gateway などと組合せることで一気通貫の CI 環境を構築することはもちろん可能だが、大抵の場合において Travis に金を払ったほうがいいと思う。 Jenkins おじさんならぬ AWS CodePipeline が発生してしまう。 ビルドタスクが大量にあり Travis なり Jenkins なりのレーンが頻繁に逼迫してる会社ならばこれらサービスを使ってやっていくコストをペイできることでしょう。 一方で個人が Github の Private リ
Amazon Athena – Amazon S3上のデータに対話的にSQLクエリを | Amazon Web Services
Amazon Web Services ブログ Amazon Athena – Amazon S3上のデータに対話的にSQLクエリを 私達が扱わなければいけないデータの量は日々増え続けています(私は、未だに1,2枚のフロッピーディスクを持っていて、1.44MBというのが当時はとても大きいストレージだったことを思い出せるようにしています)。今日、多くの人々が構造化されたもしくは準構造化されたペタバイト規模のファイル群を、日常的に処理してクエリしています。彼らはこれを高速に実行したいと思いつつ、前処理やスキャン、ロード、もしくはインデックスを貼ることに多くの時間を使いたいとは思っていません。そうではなくて、彼らはすぐ使いたいのです: データを特定し、しばしばアドホックに調査クエリを実行して、結果を得て、そして結果に従って行動したいと思っていて、それらを数分の内に行いたいのです。 Amazon
「Amazon API Gateway を使って駅すぱあとWebサービス無償版を呼んでみた」 #aws #jawsug #api #駅すぱあとWebサービス - uchimanajet7のメモ
AWS Summit New York にて発表されたサービスのうちの1つである「Amazon API Gateway」を使って「駅すぱあとWebサービス無償版」を試しに呼び出してみた時のメモ書きです aws.typepad.com そもそも「Amazon API Gateway」って何よ？って人はひとまず↓あたりを一読 aws.typepad.com Amazon API Gateway http://aws.amazon.com/jp/api-gateway/ え？「駅すぱあと」ってWebサービスなんてあるの？無料版もあるの？という人は↓あたりを uchimanajet7.hatenablog.com ekiworld.net APIを作ってみる 何はともあれAPIを作らないと始まらないので、以下の画面で [Get Started] ボタンをクリックして先に進みます すでにAPIが存在
AWSとGCPの対応表 | DevelopersIO
GoogleのDeveloper AdvocateチームのマネージャであるGreg Wilsonが、Amazon Web Services (AWS)とGoogle Cloud Platform (GCP)の対応表を個人ブログに書いていました。「AWSのコレに対応するサービスってGCPにあるの？」といった質問はよく出てくるので、AWSとGCPを比較検討しているユーザーの参考になるかと思います。もちろん厳密な対応づけではなくて、それぞれのサービス間には足りなかったり多かったりする部分がありますが、おおざっぱにはこんな対応になるかと思います。 カテゴリ Amazon Web Services Google Cloud Platform
エンジニア3人で支える月間10億PV
・2年で月間10億PVを支えるまで成長した ZenClerkの運用上の工夫を紹介 ・AWSのTipsとあるある話の共有
Amazon RDS の MySQL で UTF-8 のデータベースを作る : まだプログラマーですが何か？
AWS(Amazon Web Services) から提供されているクラウドサービスのラインナップは数多くあります。個人的にはこれまで IaaS の EC2 に、EC2 を固定 IP アドレスで使う Elastic IP、そしてストレージサービスであり静的HTMLサーバーにも使える S3 を使う機会が多くありました。 データベースサービスである RDS に関しては、その存在は以前から知っていて、MySQL インスタンスをセットアップしてテスト的に利用したことはありました。が、この RDS のデータベースはデフォルトの文字コードが latin1 になっていて※、日本語データを扱うサービスとして使うにはその設定を（一般的には UTF-8 などに）変更する必要がありました。 ※正確には character_set_server と character_set_database の設定値が lat
NATインスタンスを冗長構成にしてみた - log4moto
Wizardによる標準構成のVPCにおいてNATインスタンスはSPOFであり、インスタンス障害や、単一AZの障害、AZ間接続障害によっても両AZのインターネット接続性が損なわれる可能性がある。そこで、NATインスタンスをAZ毎に用意し、障害発生時にfailoverする仕組みを考えてみた。 方針 なるべくAWSの１リージョン内で完結し、別リージョンや外部に監視用ホストなどをおかない 瞬間的にフェイルオーバーはおこなわず、毎分ごとにインターネット上のターゲットIPへの疎通を確認し、障害と思われる状態になったらフェイルオーバーを行う 疎通が回復したと思われた場合には、元の状態に戻す 構成 非常にわかりづらい図になっていますが、構成要素としては Subnet x 4 (Public, Private を AZ毎に１つずつ) NATインスタンス x 2 (AZ毎に１つずつ、当然ElasticIPも1
NATインスタンス冗長化の深淵な話 - （ひ）メモ
AWS Casual Talks#1を開催しました - まめ畑 http://d.conma.me/entry/2013/11/02/140136 に参加して『NATインスタンス冗長化の深淵な話』というLTをしてきました。 Redunduncy of NAT instance on AWS/VPC from Masaaki HIROSE これまで何度か発表をしてきましたが、私の人生で一番気が重いプレゼンとなりました。 ニッチな話題の会でオオトリを努めるとネタが被って社会は厳しいという見本のようなLTでしたね。今後ともご指導ご鞭撻の程、よろしくお願いいたします。 あと、何人かの方にきかれたフォントですが、ここの怨霊フォントと吐き溜フォントです。 暗黒工房 ホラーフォント :怨霊、オバケ、吐き溜
はじめてのAmazon VPC - 2. 外部インターネットと接続する(NATインスタンスを使う) - 元RX-7乗りの適当な日々
前回のエントリ「はじめてのAmazon VPC - 1. ルーターからVPCへVPN接続する」の続きです。(今更シリーズ) Amazon VPCでは、各サブネットでのアクセスコントロールを柔軟に設定できたり、自ネットワークからVPNトンネルをはって接続できるなど、よりセキュアなネットワーク構成を意識できることもあり、VPC内で起動したサーバ(Amazon EC2インスタンス)は、場合によっては外部インターネットに出て行くことが出来ないケースがあります。 しかし、サーバから外部の必要なものをダウンロードしたり、外部リポジトリや外部APIアクセスしたい場合、Amazon S3等のVPC外のAWS各サービスに接続したい場合(パブリックネットワークからしかアクセスできない)などもあるでしょう。 もちろん、そこはVPCでの設定次第となりますので、今回は、前回作成したAmazon VPC網内で起動した
[AWSマイスターシリーズ]AWS Storage Gateway
This document provides an overview and agenda for an AWS webinar on AWS Glue. It introduces AWS Glue as a fully managed and serverless ETL service that can manage metadata for various data sources. The webinar will cover the background of AWS Glue, its key features including being serverless and enabling secure development in notebooks, use cases, pricing, and a conclusion. It also provides detail
![[AWSマイスターシリーズ]AWS Storage Gateway](https://cdn-ak-scissors.b.st-hatena.com/image/square/84a1f8c82ea11968517f9e25a3275a0039443088/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2F20130515aws-meister-regenerate-storagegwpublic-130515065411-phpapp02-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
AWS Storage Gateway入門 – とりあえず構築してみよう | DevelopersIO
こんにちは。望月です。 今日はAWS Storage Gatewayを触ってみました。AWSのサービスの中でもとっつきにくい印象のあるStorage Gatewayを検証していこうと思います。 Storage Gatewayとは？ Storage Gatewayは、AWS上のストレージをオンプレミスのアプライアンスと接続し、バックアップを行うためのサービスです。 元々は、オンプレミスのVMware ESXi上で動作しているファイルサーバ等のバックアップを手軽に行うためのソリューションとして登場しました。イメージとしては以下の図のようなものです。 その後Hyper-VやEC2上でも動作するようになり、適用範囲にも広がりが出てきていると思います。詳しくは以下のスライドを御覧ください。 今回は、上のスライドで紹介されているうちのGateway-Cached Volumesを構築していきます。EC
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - Miserlou/Zappa: Serverless Python
Fate/Grand Orderにおける、ディライトワークス流 AWS 導入&活用術
Docker だらけの FRESH な動画配信プラットフォーム
