ECS Service Connectによるサービスの新しいつなぎ方 / A new way to connect services with ECS Service Connect

概要 AWS Amplify Advent Calendar 2019、19日目はAWS Amplifyの新機能MockingでGraphQL API開発スピードを爆上げする方法について書いていきます！ Amplify Mockingとは 2019.08.07に発表されたAmplify CLIの新(というにはいささか時間が経ってしまった)機能です。$ amplify pushはAWS CloudFormationのスタックの参照と変更を行うため、それなりに時間がかかってしまいます。$ amplify mockコマンドを使用すると、$ amplify pushでクラウドリソースに変更反映する前に、変更後の動作確認をローカル環境で行うことが可能です。 現在Mockingが提供されているCategoryは、以下の3つです。 api(GraphQL): AWS AppSync + Amazon D

こんにちは！コンサルティング部のキムです。 以前から外国で仕事をしたいなーと思ってましたが、言語が違うことの難しさを感じてます。もっと頑張っていきたいと思います！:) ここ数年、DynamoDBに興味があったのですが、DynamoDB Streamは全く触ったことがありませんでした。AppSyncでよく使われるパターンでもあるので、良い機会だと思ってDynamoDB Stream → ElasticSearch のデータ連携の構成をやってみました。 ElasticsearchのIndexingは1秒ほど掛かるためリアルタイムで連携されるのではありませんが、普通のユーズケースには大丈夫と思います。DynamoDBがメインDBになった場合でも、検索機能の限界の為、GSIやLSI等で頑張らなくて済む良いパターンだと思います。 それでは、始めます！ 目次 DynamoDB Streamとは Dyn

こんにちは、2019年7月よりトレタにJOINした @aibou です。 本記事はトレタ Advent Calendar 2019の16日目の記事です。 趣味はNFL観戦とボルダリングです。NFLは今年11月にマイナス気温の屋外で現地観戦してきました。 最近リードクライミングの講習を受けまして、ガシガシと岩を登っております。 さて、今回はAWSアカウントとAWS SSOのお話をしようと思います。 既に社内エンジニアへの共有や社内WikiにAWS SSOの利用マニュアルを残していますが、経緯や変遷について記載していないので、トレタ社員の方にも読み物として読んでいただければなと思っています。 免責事項 本記事を参考に実施したことで発生した金銭・セキュリティ等あらゆる問題について責任を負いかねますので、自己責任のもと実施していただくよう、よろしくお願いいたします。 また、誤り等あればはてブ等でご

MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました 開発者であっても図を描く機会は多いです。仕様書のようなドキュメントであったり、システム構成図の中に書いたりといった具合です。ドローソフトウェアを使ったり、スライド作成ソフトウェアを使ったりしまうが、操作やメンテナンスが面倒でストレスです。 そこで使ってみたいのがDiagramsです。開発者らしく、コードで図を描けます。 Diagramsの使い方 コードで書いた内容で図が書けます。 シンプルな例。 k8sなどの構成にも使えます。 GCP用。 DiagramsはAWS、GCP、k8s、AzureそしてAlibaba Cloud向けにアイコンが用意されています。これらのサービスを作ったシステム構成を考えた時に、Diagramsを使えばメンテナンスもしやすい図が描けます。 Diagrams

こんにちは。かたいなかです。 最近CodePipelineを使用していて、ステージング環境と本番環境をまたいだパイプラインなどで、アカウントをまたいだパイプラインを構築したくなることがありました。 そこで、今回はそのときに試したアカウントをまたいだパイプラインを構築する方法をご紹介します。 今回の構成 今回は以下のような構成を構築します 開発環境用のアカウントにあるCodeCommitのリポジトリでの変更を契機に本番アカウントでパイプラインを実行する構成です。CodeCommitだけ別アカウントで少し変な構成に見えますが、devブランチは開発環境にデプロイ、masterブランチは本番環境にデプロイされるようなケースの本番環境へのデプロイの部分をイメージした構成です。 CodePipeline/CodeBuildはS3に暗号化されたファイルを置くことでアーティファクトをやり取りしています。

やりたいことはタイトルどおり、 AWS ECR上のDockerイメージをpullせずにDockerタグをコピーしたい。 なぜかというと、CIからECSにデプロイするときに、 hoge:current を一旦 hoge:old に退避して、 hoge:latest を hoge:current に上書きしたいみたいなことがあるんだけど、イメージがそこそこサイズがでかいと、一旦 docker pull して docker tag して docker push し直すみたいなのが時間がかかる。 AWSの公式ドキュメント見てたら、やりたいことはdockerコマンドを使わずにaws-cliでできそうだったのでやってみたんだけど、 参考: AWS CLI を使用してイメージにもう一度タグを付ける https://docs.aws.amazon.com/ja_jp/AmazonECR/latest/us

今まで、ECS関連リソースをCloudFormationだけで定義するのは難しかったんですが、今回のアップデートで機密情報受け渡しにCloudFormationが対応しました！ 先日、みんな大好きCloudFormationに、ECSタスク定義において待望のアップデートがやってきました！ Release History - AWS CloudFormation 端的にいうと、ECSのタスク定義で機密情報をSecrets ManagerやParameter Storeをキー指定で取得する方法が、今まではJSONやWebコンソールのみ設定可能だったのが、CloudFormationでも設定可能となったというものです。 AWS::ECS::TaskDefinition In the ContainerDefinition property type, use the ResourceRequir

Apple仕様のHTTP Live Streaming（HLS）をアダプティブ配信する環境をAWS（Amazon Elastic Transcoder→S3→CloudFront）で構築して、配信最適化できるか試してみた。 ※Akamaiでの配信方法は以下 動画配信技術 その1 - HTTP Live Streaming(HLS) - Akamai Japan Blog 動画配信技術 その3 - Universal Streaming(HDS/HLS) - Akamai Japan Blog HTTP Live Streamingとは、容量の大きい動画ファイルを10秒ごとに分割して、読み込みながらでも再生できる。特別なストリーミングサーバを必要とせず、通常のWEBサーバで配信ができるのも利点。iOS、Androidともに対応端末が幅広い。 Apple公式の資料 「特別なサーバソフトを使用し

Amazon Web Services ブログ [AWS Black Belt Online Seminar] AWS re:Invent 2019アップデート速報 資料公開 先日 (2019/12/06) 開催しました AWS Black Belt Online Seminar「AWS re:Invent 2019アップデート速報」の資料を公開しました。 20191206 AWS Black Belt Online Seminar AWS re:Invent 2019 アップデート速報 AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） ＜ラスベガスでのライブ配信の裏側＞ 今回の Black Belt は遠い海外はアメリカのネバダ州、ラスベガスからのライブ配信でした。日本で配信するときは AWS Webinar チームがサポートするのですが、ラスベガスでは SA 小林が

はじめに 先日開催された Mercari Tech Conf 2018 にて発表されたマイクロサービスアーキテクチャの話に触発されてgRPCをさわってみました。また、マイクロサービスといえば...で思い出して、まだ試していなかったECSのServiceDiscoveryもさわってみました。 用語の説明 gRPCとは、Googleが開発したOSSで、RPC(Remote Procedure Call)をモダンに使えるようにしたフレームワークです。特徴としては、http/2ベースで様々な通信方法をサポートしており、多数のプログラミング言語に対応したライブラリとprotocol buffersをインターフェイス定義言語として用いることで異なるプログラミング言語間のサービスでも使うことができます。この他にも数多くの機能があるようです。 ServiceDiscoveryとは、動的に増えたり減ったりす

TL;DR AWS SageMakerにおいて、TensorFlow+Kerasで作成した独自モデルをScript Modeのトレーニングジョブとして実行します。 トレーニングジョブ用のDockerイメージについてはSageMakerが提供するイメージをそのまま利用します。このため、独自のイメージをビルドする必要はありません。 さらに、SageMaker組み込みのハイパーパラメータの自動調整機能を利用して、ハイパーパラメータの自動的な探索を行います。 なお、トレーニングしたモデルをデプロイしたエンドポイントの作成は行いません。学習済みモデルはSageMakerの機能としてでは無く、モデルをロードして直接利用します。 SageMakerのトレーニングジョブとは SageMakerのトレーニングジョブでは、Pythonスクリプトとしてモデルの作成と学習の実行を記述し、それをトレーニングジョブ用

これは初老丸Advent Calendar 2017の15日目の記事です。 S3トリガーのLambda 皆さんLambda使ってますか？Lambdaいいですよね！ 特にS3をトリガーに使うと、外部からの処理開始の契機はS3にファイル置くだけだし、どんどん置いていったら適当に並列にLambdaが呼ばれてスケールするしで性能のことも何も考えなくていいので最高です(たぶん)。 ただ、ちょっと注意点もあります。それは、「S3のイベント発火はたまに抜けが出る」という問題です。公式ドキュメントのどこに書いてあるかは探しきれてませんが、実際結構抜けます。 例 ここでは例として以下のようなアーキテクチャを考えます。 適当なバケットを作って、そこにファイルが置かれたらLambdaが起動する 起動したLambdaはそのファイルを処理する 処理が終わったらそのファイルを同じバケット内の「bak」というフォルダに

ほな、ここから、Cloud Mapの各リソースを解説していきます。 （　ﾟ Дﾟ） 　　ｲﾀﾀﾞｷﾏｽ ( つ旦O と＿)_) 名前空間の作成とインスタンス検出方法の解説 AWS Cloud MapのWebコンソールにアクセスし、「名前空間の作成」ボタンをクリックします。 名前空間の作成時重要なのが、サービスインスタンスの検出方法の違い。最初にここを完全に把握しておく必要があります。 API呼び出し（API calls） サービスインスタンスの検出をAPIコールのみで実施します。具体的に利用するAPIはDiscoverInstancesで、ヘルスステータスやサービス名でのサービスインスタンス検出が可能です。 aws servicediscovery create-http-namespace --name hamako9999.com API呼び出しとVPCのDNSクエリ（API call

Amazon Web Services ブログ [AWS Black Belt Online Seminar] AWS re:Invent 2018 アップデート速報 資料及び QA 公開 先日 (2018/11/30) 開催しました AWS Black Belt Online Seminar「AWS re:Invent 2018 アップデート速報」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 【12/5 最新版】AWS Black Belt Online Seminar AWS re:Invent 2018 アップデート情報 AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. Transit Gatewayが出たことによってvpc peeringは不要になりますか？ A. 不要にはなりません。Transit Gate

AWS News Blog New – CloudFormation Drift Detection AWS CloudFormation supports you in your efforts to implement Infrastructure as Code (IaC). You can use a template to define the desired AWS resource configuration, and then use it to launch a CloudFormation stack. The stack contains the set of resources defined in the template, configured as specified. When you need to make a change to the configu

「せっかく、EC2インスタンスを気にしなくてよいFargateなんだから、もっとバッチ処理で気軽に使いたいよね」 そんなハマコーの一日千秋の想いが届いたのか突如として、Fargateにごついアップデートが舞い降りました。 AWS Fargate Now Supports Time and Event-Based Task Scheduling 今まで、「AWS Lambdaでは、ライブラリや実行時間に制限があって使いにくい」けど「AWS Batch使うには荷が重い」的なユースケースにバッチリハマる機能だと思うので、全国のコンテナファンは今すぐ使ってみると良いと思います。 Fargateきたか…!! ( ﾟдﾟ)　ｶﾞﾀｯ /　　 ヾ ＿_L| /￣￣￣/＿ ＼/　　　/ タスクのスケジュール機能とは ECSクラスター内に存在するタスクを、スケジュールに則り実行する機能です。 構造的に、EC

日本からre:Inventを眺めていた雑感です。速報で2つほど新サービスに対しての感想をまとめていますが、今回は全体的なトレンドに対して今考えている事です。今回は1行じゃないですよ。 サービス展開の方向は、全方位的 サービスの展開方向としては、去年と変わらないような気がします。他のクラウド（Google, Azure）に対して弱かった部分をきっちりキャッチアップし、伸びている分野（AI・機械学習）のラインナップを増やしていく。そして、サードパーティが提供している機能に対して、一定以上の規模が出てくると（買収 or 自社開発で）サービス化する。いわゆるサードパーティ殺し。 そんな中で提供されているサービスの作り方／インフラ的な部分を見てみると、コンテナとサーバレス（lambda）を使った物が多いです。AWS自身がコンテナとサーバレスを活用することで、開発を加速しサービスをスケールしやすくして

昨日のAWSの新サービス群に対する一行所感に続き、二回目です。タイトル通り一行じゃないのは、書いてる時の気分の問題です。 AWS Serverless Application Repository Serverlessアプリケーション版のGithub。SAM形式で作ってたら公開可能。限定公開とか一般公開とか出来る 。とりあえず9割の人が利用者側にまわるサービスかな。 aws.amazon.com AWS Cloud9 2016年にAWSに買収されたオンラインIDEのCloud9。１年の雌伏の時を経てAWSのサービスとして登場。ペアプロとかも出来る。ちなみにCloud nineというのは、至福という意味 aws.amazon.com Amazon EC2用スプレッドプレイスメントグループ 従来のプレイスメントグループに、機能拡張。今までは、ネットワーク的に近くという目的だったが、今度は物理的