DMSを使って非暗号化RDS MySQLから暗号化Auroraに無停止で移行する - yoshidashingo
セクションナイン の 吉田真吾（@yoshidashingo）です。 DB無停止移行は人類の夢 利用する特徴 手順 移行元データベース(MySQL) 中間データベース(Aurora Read Replica) 移行先データベース(暗号化済みAurora) DMS ソース／ターゲットデータベースに接続する タスクを作成して実行する 継続レプリされているか確認する アプリ切替 移行元にデータを書き込む まとめ 参考 DB無停止移行は人類の夢 暗号化していないRDS MySQLから暗号化済みのAuroraに移行したいけど、スナップショットの復元でもAurora Read Replicaのマスター昇格でも一発ではリソース暗号化ができませんが、そんなときに便利なのがDatabase Migration Service(DMS)です。 DMSを使えばどちらかがリソース暗号化されたデータベースであっても
Updates on Netflix’s Container Management Platform
We continue to share lessons learned from scheduling and executing containers in production at scale. This blog posts summarizes not only recent publications on our container management platform (Project Titus) but also future collaboration opportunities. TitusPublications We were honored when the Association for Computing Machinery (ACM) asked for us to write for their bimonthly ACM Queue publica
ECSのオートスケール戦略 - Carpe Diem
概要 ECSはコンテナのスケールアウトとインスタンスのスケールアウトのタイミングが重要です。 よく起きる問題としては インスタンスのスケールアウトが遅くてコンテナのスケールアウトも遅くなってしまう しきい値が不適切でインスタンスがスケールアウトせず、コンテナがスケールアウトしたくてもできない で、こういった事が起きないようにしないといけません。 スケールアウトの方針 対象 方針 インスタンス インスタンスの空きリソースがコンテナ１台分だけの状態がｎ分間続いたら コンテナ コンテナの使用率がｎ%を超えたら インスタンスはもう１台もコンテナを追加するリソースがない状況になったら早めにスケールアウトします。 コンテナは一般的なやり方で使用率が高くなったらスケールアウトすればOKです。 スケールインの方針 対象 方針 インスタンス コンテナがｎ分間ずっと１台を下回ったら コンテナ コンテナの使用率
[新機能] VPCのCIDRが拡張可能になりました！IPアドレス範囲を追加可能です！ | DevelopersIO
こんにちは、菊池です。 衝撃の新機能です。VPCに割り当てるCIDRが拡張可能になりました！ Amazon Virtual Private Cloud (VPC) now allows customers to expand their existing VPCs 「一度作成したVPCのCIDRは変更できない」という常識は過去のものになりました。この新機能によりVPCがスケール可能になりますので、EC2、RDS、ELBといったVPC内リソースが想定以上に拡張していくケースにも対応できます。また、あらかじめ作成時に巨大なCIDRを確保する、といったことも必要なくなることでしょう。 VPC CIDRの拡張 VPC作成時に割り当てるCIDRブロックがプライマリCIDRとなり、あとからセカンダリCIDRを追加可能になりました。 Associating a Secondary IPv4 CIDR B
![[新機能] VPCのCIDRが拡張可能になりました！IPアドレス範囲を追加可能です！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/026481057cd247fef939d3239aad6803635d4324/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FAmazon_VPC.png)
A better solution to ECS AutoScaling
Update: It seems this blog post was the trigger for AWS to build their own solution. Since CapacityProviders are released I recommend to use them instead. Have a look into Nick Coulton’s deep dive to understand how they work. In a previous blog post, I showed you how an ECS cluster can automatically scale by using the built-in CloudWatch metrics. While this works very well when you scale out, it i
[新機能] Amazon CloudWatch EventsのInput Transformerを試してみた | DevelopersIO
こんにちは、菊池です。 先日のアップデートで、CloudWatch Eventsでターゲットに送信する入力値を変換することができるようになりました。 Amazon CloudWatch Events now supports input transformation of events この機能により、ターゲットに渡す入力値を、目的に合わせてあらかじめ変換しておくことが可能になります。 やってみた 早速試してみました。 今回は、特定のS3バケットにファイルが保存されたことをトリガーに、CloudWatch Eventsを起動してSNSでメール送信してみます。SNSに通知するInputを変換することで、メールの記述をわかりやすく変換してやります。 事前準備 S3バケットへオブジェクトがPUTされたことを通知するためには、あらかじめCloudTrailでデータイベントのロギングを有効化しておく
![[新機能] Amazon CloudWatch EventsのInput Transformerを試してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/733218a332110bfecfa7af8c0ec6179c3fa14b03/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FCloudWatch.png)
ECS を利用したオフラインジョブの実行環境 - クックパッド開発者ブログ
技術部の鈴木 (id:eagletmt) です。 クックパッドでは以前からアプリケーションの実行環境として Docker を利用していましたが、最近は徐々に Amazon EC2 Container Service (ECS) を利用し始めています。 去年の時点での Web アプリケーションのデプロイ手法 *1 や、最近 ECS を利用してどう Web アプリケーションをデプロイしているか *2 については紹介したことがあるので、今回は定期的なバッチ処理やジョブキューを介して非同期に実行されるようなオフラインの処理について、どのような環境を構築しているか紹介したいと思います。 Docker を使う前 Docker を利用し始めるより前から社内では kuroko2 *3 というジョブ管理システムが稼動しており、複数のアプリケーションから利用されていました。 kuroko2 は定期的にジョブを
Submitting User Applications with spark-submit | Amazon Web Services
AWS Big Data Blog Submitting User Applications with spark-submit Francisco Oliveira is a consultant with AWS Professional Services Customers starting their big data journey often ask for guidelines on how to submit user applications to Spark running on Amazon EMR. For example, customers ask for guidelines on how to size memory and compute resources available to their applications and the best reso
AWS初心者向けWebinar AWS上でのDDoS対策
The document provides an overview of an AWS webinar on CloudFormation that will cover: 1) An introduction to CloudFormation and how to get started with it. 2) Development, testing, deployment, and operation methods for CloudFormation. 3) The webinar is intended for those new to CloudFormation or already using it to learn about useful CloudFormation features and efficient automation methods in 2020
AWSのDockerデプロイサービスを比較する | DevelopersIO
項目ごとにコメントしてみます。 Dockerサポート/AMIの制限 EC2インスタンスでは仮想マシンのroot権が握れるので、AMI(Amazon Machine Image)があれば好みのLinuxディストリビューションにDockerをインストールして利用できます。商用サポートを期待するのであれば、CoreOSやRHEL Atomic Hostを検討するのも良いでしょう。 ECSの場合はECSエージェントを実行していれば任意のディストリビューションで良いようですし、ECSエージェント自体Dockerコンテナで実行するので、ほぼ縛りなしと見なしてよいと思います。一方Beanstalkは、専用AMIからの起動が前提になっているのでディストリビューションはAmazon Linux一択です *1。そもそも「Dockerを利用するモチベーションとしてLinux環境に依存したくない」というのもよくあ
【新機能】AWS LambdaにSlack連携のBluePrintが登場。ChatOpsがより手軽に | DevelopersIO
こんにちは、せーのです。今日は普段Slackをお使いの皆様にオススメの新機能をご紹介します。今日ご紹介する機能を使うとSlackを使ってAWSを操作する、所謂「ChatOps」が手軽にできるようになります。 LambdaからSlackへ LambdaのFunctionを選ぶとまず「BluePrint」と呼ばれるナビゲートが出てきます。これはその名の通りLambdaを使って何を書きたいのか、という青写真が書かれているのですが、今回のアップデートでこのBluePrintに「Slack」の連携が登場しました。 Slackとは2014年に正式リリースされたコミュニケーションツールです。数ある社内チャットツールの中でも使い勝手の良さで人気が高いソフトですのでご存じの方も多いかと思います。 今回用意されたBluePirntを使うことでSlackとAWSの連携がより簡単になり、チャットをトリガーに開発や
New – Managed NAT (Network Address Translation) Gateway for AWS | Amazon Web Services
AWS News Blog New – Managed NAT (Network Address Translation) Gateway for AWS You can use Amazon Virtual Private Cloud (Amazon VPC) to create a logically isolated section of the AWS Cloud. Within the VPC, you can define your desired IP address range, create subnets, configure route tables, and so forth. You can also use a virtual private gateway to connect the VPC to your existing on-premises netw
Cognitoを使ったらAndroidアプリプッシュ通知実装にサーバサイドプログラミングが不要になった話 - クックパッド開発者ブログ
こんにちは、id:hogelog（会員事業部 小室）です。 現在自分が開発しているAndroidアプリのプッシュ通知の実装に Amazon Cognito, Amazon SNS, Amazon DynamoDB を使ったらアプリコード（と、AWSの設定）だけで機能が実現できてしまい、予定していたサーバサイド実装がまったく不要となったのでその知見を共有します。 アプリプッシュ通知の要件 今回実装したプッシュ通知の要件は以下です。 プッシュ通知を許可したユーザ全員に共通した内容を一斉通知 通知はバッチプログラムから週に数回程度 年内には一万ユーザぐらいに利用されること目標 GCMトークンはデータストアに記録しておく 将来的にはA/Bテストなどをおこなうことも可能なように 当初はこれらの機能を実現するため、適当なRailsアプリでGCMトークンを受け取ってうまいことあれこれするAPIを実装しよ
ElasticBeanstalk x Docker のベストプラクティスっぽいものまとめ - Qiita
@j5ik2o と ElasticBenstalk(以下 eb)の話を飲み屋でしてたら、案外共有したほうが良さそうなことがあったのでそのために共有です。 前提知識のために読んできて欲しいドキュメント http://docs.aws.amazon.com/ja_jp/elasticbeanstalk/latest/dg/create_deploy_docker_console.html http://docs.aws.amazon.com/ja_jp/elasticbeanstalk/latest/dg/create_deploy_docker_image.html Source Bundle の作り方 Dockerfile と Dockerrun.aws.json ファイルの両方を提供する場合は、イメージに関する情報を Dockerrun.aws.json ファイルに含めないでください。E
td-agent2をAmazon Linuxで実行する | DevelopersIO
ども、大瀧です。 Fluentdディストリビューション Treasure Agent(td-agent2)のAmazon Linuxに対応した最初のリリース、2.2.0が昨日公開されました。EC2でのtd-agent2のインストール方法と、td-agent2に同梱されているWebインターフェースのfluentd-uiの様子をご紹介します。 EC2(Amazon Linux)でのセットアップ手順 公式ドキュメントのインストール手順にある、"RHEL/CentOS 5,6,7"と共通です。ダウンロードされるスクリプト内でYumリポジトリファイルのインポートとtd-agentパッケージのインストールが実行されます。Amazon Linuxでは既定でec2-userユーザーでログインするため、ダウンロードしたスクリプトをsudoコマンドで実行するところに注意します。以下のコマンドを実行します。 c
AWS News Blog
AWS Week in Review – AWS Documentation Updates, Amazon EventBridge is Faster, and More – May 22, 2023 Here are your AWS updates from the previous 7 days. Last week I was in Turin, Italy for CloudConf, a conference I’ve had the pleasure to participate in for the last 10 years. AWS Hero Anahit Pogosova was also there sharing a few serverless tips in front of a full house. Here’s a picture I […] Amaz
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ECSにおける バッチ運用について - Speaker Deck
Docker だらけの FRESH な動画配信プラットフォーム
AWS初心者向けWebinar これで完璧、AWSの運用監視
AWS Elastic BeanstalkのMulti-Container Docker Environmentsおよびebコマンドを使ったデプロイについて
