note の Aurora MySQL を v2 から v3 へアップグレードしました｜tic40
note ではメインデータベースとして Aurora MySQL を採用し、日々発生する膨大なトラフィックを処理しています。Aurora MySQL v2 (MySQL 5.7 互換) の標準サポートは2024/10/31 に終了するため、これを機に v3 (MySQL 8.0 互換) へのアップグレードを行いました。 アップグレードは無事に完了しましたが、いくつかの問題にも直面しました。これらを共有することで、これからアップグレードを検討している方へ参考になればと思います。 事前に検討した課題アップグレード後に致命的な問題が起きたらどうするかv3 へのアップグレード後に v2 へ切り戻すことは容易ではなく、スナップショットなどからの復元が必要になります。データをロールバックすることになるため、ユーザ影響が極めて大きく避けたい事態です。 そのため、基本的に切り戻しはできないという前提でアッ
プライベートも含めあらゆるS3バケットのAWSアカウントIDを突き止める方法が開発される
パブリック・プライベートを問わず、AWSのストレージサービスであるS3のバケット名からアカウントIDを突き止める方法をセキュリティ企業「Tracebit」のCTOであるサム・コックス氏が公開しました。 How to find the AWS Account ID of any S3 Bucket https://tracebit.com/blog/2024/02/finding-aws-account-id-of-any-s3-bucket/ コックス氏の方法はS3のVPCエンドポイントを使用することでVPCエンドポイントポリシーを適用するのがポイントとのこと。ポリシーで「アカウントIDが1で始める場合のみ許可」などアカウントIDに基づいて許可を行う事で、ポリシーレベルでの拒否が発生するかどうかをチェックします。 具体的な方法は下記の通り。 まず最初にターゲットとなるバケットのリージョンを
AWS Snowball（セキュアなペタバイト規模のデータ転送）| AWS
インターネット接続がない厳しい条件下にあるエッジ環境でアプリケーションのパフォーマンスを加速し、接続がほとんどないか、まったくない状態でコンピューティングワークロードを実行します。 Snowball の頑丈なシャーシ、統合されたロジスティクス、改ざん防止ボックスを使用して転送中のデータを保護し、データを適切な場所に迅速に移動します。 AWS Snow ファミリーコンソールで、Snowball Edge Compute Optimized または Snowball Edge Storage Optimized のいずれかを優先デバイスに選択します。Simple Storage Service (Amazon S3) バケットを使用してジョブを作成し、追跡用に Amazon Simple Notification Service (Amazon SNS) を選択して、Amazon EC2 AMI
Amazon S3 now supports enabling S3 Object Lock on existing buckets
Amazon S3 now allows you to enable S3 Object Lock for existing buckets with just a few clicks and to enable S3 Replication for buckets using S3 Object Lock. These improvements make it even easier to adopt S3 Object Lock, which protects objects from being overwritten or deleted. S3 Object Lock makes objects immutable for a fixed amount of time by assigning a Retain Until Date or indefinitely by app
「Datadog入れてみたらAWSの料金が爆発した話」@ゆるSRE勉強会 #1
ゆるSRE勉強会 #1 でお話しさせて頂いたLTの資料です！ https://yuru-sre.connpass.com/event/292063/
Local write forwarding with Amazon Aurora | Amazon Web Services
AWS Database Blog Local write forwarding with Amazon Aurora Applications designed in the cloud need to be able to scale. For stateless resources like application servers, this is a straightforward task and can be achieved by simply adding additional compute resources behind a load balancer. For stateful resources such as databases, scaling can be more challenging. With the release of Amazon Aurora
[アップデート] Amazon Aurora MySQL でリードレプリカの書き込み転送機能がサポートされたので使ってみた | DevelopersIO
[アップデート] Amazon Aurora MySQL でリードレプリカの書き込み転送機能がサポートされたので使ってみた いわさです。 Aurora グローバルデータベースでは書き込み転送機能があります。 リーダーエンドポイントのみのセカンダリリージョンで書き込み操作を行うと、プライマリリージョンへ書き込みを転送してくれる機能です。 このグローバルデータベースでサポートされていた機能が単一リージョンの Aurora クラスターでも利用できるようになりました。 この機能を有効化することで、クライアントからリードレプリカに対して書き込み操作を行った場合に、リーダーインスタンスがライターインスタンスに書き込み操作を転送してくれます。 従来リードレプリカを導入する場合はクライアントアプリケーション側でライターエンドポイントとリーダーエンドポイントを管理しなければいけませんでした。 いくつか制限事
![[アップデート] Amazon Aurora MySQL でリードレプリカの書き込み転送機能がサポートされたので使ってみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/0daaf3649414b6f27679779d9a4b12e219c67548/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Famazon-aurora.png)
AMIとEBS、スナップショットの関係がよくわかっていなかった話 - endokのブログ
AWSの話。 AWS使っている方であれば当たり前に理解している話かと思います。 AMIとEBS インスタンス起動時にAMIが読み込まれ、 EBSは追加データを保存する場所なのかなと思っていたのだけど、 どこからどこまでがEBSに保存されるんだ？などどいまいち腑に落ちていなかった。 で、ちゃんと調べてみたところ、 Amazon マシンイメージ（AMI）は、ソフトウェア構成（オペレーティングシステム、アプリケーションサーバー、アプリケーションなど）を記録したテンプレートです。AMI から、クラウドで仮想サーバーとして実行される AMI のコピーであるインスタンスを起動します。 (http://docs.aws.amazon.com/ja_jp/AWSEC2/latest/UserGuide/ec2-instances-and-amis.html) AMI には次が含まれています。 インスタンス
高速 DDL を使用して Amazon Aurora のテーブルを変更する - Amazon Aurora
Amazon Aurora には、ほぼ瞬時に所定の位置で ALTER TABLE オペレーションを実行するための最適化が含まれています。このオペレーションを実行するために、テーブルをコピーする必要はありません。また、他の DML ステートメントに実質的な影響を及ぼすことなく実行できます。このオペレーションは、テーブルのコピーにテンポラリストレージを使用しないため、スモールインスタンスクラスの大きなテーブルに対しても、DDL ステートメントを使用できます。 Aurora MySQL バージョン 3 は、インスタント DDL と呼ばれる MySQL 8.0 の特徴と互換性があります。Aurora MySQL バージョン 2 では、高速 DDL と呼ばれる異なる実装が使用されています。 DDL オペレーションの効率性を向上するため Aurora MySQL バージョン 3 によって実行される最適
Amazon S3のイベント通知は「稀に失われる」から「少なくとも1回配信」になっていました | DevelopersIO
こんにちは。サービス部の武田です。Amazon S3 イベント通知は、以前は「稀に失われる」と書かれていましたが現在は「少なくとも1回配信」となっています。ドキュメントの更新履歴を追ってみました。 こんにちは。サービス部の武田です。 AWSではサービスのアップデートなどによって、それまでの常識やベストプラクティスは日々変化します。Amazon S3には イベント通知 という機能があり、オブジェクト作成や削除などをトリガーとして、Lambda関数などを実行できます。 さてこのイベント通知ですが、「たまに抜けることがある」という仕様上の注意がかつて存在しており、頭を抱えた開発者も多いのではないでしょうか。とはいえそれが常識でした。「かつて」と書いたように、実は現在の仕様ではその部分は削除され、代わりに At least once（少なくとも1回配信） となっています。 最近まで知らなかったので
S3料金の調べ方 - サーバーワークスエンジニアブログ
AWSアカウントのS3の料金を AWS Cost Explorer と Amazon S3 Storage Lensを使って分析してみました。 まずはCost Explorerで確認 どのサービスが高いか S3のどの料金タイプが高いか どのリクエストが高いか どのバケットが高いのか S3 Storage Lensも使ってみよう 無料機能でストレージサイズ分析 有料機能でアクティビティ分析 まとめ まずはCost Explorerで確認 AWSアカウントの管理を任されたら、Cost Explorerを見るのはオススメです。任された当初は、そのアカウント上で何が動いているのか、何にコストがかかっているのかも不明だったりしますが、Cost Explorerをみるとある程度の把握ができます。 どのサービスが高いか まずはCost Explorerでデフォルトの設定で見てみます。 グループ化の条件
https://kusano-k.hatenablog.com/entry/2022/01/27/004517
追記: 無料にならなそう。後半を参照。 Amazon Simple Storage Service。 ファイル（オブジェクト）を保存したり、配信したりできるクラウドサービス。 料金は細かく設定されていて、リクエストや転送帯域に関しても課金される。 タイトルで「ストレージ料金」と言っているのは、それらを全部ひっくるめた料金ではなく、狭義の、オブジェクトを保存していることに対して毎月掛かる料金。 最も安いS3 Glacier Deep Archiveでも、0.002USD/GB/月（東京リージョン、2022年1月現在）掛かる。 一見とても安く思えるが、例えば100 TBを10年保存しようと思うと、24,576ドル、約300万円にもなってしまう。 オブジェクトを保存したり取り出したりするときに金が掛かるのは諦めるとして、この保存に掛かる料金を無料にしたい。 はい。 ファイルサイズが0バイトなので
AWSアンチパターン集 AWS Expert Online 19
[レポート] AWS Data Exchange：クラウドでサードパーティのデータを簡単に見つけて購読する #ANT238 #reinvent | DevelopersIO (classmethod.jp)
グーグルの追撃に焦るアマゾンAWS、「新たな戦略」を検討中（Forbes JAPAN） - Yahoo!ニュース
アマゾンのクラウド部門AWSのCEOを務めるアダム・セリプスキーは11月18日、ブルームバーグ・テレビジョンのインタビューで、同社が業界ごとのニーズに特化したサービスを計画中であることを明かし、通信やヘルスケア、自動車などの業界向けのソリューションの開発に着手したと述べた。 「自分たちが反乱軍であるかのように行動し続けることが重要だ」と、セリプスキーは述べている。「世界は大きく変化しており、当社はこれまでとは違う存在になる必要がある。過去に何をやったかは重要ではない」 セリプスキーがAWSのトップに就任する前に、同社のクラウド部門を率いていたアンディ・ジャシーは、顧客のためにサービスをカスタマイズすることを避けていた。 セリプスキーの今回の発言は、同社が戦略を再考していることを意味し、同社がこの分野の反乱軍であるグーグルクラウドに主要な案件を奪われることを懸念している可能性を示唆している。
AWSアカウントを作ったら最初にやるべきこと 〜2021年版〜 #devio2021 | DevelopersIO
ログ・モニタリングのやるべきこと AWS CloudTrail の設定 CloudTrail は AWS リソースを「誰が」「いつ」「何に」対して「どうような」操作をしたのかを記録するサービスです。 ログの長期保管の設定をしておくことで、トラブル発生時の解析等に利用できます。 有料です（無料利用枠もあります） [YouTube] AWS CloudTrailを触ってみた CloudTrail Insights を利用することで、機械学習により異常なアクティビティを検出することもできます。 ログは S3 と CloudWatch Logs に転送でき、S3 に保管しているログは Athena により検索することもできます。 Athena を利用する場合は、事前に CloudTrail 用のテーブルを作成しておき、検索方法を習熟しておきましょう。 インシデントが発生してから習熟では対応が遅くな
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - donnemartin/saws: A supercharged AWS command line interface (CLI).
認知負荷って何_を知った上で再考する_CloudFormationからCDKへの移行
EC2インスタンスタイプの意味と特徴の覚え方
AWS ソリューションで車輪の再発明をしない生活
AWS Database Migration Service（最小限のダウンタイムでデータベースを移行）| AWS