2023.01.11 Amazon Aurora MySQLでテーブル再構築を伴う操作をするとテーブルが見えなくなるっぽい 追記:この記事で紹介している現象は、新しいバージョンのAurora MySQLでは修正されているようです。本記事では3.02.2を対象にしている点にご注意ください。 Amazon Aurora MySQLでテーブルの再構築を伴う操作を行うと,Readerインスタンスで瞬間的に対象のテーブルが見えなくなる場合があるので,オペレーションの実行タイミングに気をけましょう,というお話です。再構築を伴う操作には,一部のALTER TABLEやOPTIMIZE TABLEが含まれます。 こんにちは,S.T.です。Amazon Aurora MySQLで少し気になる現象を見かけたので紹介します。この現象を知っていれば回避できるので,クリティカルな影響があるということではないですが,
リーガルテック領域のリーディングカンパニーである株式会社LegalForceが、「検索インフラTechTalk!」を開催しました。インフラ領域の中でも「検索インフラ」にフォーカスした今回は、検索インフラに関する具体的な事例や取り組みについて各スピーカーから発表がありました。野口真吾氏は、AWSを用いたデータレイクの基礎について紹介しました。 企業規模に関係なく起こるデータのサイロ化野口真吾氏(以下、野口):みなさんこんばんは。本日は「検索インフラ Tech Talk!」ということで、検索インフラから少し広げた話題にはなるんですが、「AWSを用いたデータレイクの基礎」というお話をします。よろしくお願いします。 最初に簡単に自己紹介します。アマゾンウェブサービスジャパンでスタートアップ担当のソリューションアーキテクトをしている野口真吾と申します。Twitterでは@nogというIDを使って活動
はじめに 先日お客様よりRedshiftの構成や可用性、耐久性、データの復元などのご質問をいただきましたので 想定される障害についてどのような復旧対応が行われるのかまとめました。 引用はAmazon Redshift のよくある質問の 可用性と耐久性 から引用しています。 ドライブ障害 Q: 1 つのノードのドライブに障害が発生した場合、データウェアハウスクラスターの可用性とデータ耐久性はどうなりますか? Amazon Redshift データウェアハウスクラスターはドライブに障害が発生した場合でも継続して利用できますが、特定のクエリに対するパフォーマンスがわずかに低下します。ドライブに障害が発生すると、ノード内の他のドライブに格納されている障害ドライブのデータの複製が、透過的に使用されます。さらに、データを正常なドライブに移動させるか、移動できない場合はノードの交換が行われます。 単一ノ
CX事業本部@大阪の岩田です。 RDS Proxyを利用するとRDS ProxyにプールされたDB接続を複数のDBクライアントで使い回すことができ、限られたDB接続を効率的に利用することが可能になります。しかし複数のDBクライアントが安全にDB接続を共有できない場合、RDSProxyはコネクションプール内のDB接続を特定のDBクライアントに対して固定してしまいます。これが「ピン留め」と呼ばれる現象で、このピン留めが発生するとRDS Proxyを利用するメリットが失われてしまいます。 このブログでは「ピン留め」を回避するための基本的なパラメータ調整についてご紹介します。 環境 今回利用した環境です こちらのブログとほぼ同様の設定にしてクライアントからの同時接続数が実質1に制限されるようにしています。 RDS for PostgreSQL 11.8-R1 インスタンスクラス db.t3.mic
こちらの記事はRDS ProxyがGAされる前に執筆した記事です。現在はLambdaからRDSを利用する場合、間にRDS Proxyを挟むという選択肢が増えているので、まずはRDS Proxyを使う/使わないの検討をお願いします。以後で紹介しているトピックの一部はRDS Proxy利用時は考え方が変わってきます。 CX事業本部@大阪の岩田です。私が現在関わっているプロジェクトではLambda × RDSというアーキテクチャを採用して開発を進めています。開発を進める中でLambda × RDS(RDB)という構成についてある程度ノウハウが貯まってきたので、注意したいポイントやオススメの設定をTIPS的に紹介していきます。 環境 以後の説明では以下の環境の一部もしくは組み合わせを利用しています。具体的なコードやSQLの例はプログラミング言語やDBエンジンに依存しますが、根底の考え方はどの言語、
Amazon Web Services ブログ RDS データベースに汎用 IOPS またはプロビジョンド IOPS のどちらを使用するかを決定するための CloudWatch メトリクスの使用方法 このブログ記事では、最高のパフォーマンスのミッションクリティカルなデータベースワークロードに対して、IO1 としても知られるプロビジョンド IOPS からメリットを得ることができる機会を把握するために Amazon CloudWatch メトリクスを使用する方法について説明します。まず、バーストを生じない一貫性のある高書き込みワークロードをシミュレートするテストケースをセットアップすることから始めます。今回は、価格とパフォーマンスのバランスを保つ、GP2 ボリュームとしても知られる汎用ストレージを使ったデータベースと、IO1 ボリュームを使ったデータベースのパフォーマンスを比較します。次に
パフォーマンスではAuroraに軍配!? SRA OSS石井達夫氏がPostgreSQL版Auroraを徹底検証 2016年11月、米ラスベガスで開催されたAmazon Web Services(AWS)の年次カンファレンス「AWS re:Invent 2016」の初日、Amazonのアンディ・ジャシーCEOから発表されたいくつものアップデートの中でもとりわけ開発者を熱狂させた発表が、"Amazon Aurora PostgreSQL with Compatibility" ―AWSが誇るクラウドネイティブなデータベースエンジン「Amazon Aurora」にPostgreSQL互換バージョンがプレビューで提供されるというニュースでした。 「AWS reInvent 2016」でプレビュー版として発表されたPostgreSQL互換のAurora。AWSはユーザの要望にもとづいて機能拡張を行
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに AWSのデータベースサービスには多様な選択肢があり、ワークロードに応じて最適なサービスを選択する必要がありますが、一定の知識が無いとどれを選択すべきか分かりません。本記事では、AWS Summit Tokyo 2019 における AWS におけるデータベースの選択指針 - YouTube というセッションをベースに、AWSの各データベースサービスについて概要を理解し、データベース選択のガイドラインを説明したいと思います。 データベースの歴史 リレーショナルデータベース 1970年代後半〜1990年代前半にOracleやDB2(
2012/1/23 updated Apache Cassandraとは? Apache Cassandraは、2007年にAmazonによって発表されたDynamoに関する論文からインスパイアされて開発されたNoSQL分散データベースです。2008年にFacebook社によりオープンソースとして公開されました。スケーラビリティと高可用性を求めている方には適しています。線形の拡張性とフォールトトレラントを備えていて、クラウドやオンプレミス上で構築することができ、ミッションクリティカルなデータを保管することができます。Cassandraは、複数のデータセンターでの稼働をサポートしていて、低いレイテンシーでやり取りを行う事が出来ます。万が一の災害時にも安心です。 Amazon DynamoDBとは? Amazon DynamoDBは、シームレスに拡張ができ、高速で予測可能なパフォーマンスを提供
Data modeling with Amazon DynamoDB 本記事はre:Invent 2019のセッション「CMY304 - Data modeling with Amazon DynamoDB」を 開発者視点で噛み砕いた レポート兼解説記事です。 本記事ではセッション内容を元とした形の感想記事ですので、スピーカーが語っていない個人的な感想が多く含まれています。もしオリジナルの内容に絞った情報を知りたい場合は公式のセッション動画およびスライドの公開をお待ちいただければと思います。 Speaker Alex DeBrie (@alexbdebrie) Serverless Inc.のEngineering Manager, AWS Data Heroの方です。 DynamoDBのことが学べる「DynamoDBGuide」および「DynamoDBBook.com」を執筆されています
AWS 無料利用枠では、25GB のストレージと月間 2 億回までの読み取り/書き込みリクエストを無料で利用可能 DynamoDB では、インフラストラクチャ管理やダウンタイムなしのメンテナンス、あらゆるアプリケーション需要への即時スケーリング、リクエストごとの課金が可能です。コールドスタート、バージョンアップグレード、メンテナンスウィンドウはありません。DynamoDB は完全マネージド型であるため、バックアップ、セキュリティ、コンプライアンス、モニタリングなどの分化されていないデータベース管理タスクに伴う面倒な作業は不要です。グローバルに分散されたアプリケーションの場合、DynamoDB グローバルテーブルはマルチリージョン、マルチアクティブデータベースで、最大 99.999% の可用性を備え、データベースの耐障害性が最高です。マルチリージョンの強力な整合性をサポートしているため、アプ
Amazon Web Services ブログ AWS クラウドへの移行時にデータベースコストを削減して可用性を向上させる ログとクリックストリームのデータを保存するためにデータベーステーブルを使用するアプリケーションがあるとしましょう。開発タスクと管理タスクを容易にするためにリレーショナルデータベースにデータを保存するかもしれません。アプリケーションをカットオーバーすると、初めのうちはこのデータベースも管理可能ですが、データベースは毎週何百ギガバイトにも成長します。データの保存と取得だけでも、リレーショナルデータベースインスタンスの IOPS と CPU の 20 パーセントが消費されています。さらに、アプリケーションはトランザクションデータに加えて、データベーステーブルに XML ドキュメント、JSON ドキュメント、およびバイナリドキュメントも保存しています。履歴データも毎月増加し続
Amazon Web Services ブログ Amazon DynamoDB がニーズに合うかどうかを判断し、移行を計画する方法 AWS CTO のワーナー・ヴォゲルスは、AWS の仕事は「企業の痛みを管理すること」だという冗談を言うことがよくあります。これは、AWS のお客様が直面する IT 面での課題の大半における本質を突く言葉です。「お客様に最大のメリットをもたらすことができるのはどこか」と呼び掛けるだけで、しばしばデータベースと関連するライセンス費用、パフォーマンスとスケーラビリティの管理、そして専門的なデータベース管理者の人件費に関する話し合いが始まります。Amazon DynamoDB などの完全マネージド型の NoSQL データベースサービスは、これらの課題に対応し、多くのメリットをもたらします。 このブログ記事では、お使いのアプリケーションに対するデータベースサービスの候
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く