AWS RDSのトリガー作成が本番環境のみ失敗する罠を見つけた - SO Technologies 開発者ブログ
こんにちは、ライクル事業部 エンジニアの菊池@kichionです 去年(2021年)からフロントエンド環境の立ち上げを行い、現在はバックエンドに戻ってきて技術負債の解消などを中心にシステム改善を行っています 現在システムのリプレイスなどでデータ設計から見直すこともあり、イベントデータをRDB(MySQL)のトリガーで生成しようと取り組んでいたところで罠のようなAWS RDSの仕様に引っかかってしまったのでその内容を紹介します 前提 AWS RDS(MySQL) バックアップ 事件 調査 原因 解決 検証 まとめ 前提 AWS RDS(MySQL) AWSで使えるRDBサービスです ライクルではデータベースエンジンでMySQL（Auroraではない）を利用しています 記事を書いている時点ではver 5.7.33を利用しています バックアップ AWS RDSではいくつかバックアップ方式がありま
改元はどのように RDS で実行されている MySQL 互換エンジンに影響を与えるか | Amazon Web Services
Amazon Web Services ブログ 改元はどのように RDS で実行されている MySQL 互換エンジンに影響を与えるか RDSもしあなたのソフトウェアやシステムが日本のお客様をサポートしており、さらにそのソフトウェアやシステムが元号を表示する必要がある場合、新しい元号を表示するように改修の必要があるかもしれません。新しい元号は、現在の天皇陛下が退位される 2019 年 5 月 1 日から有効になります。 このブログ記事では、かかる元号の変更(改元)にかかわる背景について説明し、その後、どのように改元の影響を調べるかを、私が RDS で実行される MySQL 互換のデータベースエンジンについて調査した際の方法を元に、詳しく解説します。またその調査の結果、RDS で実行される MySQL 互換のデータベースエンジンは改元の影響を受けない、という結果を得たことを報告します。 改元に
RDS for PostgreSQLのログ設定まとめ | DevelopersIO
こんにちは、虎塚です。 前回は、RDSでのDBアクセスログの管理方法をご紹介しました。今回はもう少し踏み込んで、RDS for PostgreSQLを対象に具体的なログ関連の設定項目についてまとめました。 DBログの取得/運用についての設計をするにあたり、大切なのは「ログの利用目的」です。一方、どんなことを決めてDBの設定に落とす必要があるかを、設定項目からボトムアップで見てみるのも、DBMSを理解する上ではよいかと思います。 DBログ設定の項目を検討する前の前提知識 RDSでは、DBの設定項目をパラメータグループで設定します。ひとつひとつの項目を確認する前に、知っておいたほうがよいことを紹介します。 engine-default値の意味 パタメータグループには、engine-defaultと表示されている設定項目があります。 値が「engine-default」になっている設定項目には、
Airbnbのメインデータベースをどうやって2週間で分割したか | POSTD
スケーリング＝時速160㎞で走行しながら自動車の全ての部品を取り替えること －Mike Krieger Instagramの共同設立者＠ Airbnb OpenAir 2015 Airbnbのピーク時のアクセス数は、毎年夏のピーク時で見ると年率3.5倍で増加しています。 2015年夏の旅行シーズンを前に、Airbnbの基盤チームは、夏季のアクセスで予想されるデータ通信量に対処するため、データベースのスケーリングで忙殺されていました。中でも特に全体への影響が大きかったプロジェクトが、特定のテーブルを、アプリケーションの機能に従ってそれぞれのデータベースに分割することを目的としたプロジェクトでした。これは通常、アプリケーション層のフォームの変更やデータ移行、データの整合性を保証する堅牢性テストなど、最小限のダウンタイムで多大な技術的投資を必要とするものです。何週間もかかるエンジニアリング時間
Bashワンライナーで、MySQLのSHOW STATUSからmy.cnfのパラメーター参考を生成する - Qiita
Bashワンライナーで、MySQLのSHOW STATUSからmy.cnfのパラメーター参考を生成するMySQLRDSmariadbAmazonRDS ワンライナーでMySQLのSHOW STATUSからmy.cnfのパラメーター参考を生成 sshシェルとか取れない環境などで、参考にコンフィグレーションファイルが欲しいとか思うことがあるわけです。 どういうわけか、つまりはAmazon RDSとかいうわけですが・・・。 まぁ、mysqlを結構使う人にとっては当たり前なのかもしれませんね。 mysql -u root -p -h 127.0.0.1 -A -NBe 'SHOW VARIABLES' | sed 's,\t,^=,' | column -ts^ | tr "\n" '@' | eval $(echo "sed '" "s,@\("{a..z}"\),\n\n\1,;" "'")
AWS News Blog
In the Works – AWS Region in Malaysia We launched an AWS Region in Australia earlier this year, four more (Switzerland, Spain, the United Arab Emirates, and India) in 2022, and are working on regions in Canada, Israel, New Zealand, and Thailand. All told, we now have 99 Availability Zones spread across 31 geographic regions. Malaysia in the Works Today I am happy […] New – Amazon Lightsail for Res
AWS News Blog
Amazon SageMaker Geospatial Capabilities Now Generally Available with Security Updates and More Use Case Samples At AWS re:Invent 2022, we previewed Amazon SageMaker geospatial capabilities, allowing data scientists and machine learning (ML) engineers to build, train, and deploy ML models using geospatial data. Geospatial ML with Amazon SageMaker supports access to readily available geospatial dat
AWS News Blog
Amazon SageMaker Geospatial Capabilities Now Generally Available with Security Updates and More Use Case Samples At AWS re:Invent 2022, we previewed Amazon SageMaker geospatial capabilities, allowing data scientists and machine learning (ML) engineers to build, train, and deploy ML models using geospatial data. Geospatial ML with Amazon SageMaker supports access to readily available geospatial dat
RDS : Storage容量の内訳について - aws memo
RDSは、起動時および停止中にストレージサイズを変更可能。 ストレージの空き状況も、CloudWatchのFreeStorageSpaceで確認可能。 では、Storageには何がはいっているのか？ https://forums.aws.amazon.com/thread.jspa?threadID=75508 The storage space used by your instance does not include the MySQL or Oracle binaries, but does include the databases, innodb log files, binlogs, and the InnoDB tablespace (ibdata1, which grows automatically) and log files which are usually sm
RDS: Provisioned IOPS (PIOPS)の性能について覚書き - aws memo
EBSでのProvisioned IOPS (以下 PIOPS) が出て、しばらくして RDSでも PIOPSに対応した。その後、RDSのIOPS上限が10,000から30,000に引き上げられた。 Amazon Web Services ブログ: 【AWS発表】Amazon RDS がスケールアップ! 3 TB、30,000 PIOPSまで拡張可能に され、これでRDSでIOPS30,000の性能が出る！とおもいきや、落とし穴（注意書き）が。 Factors That Affect Realized IOPS Rates 実際に出るIOPSは、ページサイズとネットワーク帯域に依存する。ページサイズはDBエンジン毎にきまっている。IOPSはDBインスタンスサイズやDBの負荷パターンにも影響をウケる。 DB EnginePage SizeMaximum IOPS Rate MySQL 16
AWS News Blog
Add your Ruby gems to AWS CodeArtifact Ruby developers can now use AWS CodeArtifact to securely store and retrieve their gems. CodeArtifact integrates with standard developer tools like gem and bundler. Applications often use numerous packages to speed up development by providing reusable code for common tasks like network access, cryptography, or data manipulation. Developers also embed SDKs–such
Amazon RDS: 3.5 years, 3 Engines, 9 Regions, 50+ Features and Tens of Thousands of Customers | Amazon Web Services
AWS News Blog Amazon RDS: 3.5 years, 3 Engines, 9 Regions, 50+ Features and Tens of Thousands of Customers The Amazon Relational Database Service (RDS) was designed to simplify one of the most complex of all common IT activities: managing and scaling a relational database while providing fast, predictable performance and high availability. RDS in Action In the 3.5 years since we launched Amazon RD
AWS RDS の書き込み性能チューニング : DSAS開発者の部屋
4/25追記: innodb_support_xa=0 はクラッシュ時以外にも binlog と innodb の整合性が取れなくなる問題がありました。 innodb_support_xa と binlog の危ない関係 もご覧ください。 KLab でも最近は AWS を使ったプロジェクトがかなり増えてきました。 AWS で問題になりがちなのが、 RDB の性能が DSAS 環境に比べて低いことです。 DSAS ではバッテリーバックアップ付きのRAID + 非同期レプリケーションを使っているのですが、 RDS では Multi-AZ を使って耐障害性を確保しています。 この違いによって書き込み性能のチューニングのポイントが変わってきます。RAIDカードはデータが書き込みバッファに乗っている間は fsync が高速なのに対して、 Multi-AZ では別のAZにあるブロックデバイスに対して同
AWS News Blog
Announcing Amazon Managed Service for Apache Flink Renamed from Amazon Kinesis Data Analytics Today we are announcing the rename of Amazon Kinesis Data Analytics to Amazon Managed Service for Apache Flink, a fully managed and serverless service for you to build and run real-time streaming applications using Apache Flink. We continue to deliver the same experience in your Flink applications without
AWS News Blog
Amazon SageMaker Geospatial Capabilities Now Generally Available with Security Updates and More Use Case Samples At AWS re:Invent 2022, we previewed Amazon SageMaker geospatial capabilities, allowing data scientists and machine learning (ML) engineers to build, train, and deploy ML models using geospatial data. Geospatial ML with Amazon SageMaker supports access to readily available geospatial dat
AWS News Blog
AWS Week in Review – March 20, 2023 This post is part of our Week in Review series. Check back each week for a quick roundup of interesting news and announcements from AWS! A new week starts, and Spring is almost here! If you’re curious about AWS news from the previous seven days, I got you covered. Last Week’s Launches Here are the […] AWS Chatbot Now Integrates With Microsoft Teams I am pleased
MySQLのDRBD構成におけるネットワーク遅延の影響について - SH2の日記
今さらですが、Amazon RDSのマルチAZデプロイメントについて調べていました。マルチAZデプロイメントとは、独立した電源、空調、ネットワーク、セキュリティを備えた物理的に異なるロケーションに対して同期レプリケーションを行うことで、データベースの耐障害性を高める機能です。AZはAvailability Zoneの略です。 異なるロケーションに対する同期レプリケーションと聞くと、性能が出ないのではないかという懸念がどうしても出てきます。そこで、どの程度性能が落ちるものなのか検証を行いました。なお、すでに実際のAmazon RDSを利用して検証を行った方がいらっしゃいましたので、今回は手元の環境を利用して、ネットワーク遅延やMySQLパラメータと性能との関連性を確認していきたいと思います。 Amazon RDS MYSQL Performance Benchmarking - Cloud
簡単にクラウドでDB(MySQL)環境が使える！Amazon RDSの使い方 - 元RX-7乗りの適当な日々
先日「Amazon RDS」に他ロケーション(Zone)で自動フェイルオーバーできるオプションが追加され、より実用性が高くなりました。また、"AWS Management Console"からの、Amazon RDSの利用がサポートされたことにより、利用の敷居もグッと下がりましたよね。 Amazon RDS – Multi-AZ Deployments For Enhanced Availability & Reliability | AWS News Blog MySQLに自動フェイルオーバー機能を追加したAmazonクラウド。オンラインのままパッチ当てやバックアップも － Publickey AWS Management Console Now Supports the Relational Database Service | AWS News Blog それに伴って、以前私が"@I
Amazonクラウドの大規模障害、そのときに内部で何が起きていたのか？ 日本語での要約
4月21日から23日のあいだ、Foursquare、Quora、Herokuなど多くのサービスに影響を与えたAmazonクラウドの大規模障害。このとき実際にどのような障害が発生していて、どう対応したのか、詳しい日本語での資料がAmazonから公開されています。 この資料は非常に詳細に記されているため、短時間で内容を把握できるものではありません。そこで本記事では資料からポイントを引用し、要約してみました。 以下からの記事はあくまで独自に内容を要約したものです。正確な情報は原文をご覧ください。 今回発生した障害とは何だったのか？ 今回発生した障害を手短にまとめると、米国東 (US East) リージョンにおける一部のアベイラビリティゾーンにおいて、Amazon Elastic Block Store (EBS) で読み込み、書き込み操作が行えなくなる、という現象でした。 そして障害の影響は一部
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
conma.me
