Amazon Aurora（PostgreSQL）にてパーティションテーブルを活用した大量データを取り扱うDBの構築と実運用 - ZOZO TECH BLOG
こんにちは、基幹システム部USEDチームの柳瀬です。現在は主にZOZOUSEDで取り扱う商品の価格算出に関するシステムの開発・運用を中心に担当しています。 先日、とある案件でAmazon Aurora上のPostgreSQLに新規でのテーブル作成を伴う機能を開発する機会がありました。そのテーブルは3億件ほどのレコードを格納し、高頻度の参照および日次でのデータ追加が行われるものでした。 大量データを扱ううえでクリアすべき点として「処理速度など性能面での問題が発生しない事」があります。実装にあたってこの問題をクリアするために工夫した際に、パーティションテーブルを活用する事で解決する事ができましたので、その時の経験談をお伝えしたいと思います。 なお、今回の記事ではPostgreSQLを対象に説明しております。パーティションテーブルが実装されている他のRDBMSに関してもある程度は参考にできるかと
あと2時間でElastiCacheのメモリが枯渇！そのときあなたは何をしますか？
突然ですが... あなたは、あるゲームプロジェクトの本番リリース2日前にサーバエンジニアとしてJOINしました。いざリリースを迎えたとき、ElastiCacheのメモリが突然危険域を超え、さらにあと2時間で枯渇しそうな状況になりました。 さて、この状況におかれたあなたは何をしますか？ はじめに モバイルゲームのシステムは新しいイベントをopenするとトラフィックが2倍、3倍、時には普段の10倍以上来ることがあり、トラフィックの変動が非常に大きい特性があります。 新しいゲームのリリース時はより顕著で、想定以上のトラフィックが来ることもしばしばあります。 この記事は、あるゲームプロジェクトの本番リリース時に大規模トラフィックが来た際のサーバトラブルを題材に、 どのような観点で問題を切り分けていったのか、トラブルシュートのプロセス どのような準備(負荷テスト)をしていれば防げるのか という話をし
スロークエリをSlackに通知してみた - Qiita
最近スロークエリをSlackに通知するようにしたので、そのやり方をまとめておきます。Slackに通知したいと思った背景などは以下の記事をご参照ください。 https://qiita.com/yuzoiwasaki/items/d8b56a98822e2b2bb6e7 上の記事で全く技術的なことを書けなかったので、この記事では主に技術の話をします。 スロークエリをSlackに通知する方法 こちらの記事を参考にさせていただきました。ありがとうございます。 https://enomotodev.hatenablog.com/entry/2018/12/12/224648 基本的には上記の記事の内容で事足りたのですが、運用していくうちにいくつか無視したいクエリが出てきました。アプリケーション側でキャッシュしているためそれほど気にする必要がないクエリや、管理画面のLIKE検索などすぐには解決が難しい
Amazon Aurora Serverlessを使い始めてみました(1日経過しての課金結果も) - ヤマムギ
祝！！！ Amazon Aurora ServerlessがGAになりました！ すでに東京リージョンでも使えるようです。 バージニア北部リージョンで作ろうとしていたシステムがあるので、そこで試してみることにしました。 作ろうとしているシステムはこちらです。 Amazon Aurora Serverlessの公式ページ Amazon Aurora ServerlessはAuroraのオンデマンド自動スケーリング構成とのこと。 オンデマンド自動スケーリング構成とは、データベースが自動的に起動、シャットダウン、スケールアップ、スケールダウンされるとのこと。 Amazon Aurora Serverlessの課金体系 Aurora Capacity Unit (ACU) 0.06 USD/1ACU,1時間 ※バージニア北部リージョン料金 コンピューティング、メモリ、をAurora Capacity
小ネタ／Aurora Serverlessのバッファプール（バッファキャッシュ）の動きを見てみた - Qiita
AWS Aurora Serverless が GA 化とともに東京リージョンでの使えるようになりました。 Aurora Serverless MySQL の一般利用が開始（Amazon Web Services ブログ） すでに色々な記事が出ていますが、私はいつもの通りバッファプール（バッファキャッシュ）の挙動について確認してみました。 一時停止→復帰の場合 Aurora Serverless は、クライアントからの接続がない状態で一定時間（設定可能。デフォルトは 5 分間）を経過すると一時停止（pause）状態になります。 一時停止状態で再接続すると、15 ～ 30 秒程度経過後、一時停止時と同じキャパシティユニットのサイズで復帰（resume）するのですが、このときバッファプール（バッファキャッシュ）がどうなるのか確認してみます。 $ mysql -u mkadmin -h test
Aurora Serverless MySQL の一般利用が開始 | Amazon Web Services
Amazon Web Services ブログ Aurora Serverless MySQL の一般利用が開始 クラウド向けに考案、構築され、MySQL や PostgreSQL と互換性のあるカスタムビルドのデータベース、Amazon Aurora については、すでにご存知の方も多かと思われます。また、インスタンスのことを考慮することなくアプリケーションおよびサービスを構築、実行できるサーバーレスをご存知の方も多いかと思われます。この 2 つのサービスは、成長を続ける AWS テクノロジーの一端を担うサービスであり、私たちはこのサービスに積極的に取り組んでいます。昨年の AWS re:Invent では、Aurora Serverless と呼ばれる Aurora の新機能のプレビューが発表されました。本日、Aurora MySQL 向け Aurora Serverless の一般利用
Aurora Serverlessが一般利用可能になったので試してみた | DevelopersIO
AWS re:Invent 2017で発表のあったAurora Serverlessがいよいよ一般利用可能になりました。早速Aurora Serverlessに触って確認してみます。 大栗です。 AWS re:Invent 2017で発表されていたAmazon Aurora Serverlessが一般利用可能になったので、早速試してみました。 Aurora Serverless MySQL Generally Available Aurora Serverless 概要 AWS re:Invent 2017で発表されていたAuroraの新しい形態の動作モードです。 【速報】新しいDBサービスAurora Serverlessが発表されました！ #reinvent AuroraはSQL処理を行うDBインスタンス部分と高可用性な分散ストレージ部分が分離している構成をとっています。Aurora
AuroraのALTER TABLE性能検証とRDS比較 | 外道父の匠
よく、Auroraを採用しました、安定しています、移行してよかったです！とか見かけますけど、 なんで快適なのかをちゃんとわかって使ってんのかこの野郎ッp(｀･ω･´ﾒ)q 俺も全然わかってねぇッ( ･`ω･´) ということで、今回もいい感じに飽きてきたAuroraです。Aurora。少々気になっていた、ALTER TABLE周りについて興味深い数値が取れたので、その共有で御座います候。 MySQL5.6互換 AuroraはMySQL5.6互換というけれど・・・ Q:「MySQL と互換性がある」とはどういう意味ですか? これは、現在お客様が MySQL データベースで使用しているほとんどのコード、アプリケーション、ドライバー、ツールをほとんど、またはまったく変更を加えなくても Aurora で使用できることを意味します。Amazon Aurora データベースエンジンは InnoDB スト
AuroraとRDS MySQL 5.7のsysbench - Qiita
この記事を見て、結果に疑問を持ったので、AuroraとRDS MySQL 5.7のベンチマークを取ってみました。 動作環境 サーバ Aurora 5.6.10a / db.r3.large / SingleAZ MySQL 5.7.10 / db.r3.large / SingleAZ io1 / 100GB / 1000iops 設定はそれぞれ以下を変更 sync_binlog = 0 innodb_flush_log_at_trx_commit = 2 クライアント 4.1.17-22.30.amzn1.x86_64 / c4.2xlarge sysbench 0.4.12 サーバとクライアントはすべて同じAZ 並列数を高くできるように以下の値を増やした max_connections max_prepared_stmt_count nofile テストスクリプト --oltp-tab
最強のDBを求めて、AWSのAuroraとMySQL5.7とGCPのGQLのv1,v2を比較し直してみた - Qiita
もう一度最強のDBを求めて 前回まで MySQL5.7 > Aurora 遅いと噂のGQL > RDS と、上のような結果が出てみたもののどうにも自分で調べておいて検証結果が信用できない。 データ容量と同時接続数を増やしてみてもう一度チャレンジしてみた。 検証方法 sysbench --test=oltp --db-driver=mysql --oltp-table-size=100000000 prepare sysbench --test=oltp --db-driver=mysql --oltp-table-size=100000000 --num-threads=XXX --oltp-read-only=off run 取りあえず手軽に試してみたかったので、sysbenchで実行してみる。 登録データ件数は1億件。容量にして約20GB。 同時接続数を4→8→16→32→64と増やし
AWS×PHPでの 高信頼かつハイパフォーマンスなシステム | CyberAgent Developers Blog
はじめまして。 「ボーイフレンド（仮）きらめき☆ノート」（以降、ボイきら）でサーバサイドエンジニアをしております、伊藤です。今回はAWS（主にAurora周り）とPHPを使用して高信頼性かつハイパフォーマンスなシステムを構築するためのノウハウを共有させて頂きたいと思います。 目次 はじめに キャッシュの話 自動化・自動生成の話 Auroraの話 Zephirの話 おわりに はじめに まずはじめに、ボイきらのサービスとシステムの概要を簡単にご紹介します。 サービスの概要 ボイきらは2016年11月15日にリリースした女性向けリズムゲームです。事前登録は24万人を突破し、リリース後はAppleStoreの無料ランキングで1位を獲得しました。サービスの運用で特徴的なのはリリースが約2ヶ月で以下の5種類の新イベントを計11回も開催していることです。 マラソンイベント レイドイベント ハイスコアイベ
EngineyardからAWSに移設してAuroraの運用を開始した - トレタ開発者ブログ
どうも佐野です。トレタのインフラはEngineyardでワオワオやってたんですが、あの、なんていうのAurora？それを使いたかったわけです。 さて、私が書いた前々回の記事にて、「コア機能のAWS化」を今後のTODOとして挙げていましたが、5/9にEngineyardからAWSへの移設が完了していました。EngineyardはRailsやnodejsなどのWEB-DB環境を簡単に構築できるPaaSです。Herokuとの違いはサーバにsshしたり、chefを利用してFluentdなどのミドルウェアを入れたり、既存のコンフィグレーションをカスタマイズしたりすることができる点が挙げられます。比較的自由度の高いPaaSと言えるでしょう。トレタでは創業〜先月までお世話になりました。 今回は移設とAuroraの運用に関するTipsの紹介になります。なお、本記事に示す設計・運用方針はAWSのソリューショ
Amazon Auroraを始めるためのパラメータ資料 | 外道父の匠
Auroraがそこそこ浸透してきたように感じなくもないですが、そのわりに情報がまだ少なめなのは、それだけ従来のMySQLと変わりなく扱え、性能も十分満足いくものだろう、という証なのでしょうか。 中の人も、パラメータチューニングは済んでいるので、基本的にはスケールアップで対応してください、と申しているように、かなり良い調整がされているようです。しかし、インフラエンジニアというかエセDBAたるもの、何がどう調整されているかを具体的に確認しなくては気がすまないため、整理してみたわけです。 デフォルトの設定 パラメータグループについて Auroraのパラメータは従来と異なり、ノード毎の設定である『DB Parameter Group』と、クラスタ内共通の『DB Cluster Parameter Group』の２つに設定が分かれます。 必要に応じてクラスタの方に、文字コードやレプリケーション周りな
【Aurora】とあるWebサイトのDBをAmazon Auroraに移行してみた | DevelopersIO
はじめに AWSチームのすずきです。 今月（2015年10月）よりAWS東京リージョンで利用可能となった、RDS for Amazon Aurora。 とあるサイトのCMS（WordPress）のバックエンドDBとして稼働していたRDS（mysql）を移行し、 Amazon Auroraの性能の一端を確認できる機会がありましたので、紹介させて頂きます。 概要 RDSのスナップショットより、スナップショットの移行（migrate）を実施しました。 ElasticBeanstalkの機能(クローン、DNSスイッチ）を利用して、RDS（Aurora）参照環境の構築と切替を実施しました。 DBの最終同期として、mysqldumpコマンドによるエクスポート、インポートを行いました。 システム概要図 移行手順 スナップショットの復元 AWSコンソール、RDSのスナップショット画面より復元対象とするRD
Amazon Auroraを真に理解するための性能検証 | 外道父の匠
今回は、まだ全然底が見えていないAuroraのガチンコ検証となります。公式資料に、発表当初の簡単な検証数値もありますが、自分でやらないと理解できない部分が多くあるためです。 既にAuroraにするだけで従来より速くなる説は有力ですが、なぜ速くなるのか、どのような点に注意を払って運用すべきなのか、といったことを理解するために、より局所的な検証をいくつか行って考察していきたいと思います。 目次 楽しい検証になって長くなりましたので、目次を置いておきます。 はじめに クエリのレスポンスタイム クエリキャッシュ CPU利用率とIOPSの性質 データ容量とストレージ性能の関係 インスタンスタイプとストレージ性能の関係 運用面の色々 何がボトルネックになるか はじめに いくつか前提的なものを。 ベンチマークは全て、sysbench を使ってテストデータ作成・ランダム参照／更新クエリを実行しています デ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Loading...
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス![[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス](https://cdn-ak-scissors.b.st-hatena.com/image/square/621590b3c7ee9e3370b81c3dfc99d0d34c4e6c55/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Famazonauroratips-170307140000-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
Amazon Aurora - Auroraの止まらない進化とその中身