Amazon Aurora（PostgreSQL）にてパーティションテーブルを活用した大量データを取り扱うDBの構築と実運用 - ZOZO TECH BLOG
こんにちは、基幹システム部USEDチームの柳瀬です。現在は主にZOZOUSEDで取り扱う商品の価格算出に関するシステムの開発・運用を中心に担当しています。 先日、とある案件でAmazon Aurora上のPostgreSQLに新規でのテーブル作成を伴う機能を開発する機会がありました。そのテーブルは3億件ほどのレコードを格納し、高頻度の参照および日次でのデータ追加が行われるものでした。 大量データを扱ううえでクリアすべき点として「処理速度など性能面での問題が発生しない事」があります。実装にあたってこの問題をクリアするために工夫した際に、パーティションテーブルを活用する事で解決する事ができましたので、その時の経験談をお伝えしたいと思います。 なお、今回の記事ではPostgreSQLを対象に説明しております。パーティションテーブルが実装されている他のRDBMSに関してもある程度は参考にできるかと
PostgreSQLのSKIP LOCKEDを使ってテーブルをキューとして使用する - Enjoy*Study
SKIP LOCKED SKIP LOCKED は PostgreSQL 9.5 から入った新機能です。 What’s new in PostgreSQL 9.5 - PostgreSQL wiki PostgreSQL: Documentation: 9.6: SELECT これを使うと、FOR UPDATEの際に別トランザクションによって行ロックが取得されているレコードを除外することができます。すなわち、他のトランザクションによる行ロックが解除されるのを待つ必要がなくなります。 サンプル idというカラムを持つidsというテーブルを作成し、3レコード作成しておきます。 CREATE TABLE ids AS SELECT generate_series(1, 3) AS id; testdb=> CREATE TABLE ids AS SELECT generate_series(1,
Microservice in Python using FastAPI
Creating Microservices with Python Introduction to Microservices Benefits of Microservice Drawbacks of Microservice Why Microservice in Python Introduction to FastAPI Why FastAPI Installing FastAPI Creating Simple REST API using FastAPI Using PostgreSQL Database with FastAPI Microservice Data Management Patterns Database Per Service Shared Database API Composition Creating a Python Microservice in
Row Level Securityはマルチテナントの銀の弾丸になりうるのか / Row Level Security is silver bullet for multitenancy?
builderscon 2019の発表資料です
Heroku と Redash は相性が良いのでは？という話
これは Redash Advent Calendar 2018 の 17 日目の記事です。 16 日目は @mazamachi さんの『kubernetess の redash か黒魔術』ですが、まだ投稿されていないようですね。今回の記事にも関連するので期待してます。 1 日目の『2018年12月現在における Redash のはじめかた 』を拝見しました。実際問題、どこに立てれば良いか、悩む方もいらっしゃるのではないでしょうか。今回はその点をまとめていきます。 Redash をどこに立てれば良いか？# 身も蓋もありませんが、ご自身が一番慣れた Docker の PaaS 上で動かすのが良いと思います。 AWS EC2 や GCE などの、非 Docker 環境は運用負荷がそれなりに発生するため、避けたほうが良いでしょう。アップグレードでハマったり、ストレージ使用量 100% になるのはある
RDBのトラブルの現場を追え！ / rdb-Troubleshooting
そーだいなる DBRE Nightでの登壇資料です https://connpass.com/event/138437/ # 紹介資料 - https://speakerdeck.com/soudai/shi-xing-ji-hua-falsehua - https://www.yout…
PostgreSQLでSQLチューニングや障害状況調査に使ったクエリ達まとめ - $shibayu36->blog;
最近PostgreSQLでSQLチューニングや、DBが詰まった時の状況調査をいろいろやった。その時に便利だったクエリ達をまとめていく。PostgreSQLのバージョンは9.6系です。 SQLチューニングなどに便利だったクエリ達 それ以降に実行するSQLの実行時間を表示する。参考 https://morumoru00.wordpress.com/2011/05/08/postgresql-sql%E5%87%A6%E7%90%86%E6%99%82%E9%96%93%E3%82%92%E8%AA%BF%E3%81%B9%E3%82%8B%EF%BC%88timing/ \timing 実際にクエリを実行して実行計画や実行時間を表示する。クエリが実行されるので破壊的な操作も実行されてしまうことに注意。トランザクション張って最後にROLLBACKしましょう。参考 https://www.post
Heroku Postgres へ AWS Lambda からアクセスする - Qiita
Heroku Postgres へ AWS Lambda からアクセスする こんにちは、@kimihomです。 こちらは Heroku Advent Calendar 2015 の12日目の記事となっております。 弊社は5分でブラウザ電話コールセンターを構築できるCallConnectを Heroku と Ruby on Rails で構築しています。そして AWS Lambda と Heroku Postgres をつないで連携しているので、そのTipsをご紹介します。 AWS Lambda とは Herokuの記事なのであまり深くは説明しませんが、AWS Lambda はあらゆるイベントをトリガにしてお好きなコードを実行できるサービスです。 この"あらゆるイベント"というのがポイントで、例えば画像やJSONをS3にアップロードしたタイミングでメールを送ったり、画像処理をしたりといった処
Pgweb - Cross-platform client for PostgreSQL databases
Pgweb runs on OSX, Linux and Windows operating systems without a hustle. Binaries are cross-complied with Go and available for 32/64 bit systems. You can even run it on RaspberryPi Easy to Install Pgweb comes as a single binary file that's ready to go. You can install it manually, via Docker or using Homebrew on OSX which is updated regularly and is super convenient. Zero Dependencies No need to i
pgModeler - PostgreSQL Database Modeler
After working for four months, we are here to bring you the last alpha release of pgModeler 1.1.0. This version was mainly focused on improving performance on several parts of the tool. A lot of effort was put into refactoring lots of code which led to an amazing (almost unbelievable) result. Basically, pgModeler has improved by ~80% in the database model loading speed, validation, object searchin
PostgresのRDSチューニング - Qiita
Wantedlyは今までRDSを初期設定のまま使っていました。ごめんなさい。 今回ちゃんとチューニングしてみたのでやってみた過程と結果を書きます。 ちなみにWantedlyはDBを幾つか持っていて、その中のDBの一つの最適化結果です。 NewRelic での測定の結果、平均31ms ぐらいかかっていたのが、 平均23ms ぐらいになっているので25％ぐらいの改善になりました。 インスタンスタイプ 使っているDBのインスタンスタイプです モデル: r3.4xlarge vCPU: 16 メモリ: 122GB SSDストレージ: 1 x 320G デフォルト値 RDSはパラメータグループを調節します。 それぞれのデフォルト値は書かれてないですが、以下のSQL出だすことができます。 => SELECT name,setting,unit FROM pg_settings; name | sett
データベース運用改善のヒント！コア開発者直伝のPostgreSQL 10の7つの新機能 - エンジニアHub｜若手Webエンジニアのキャリアを考える！
データベース運用改善のヒント！コア開発者直伝のPostgreSQL 10の7つの新機能 全国のPostgreSQL使いエンジニアが待ちに待った、バージョン10。新機能の中から、特に“運用”に役立つ7の新機能を、PostgreSQLの専門家、そして開発者である澤田雅彦さんにピックアップして解説してもらいました。 2017年10月5日、全国のPostgreSQL使いエンジニアが待ちに待った、バージョン10（安定版）がリリースされました。「今後、自分の開発業務に導入していきたい」と考えている方も多いでしょう。 今回は、PostgreSQLの専門家、そして開発者である澤田雅彦さんに、新機能の中でも特に“運用”に役立つ7の新機能をピックアップして解説してもらいました。これを読めば、現場ですぐに役立つPostgreSQL 10（以下、バージョン10）の知識が身につきます！ < PostgreSQL:
TerraformでRDSを構築するぞ - tjinjin's blog
About TerraformでRDSも作成できると、初期構築が早くなりそうなのでやってみます。 前提 v0.6.14 VPCなどの環境は事前に作成済み RDS RDSを構築するには4つのリソースが必要です。 aws_db_subnet_group aws_security_group aws_db_parameter_group aws_db_instance subnet db用のsubnetを定義しましょう。 resource "aws_db_subnet_group" "db-subnet" { name = "test-db-subnet" description = "test db subnet" subnet_ids = ["${aws_subnet.private.0.id}", "${aws_subnet.private.1.id}"] } security group
Heroku Postgres 定期運用コマンド - Qiita
heroku pg:backups --app sushi === Backups ID Backup Time Status Size Database ---- ------------------------- ---------------------------------- ------ -------- b013 2015-03-18 19:03:16 +0000 Running IVORY b011 2015-02-18 17:55:38 +0000 Finished 2015-02-18 17:55:39 +0000 1.9GB IVORY b010 2015-02-17 19:14:43 +0000 Finished 2015-02-17 19:14:48 +0000 1.9GB IVORY b004 2015-02-11 19:00:55 +0000 Finished
Why Uber Engineering Switched from Postgres to MySQL
We’ve represented the old version in red and the new row version in green. Under the hood, Postgres uses another field holding the row version to determine which tuple is most recent. This added field lets the database determine which row tuple to serve to a transaction that may not be allowed to see the latest row version. With Postgres, the primary index and secondary indexes all point directly
Heroku Postgres でデータベースサイズ100G、最大レコード数1億行のデータを扱っている話 - Qiita
#はじめに この記事は、Heroku アドベントカレンダー 9日目です。 ##環境 Heroku Postgres Premium系 PostgreSQL Version 9.4.x データベースサイズ 100G超 テーブル数 100以上 #こまってたこと クエリが遅くなってきた(当然でしょｗ バックアップに時間がかかる。（当たり前・・・ せっかく、Paas使っているのだからインフラで困りたくないじゃないですか！ ということで、Herokuさんのスケーラビリティでどうにかならないか調べました。 #やったこと ###バックアップ作業を早くした 一時的にForkすることにしました。参考URLはこちら https://devcenter.heroku.com/articles/heroku-postgres-data-safety-and-continuous-protection#combin
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - ankane/pghero: A performance dashboard for Postgres
PGConfig 2.0
Build, operate, and evolve enterprise-grade GraphQL APIs easily with Hasura
Postgres performance at any scale | PostgreSQL Tuning - pganalyze
