目的別データベースの実践: PostgreSQL 行レベルセキュリティと DynamoDB Outboxパターン - KAKEHASHI Tech Blog
カケハシのプラットフォームチームのテックリードとして組織管理サービスと認証基盤を開発している kosui (id:kosui_me) です。今回は、目的別データベースをプラットフォームチームではどのように実践しているかご紹介します。 この記事は秋の技術特集 2024の 13 記事目です。 背景 目的 事例1: PostgreSQL の行レベルセキュリティを活用する組織管理サービス 組織管理サービスとは PostgreSQL の行レベルセキュリティ 行レベルセキュリティを用いたトランザクションマネージャー 行レベルセキュリティの運用上の注意点 事例2: DynamoDB を活用する認証基盤と Outbox パターンの活用 カケハシの認証基盤刷新 DynamoDB で実現する高稼働率の認証基盤 DynamoDB の特性を考慮する CDC と Outbox パターン まとめ 背景 医療の分野で様
WHERE 条件のフィールドを UPDATE するのって，明示的にロックしてなくても安全？全パターン調べてみました！ - Qiita
WHERE 条件のフィールドを UPDATE するのって，明示的にロックしてなくても安全？全パターン調べてみました！MySQLSQLPostgreSQLDatabaseQiitaEngineerFesta2022 TL; DR MySQL/Postgres とも， MVCC アーキテクチャの恩恵で， SELECT と UPDATE は基本的には競合しない。 単一レコードのシンプルな UPDATE でも排他ロックされ，排他ロック中のレコードへの UPDATE での変更操作は トランザクション分離レベルによらず ブロックされる。UPDATE 文に含まれる WHERE 句での検索もブロックされ，これはブロックされない SELECT による検索とは別扱いになる。 但し UPDATE 文の WHERE 句上で，更新対象をサブクエリの SELECT から自己参照している場合は例外。トランザクション分離
SELECT ’Hello, World’ - Neon
SELECT ’Hello, World’Serverless Postgres built for the cloud We have just launched Neon to provide you with the best Postgres experience in the cloud. You can sign up to our waitlist right now and experience serverless Postgres enabled by the separation of storage and compute. The service is still gated by the waitlist as we are onboarding more and more users every day, and we expect to open it up
PostgreSQL 12.4文書
他のバージョンの文書 ： 15 | 14 | 13 | 12 | 11 | 10 | 9.6 | 9.5 | 9.4 | 9.3 | 9.2 | 9.1 | 9.0 | 8.4 | 8.3 | 8.2 | 8.1 | 8.0 | 7.4 | 7.3 | 7.2PostgreSQL 12.4文書 次へPostgreSQL 12.4文書PostgreSQLグローバル開発グループ製作著作 © 1996-2020 PostgreSQL グローバル開発グループ 法的告知目次 はじめに1. PostgreSQLとは?2. PostgreSQL小史3. 規約4. より進んだ情報5. バグレポートガイドラインI. チュートリアル1. さあ始めましょう2. SQL言語3. 高度な諸機能II. SQL言語4. SQLの構文5. データ定義6. データ操作7. 問い合わせ8. データ型9. 関数と演算子10
PostgreSQLとMySQL、使うならどっち？ データベース専門家が8つの視点で徹底比較！｜ハイクラス転職・求人情報サイト AMBI（アンビ）
PostgreSQLとMySQL、使うならどっち？ データベース専門家が8つの視点で徹底比較！ オープンソースのデータベースとしてよく比較されるPostgreSQLとMySQL。どんな長所・短所があるのでしょう？ それぞれの専門家による対談で明らかにします。 エンジニアとして働いていると必ず直面する悩み。それは、「どのリレーショナル・データベース（以下、RDB）を選ぶのが最善なのか？」です。 RDBごとに長所と短所は異なっています。そのため自社サービスにマッチしないRDBを選んでしまうと、それがボトルネックとなり開発・運用にトラブルが生じるケースは少なくありません。 なかでもよく比較検討されるのが、PostgreSQLとMySQL。ともにオープンソースRDBのデファクトスタンダードであり、高い性能と数多くの機能を持っています。 では、両者は具体的にどのような長所・短所があるのでしょうか。そ
Google、マネージドサービスでPostgreSQLを提供する「Cloud SQL for PostgreSQL」ベータ提供を発表
Google、マネージドサービスでPostgreSQLを提供する「Cloud SQL for PostgreSQL」ベータ提供を発表 Cloud SQLはこれまで、MySQLのマネージドデータベースサービスとして提供されてきており、そこにPostgreSQLが加わる形になります。PostgreSQLになっても設計の原則は変わらないと。 Cloud SQL for PostgreSQL implements the same design principles currently reflected in Cloud SQL for MySQL: namely, the ability to securely store and connect to your relational data via open standards. Cloud SQL for PostgreSQLの実装は現在
複数のデータベースをまとめてSELECTできるツール「mdq」を公開しました - KAYAC engineers' blog
こんにちは。 2016新卒でLobiのサーバーサイドエンジニアをやっているmorikuniです。 今回は、mdqというGo製のツールを作ったので、その紹介をします。 mdqは複数のデータベースに並列にクエリを投げて、結果をJSONで出力してくれるというものです。 github.com mdqに近いコンセプトのツールとして、弊社の荒賀(@ken39arg)が作ったshard_promptがあります(#6「Shardingマジ怖い」tech.kayac.com Advent Calendar 2012)。 こちらはSQLを解析し、複数データベースにまたがる集約関数を一部サポートしていますが、MySQL専用かつ直列にクエリを投げるというものでした。 mdqでは複数データベースにまたがる集約関数はサポートしませんが、PostgreSQLなどMySQL以外のデータベースへのクエリや、並列処理による速
Big News In Databases: Fall 2016
Big News In DatabasesThere’s been a lot of big news in 2016, also when it comes to databases. Let’s have a look at the really BIG news. MySQL and MariaDB Become ModernFor a long time, MySQL and MariaDB were mostly limited to the functionality of SQL-92. Now, both of them have decided to move forward by supporting the WITH and OVER clauses in their next major release (MySQL 8.0, MariaDB 10.2). The
PostgreSQLにおけるロケールの影響調査 - Qiita
PostgreSQLでの、ロケールの違い(今回は、ロケールC、ja_JP.UTF-8、en_US.UTF-8の違い)による影響を調べます。 【注意】 この記事では、ロケールの影響をMacOS上で確認しました。異なる環境・OSでは、記事とはロケールの影響が異なる可能性があります。 各ロケールのデータベースの作成 エンコーディングUTF-8、ロケールC、ja_JP.UTF-8、en_US.UTF-8の3つのデータベースを作成します。 CREATE DATABASE locale_c TEMPLATE template0 ENCODING 'UTF-8' LC_COLLATE 'C' LC_CTYPE 'C'; CREATE DATABASE locale_jp_utf8 TEMPLATE template0 ENCODING 'UTF-8' LC_COLLATE 'ja_JP.UTF-8' L
データベースドキュメント管理システム dmemo のご案内 - クックパッド開発者ブログ
こんにちは、みんなのウェディングに出向中の小室 (id:hogelog) です。 今回はクックパッドとみんなのウェディングで利用しているデータベースドキュメント管理システム dmemo を紹介します。 https://github.com/hogelog/dmemo dmemo を作成し導入した経緯 私は2016年3月頃からみんなのウェディングで Redshift, bricolage, embulk, re:dash 等を利用したデータ分析基盤の構築を進めています。 (みんなのウェディングのデータ分析基盤の現状 - みんなのウェディングエンジニアリングブログ) 社内の誰でも扱えるデータベース、データの集約・計算・加工、ダッシュボードの作成、クエリの共有などは上記ブログ記事でも書いたように Redshift, bricolage, embulk, re:dash 等を組み合わせることで実現
【翻訳】 On Uber’s Choice of Databases （データベースにおけるUberの選択について）
数日前、Uberのブログで「Why Uber Engineering Switched from Postgres to MySQL」というエントリが公開されました。 Why Uber Engineering Switched from Postgres to MySQL - Uber Engineering Blog https://eng.uber.com/mysql-migration/ それに対して、PostgreSQLコミュニティ界隈でもいろいろなブログエントリが公開されました。 Robert Haas: Uber's move away from PostgreSQL http://rhaas.blogspot.jp/2016/08/ubers-move-away-from-postgresql.html On Uber’s Choice of Databases http:/
Why Uber Engineering Switched from Postgres to MySQL
We’ve represented the old version in red and the new row version in green. Under the hood, Postgres uses another field holding the row version to determine which tuple is most recent. This added field lets the database determine which row tuple to serve to a transaction that may not be allowed to see the latest row version. With Postgres, the primary index and secondary indexes all point directly
UberのPostgresqlからNoSQL on MySQLへの移行を読んでざっくりまとめた
Uber-migrated-pg-to-mysql.md Why Uber Engineering Switched from Postgres to MySQL - Uber Engineering Blog のまとめ Posgresqlだと pgは追記型なので少しの更新でも多くのdiskへのwriteがおきる カラムを一つ更新しただけで多くのindexの書き換えが起こる よって、replicationはWALを送るので更新が多いとWALが大量に送られる repcliationでは物理的なdiskの変更を送る DC間でレプリするときつい bugがあってreplica間でMVCCの不整合が起きる masterとreplica同じdisk上のデータ構成を共有するのでupgradeがつらい cache readはsyscallとosのpage cache経由なので重い 1コネクション1プロセス
データ分析用ライブラリ MADlib を使って PostgreSQL で機械学習する
MADlibは、現代的なデータ分析には欠かせない回帰分析やデータマイニングのアルゴリズムが実装されているオープンソースのライブラリです。 MADlibを導入することによって、これらのアルゴリズムをPostgreSQLのユーザ定義関数の形で使うことのでき、データベースサーバの内部でデータ分析の処理できるようになります。 今回は、このMADlibの導入方法から動作確認、ロジスティック回帰分析における簡単な使い方までをご紹介します。 ■MADlibとは何か MADlibは、もともとはGreenplumというPostgreSQLをベースにしたMPP製品（DWH用RDBMS）を開発していた企業が開発していたライブラリで、Greenplumで利用できるように開発されていたものでした。 2015年9月に、Greenplum（を買収したEMC）がMADlib（や他のソフトウェア類）をApache Foun
Tablesample In PostgreSQL 9.5 - 2ndQuadrant | PostgreSQL
PostgreSQL 9.5 introduces support for TABLESAMPLE, an SQL SELECT clause that returns a random sample from a table. SQL:2003 defines two sampling methods: SYSTEM and BERNOULLI. The SYSTEM method uses random IO whereas BERNOULLI uses sequential IO. SYSTEM is faster, but BERNOULLI gives us a much better random distribution because each tuple (row) has the same probability on being selected. The SYSTE
[翻訳] PostgreSQLの過去、現在、未来: ゴールポストを動かし続けて（Robert Haas）
[翻訳] PostgreSQLの過去、現在、未来: ゴールポストを動かし続けて（Robert Haas） PostgreSQL 9.5が正式リリースされて少し経ちましたが、みなさん既に試されたでしょうか？ PostgreSQLの主要な開発者のひとりに Robert Haas 氏がいます。Robert Haas 氏は EnterpriseDB社で働いていますが、今、PostgreSQL開発コミュニティの中で、もっともアグレッシブに開発している一人であり、開発コミュニティの中でも非常に大きな影響力と信頼を勝ち得ている一人であると言えるでしょう。 また、Robert Haas 氏は、2012年には日本のPostgreSQLカンファレンスで基調講演を行ったこともあります。 待望のPostgreSQL 9.2は大幅性能アップするのか？（1/2） － ＠IT http://www.atmarkit.c
![[翻訳] PostgreSQLの過去、現在、未来: ゴールポストを動かし続けて（Robert Haas）](https://cdn-ak-scissors.b.st-hatena.com/image/square/9b0ad2d1ddde757603d53fd52e95abede64d7203/height=288;version=1;width=512/https%3A%2F%2Fblogger.googleusercontent.com%2Fimg%2Fb%2FR29vZ2xl%2FAVvXsEiiHkv6H6SBtfAn_0cMhkrZg-e8q7-nhTt8lR2D2WtJA9MEMo8fFaE4FWz2Jr-IP2oSJC_iVCi_vQjiRI9xJbYpsr3z16A5FMh_BphFK8Azz_Xeo5DDYMS0Ly_7ddViyM2j_Da-Jbe5NnI%2Fw1200-h630-p-k-no-nu%2Frhaas.png)
PostgreSQLアンチパターン
37. 積み重なるWHERE句 -- 有効なアカウントのブログを取ってきたい場合 SELECT * FROM blog INNER JOIN users ON users.id = blog.user_id AND users.delete_flag = 0 WHERE blog.delete_flag = 0 38. 積み重なるWHERE句 -- 有効なアカウントのブログを取ってきたい場合 SELECT * FROM blog INNER JOIN users ON users.id = blog.user_id AND users.delete_flag = 0 WHERE blog.delete_flag = 0 ユーザの削除フラグを見る 39. 積み重なるWHERE句 -- 有効なアカウントのブログを取ってきたい場合 SELECT * FROM blog INNER JOIN users
PostgreSQL エンタープライズ・コンソーシアム : 2014年度活動報告
このページでは、2014年度PGEConsの3つの技術ワーキンググループ(WG)が作成したコンテンツをダウンロードできます。 これらのコンテンツには再利用可能なライセンスが設定されており、ユーザの皆様が資料を作成する際に利用できるようになっています。この機会に是非ご活用下さい。 (最終更新: WG1: 2015/4/23, WG2: 2015/4/23, WG3: 2015/4/23) WG1 2014年度は、2013年度に引き続き2014年12月7日にリリースされたPostgreSQL9.4を対象としたスケールアップの定点観測を実施、そして9.4新機能のWAL改善を評価するために更新系処理を新たに評価しました。さらに、2014年度の新たな取り組みとして物理環境以外の環境におけるデータベースの性能評価に着目、KVMを使った仮想化環境と、LinuxコンテナのDocker環境の検証を実施しまし
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はじめに · PostgreSQL Internals
RDBアンチパターン // Speaker Deck
