PostgreSQL on Kubernetes を 試してみた
この記事は MICIN Advent Calendar 2022 の2日目の記事です。 前回は、あの日見たerbを僕達はまだ知らない。でした。 そして PostgreSQLアドベントカレンダー 2022 の2日目とのマルチポストでもあります。 PostgreSQLアドベントカレンダーの前回の記事は、noborusさんのPostgreSQL 15 日本語マニュアルあり〼でした。 はじめに 先日、PostgreSQL Conference Japan 2022 に一般参加をしてきました。PostgreSQL Conferenceに参加し始めて5年ほどたちますが、普段業務ではキャッチアップしきれないような最新情報のキャッチアップをはじめ、勉強になることが多く、非常に刺激的な1日を過ごすことができました。 その中で、【B2】PGOを用いたPostgreSQL on Kubernetes入門 という
SQL分析を爆速で実現するDuckDBの魅力！ - FLINTERS Engineer's Blog
お世話になっております。FLINTERSでデータエンジニアをしている堀と申します。今回の投稿はFLINTERSブログ祭りの記事です。テーマは #データ分析 #SQL #技術 です。 本日は爆速分析SQLエンジンのDuckDBを紹介したいです。 そもそも https://duckdb.org/ brew install duckdb ポイント インストールかんたん パッと起動して、さまざまなデータソースにSQL分析ができる 豊富なインプット方法、アウトプット方法 ローカルのデータファイル（CSV, JSON, parquet, Excel） http(s)でアクセスできるデータファイル S3/GCS/Azure Blob Storage上のデータファイル PostgreSQL MySQL また、DuckDBは各言語のクライアントライブラリでもある。いろいろあるよ SQLの実行が爆速 なんでD
repmgrによるPostgreSQLのクラスタリング - Qiita
どんなのか使ってみたかったけど、紹介している人があまりいなかったので、自分で動かしてみました。 repmgr概要 repmgrはコマンドラインツールで以下の管理タスクを実行し、PostgreSQLをHAクラスタとするためのツールです。 スタンバイサーバの設定 スタンバイサーバの昇格 スイッチオーバ クラスタのサーバステータス repmgrは2ndQuadrant社が作成し、GitHubで公開しています。 repmgrでのPostgreSQLクラスタ化までの構築手順 1. 前提条件、及び環境構築 今回はVirtualBoxでのCentOS7、PostgreSQL 9.5.2の環境でやります。 まずは、PostgreSQL(ソースビルド版)がインストールされた2台のVMを準備しておいてください。 ※本書では、PostgreSQLのインストール方法やSSHの設定等の説明を省きます。 後半でもPo
DBクラスタをCentOS8にPostgreSQL12+Patroniで構築してみた - GMOインターネットグループ グループ研究開発本部
こんにちは。次世代システム研究室のデータベース と Hadoop を担当している M.K. です。 最近はずっとHadoopの検証を行っていましたが、今回はデータベースのテーマに戻ろうと思います。 前に書いた以下のブログ 「MySQLの冗長化を試す！～Percona XtraDB Cluster & ProxySQL & Replication～」 「Hadoop (Hive, Ambari など) が使う DB を Percona XtraDB Cluster & ProxySQL で冗長化してみた」 でも検証しましたが、システムのアーキテクチャーを考える上でデータベースの高可用性を求められることは多いです。 特に更新対象のデータベースを単一障害点にしないことが大事になりますが、ただ単に複数のデータベースを立てれば良いわけではなく、データベース間の同期や死活監視およびフェイルオーバーなど
Goで自作RDBMS - abekoh's tech note
はじめに Goで自作RDBMSに挑戦してみたログです。自作、といっても大部分は参考にした書籍の移植です。 ここ1年くらいRDBに向き合う機会が多く、その内部実装を手を動かしながら身を持って理解してみたいというモチベーションから始めてみました。ちょうど会社の『内部構造から学ぶPostgreSQL』読書会に参加したこともモチベーション上げるきっかけとなりました。 (他の方の記事ですが、読書会の記録はこちら↓) 『内部構造から学ぶPostgreSQL』読書会を完走した感想 ［改訂3版］内部構造から学ぶPostgreSQLの社内読書会振り返り データベースをデータの箱としか思っていなかった私の『内部構造から学ぶPostgreSQL』を読んだ感想 普段何気なく使ってるRDBMSですが、ACID特性を守るため・大量の読み書きを捌くため、非常に緻密に設計されております。 これを完全再現といかなくとも自分
ストリーミングレプリケーション ～仕組み、構成のポイント～｜PostgreSQLインサイド
データベースでの「レプリケーション」とは、データベースのレプリカ（複製）を作成することです。レプリケーションにより、障害が発生しても継続して稼働でき、可用性の高いシステムを構築することができます。また、複製されたデータベースを活用し、参照系のSQLを処理させることで、システム全体で、より多くの処理をすることができます。遠隔地にデータベースを複製することで、災害対策にも利用できます。 PostgreSQLのレプリケーションには、データベースクラスタを一括して複製する「ストリーミングレプリケーション（物理レプリケーション）」と、テーブル単位やデータベース単位に複製する「ロジカルレプリケーション（論理レプリケーション）」などがあります。 ここでは、データベースクラスタを一括して複製する「ストリーミングレプリケーション」の仕組みと構成のポイントについて説明します。 なお、本資料では、Postgre
データベースを勉強したいあなたに送る技術書17冊(+11冊1講義7link)
これはなに ども、レバテック開発部のもりたです。最近めっちゃ元気！！ 今回は『データベースについて勉強したいあなたに送る技術書17冊(+11冊1講義7link)』として、もりたがここ半年くらいでわーっと集めたデータベース周りの書籍（とか）を紹介していきます。アプリケーションって結局はデータベースみたいなところがあると思うんですが、おれは長いことデータベースをどう学んだら良いのか分かりませんでした。同じような気持ちを抱えているITエンジニアの人もいると思うので、学習ロードマップと合わせて紹介していきます。 なお具体的な対象読者は業務でなんとなくSQL書いてるけど、ウィンドウ関数とか言われると分からんな……くらいの人です。 扱う領域と扱わない領域 扱う領域としてはだいたい以下 再入門本 SQL 内部構造 論理設計 周辺知識 データベース理論 その他高度なもの モデリング、NoSQL、分散データ
Goodbye to sequential integers, hello UUIDv7!
At Buildkite, we've historically stored our data with two keys. We use sequential primary keys for efficient indexing, and UUID secondary keys for external use. The upcoming UUIDv7 standard offers the best of both worlds; its time-ordered UUID primary keys can be utilized for indexing and external use. This blog post will take you on the journey Buildkite took that led to our eventual adoption of
Cloud SQL におけるデータベース オブザーバビリティの決定版ガイド: パート 1 | Google Cloud 公式ブログ
※この投稿は米国時間 2023 年 8 月 3 日に、Google Cloud blog に投稿されたものの抄訳です。 はじめにデータベースのパフォーマンスは、日常業務の効率と効果に影響を及ぼすため、どのようなビジネスにおいても重要です。低速なデータベースはトランザクションの処理を遅延させ、顧客満足度や収益性に悪影響をもたらす可能性があります。 Cloud SQL for PostgreSQL は、Cloud SQL Insights と SQLcommenter によるデータベース オブザーバビリティを備えており、デベロッパー ファーストのアプローチを使用してデータベースのパフォーマンスの問題を診断、検出、予防できます。 Cloud SQL for PostgreSQL は、データベースの接続と接続解除およびクエリ実行に関するメタデータを記録できる追加のデータベース ログをサポートしてい
PostgreSQL チューニングよもやま話 - エムスリーテックブログ
【Unit4 ブログリレー3日目】 こんにちは，エムスリーエンジニアリンググループの榎田です．数学とテレビゲームが好きです． 今回は，Unit4 で運用している "Docpedia" というサービスで実施した SQL チューニングの実例を2つご紹介します．普段の私が意識していなかった， RDBMS の内部機構に関する話が登場して面白かったので，今回の記事を書きました． なお，本稿で扱う議論はすべて PostgreSQL 11.x 以上を対象としており，特にその他の RDBMS で同様の動作をするかは確認していません．定性的な挙動に共通するものはあるかもしれませんが，ここで述べた話はそのままは通らないであろうことをお断りさせてください*1． プロダクトについて index なしで意外と耐えたが，耐えきれなかった話 実際の SQL とテーブル定義 原因の分析 対応策 SELECT DISTIN
PostgreSQLのアーキテクチャー概要｜PostgreSQLインサイド
PostgreSQLには、用途や環境に応じて様々な構成を組み、最適なパフォーマンスで動作させられるよう、設定ファイルpostgresql.confに多くのパラメーターが存在します。そのパラメーターを正しく設定し調整を行うためには、PostgreSQLのアーキテクチャーを理解する必要があります。ここでは、押さえておきたい、PostgreSQLの基本的なアーキテクチャーについて説明します。なお、この記事で対象にしているPostgreSQLのバージョンは9.5以降です。 1. PostgreSQLの基本構成 PostgreSQLの基本的な構成について説明します。はじめに、主なプロセス、メモリー、および、ファイルについての構成図を示します。 図1 PostgreSQLの基本構成 PostgreSQLを構成する主なプロセス、メモリー、ファイルについて、その用語と概要を説明します。 リスナープロセス
PostgreSQLでWebサービスを運用するためにやっていること - LCL 開発者ブログ
弊社では、RDBMSにPostgreSQLを利用して数年間サービスを運営しています。 PostgreSQLはMySQLと違って、Webサービスでの運用事例をあまり見かけないので、今回は弊社サービスの「夜行バス比較なび 」でどのように運用しているかを紹介いたします。 システムの特徴 ユーザからのアクセスは、9割が参照処理。 データはバッチ処理で、随時 ( 毎分 ) 更新されている。 参照SQLの結果はmemcachedを利用してキャッシュをしているが、データの更新頻度が高いため長時間のキャッシュはしていない。 参照SQLは、集計処理が多いため比較的重いSQL。 参照対象となるテーブルのデータ量は、最大で数100万レコードと比較的少ない。 24/7で稼働。 構成 AWSのEC2上に、PostgreSQL 9.3を導入しています。c4系のインスタンスを使いたいので、RDSは使っていません。インス
検索が爆速になるデータベース設計を公開します
こんにちは。エンジニアの谷井です。 フォルシアでは、Spookと呼んでいる技術基盤を用いて、主に旅行業界やMRO業界に対して、膨大で複雑なデータを高速検索できるアプリケーションを提供しています。 今回はその高速検索のノウハウのうち、特にDBの扱いに関連する部分について、ベテランエンジニアへのインタビューを通してそのエッセンスをまとめてみました。 一般的なベストプラクティスだけでなく、検索性能を高めることに特化しためずらしいアプローチもあるので、ぜひご覧ください。 フォルシアにおける検索DBについて まず前提としてフォルシアで扱うデータについて軽く説明します。 扱うデータの複雑さ たとえば、旅行会社向けのアプリケーションであれば、宿泊素材の情報としては ホテルの情報「〇〇ホテル」（~約2万件） プランの情報「朝食付き・ロングステイ△△プラン」（0~1500件/施設） 客室の情報（~100件/
RDS Proxy環境下でpg_hint_planを導入する際の注意点 | フューチャー技術ブログ
はじめにTechnogoly Innovation Group 辻です。 PostgreSQL を使用する際、最適な実行計画が選択されず、クエリの速度が遅くなることがあります。オプティマイザが最適な実行計画を選択できない理由はいくつかありますが、たとえばバッチ処理で大量のデータを投入した直後、統計情報と実データの乖離により、少ないデータに適した計画が大量のデータでは不適切になることがあります。このような場合、PostgreSQL の拡張モジュールである pg_hint_plan を用いた SQL ヒントや pg_dbms_stats により実行計画を固定することで、チューニングが可能です。 私たちのユースケースでは pg_hint_plan を使った SQL ヒントによりクエリをチューニングしましたが、 Aurora PostgreSQL と RDS Proxy を使っている環境下で pg
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DuckDB雑紹介
速習！ PostgreSQL専用HAソフトウェア: Patroni（PostgreSQL Conference Japan 2023 発表資料）
PostgreSQL as a Vector Database: Create, Store, and Query OpenAI Embeddings With pgvector
PostgreSQL Pentesting | Exploit Notes
vulhub/postgres/CVE-2019-9193 at master · vulhub/vulhub
PostgreSQL Architecture And Performance Monitoring
