はてなブックマーク

1. はじめに ビッグデータの管理・運用で注目を浴びることとなった結果整合性（eventual consistency）ですが，賛否両論あるようです．否定的な意見は，たとえば，クレップマン（Martin Kleppmann）[1]の 著作に見ることができます．この著作，結構多くの方々がお持ちかと思いますが，クレップマンは複 製を行うデータベースのほとんどは，少なくとも結果整合性を提供しているとしながらも，これは非 常に弱い保障であり，複製がいつ（最終値に）収束するのかについては何も語られていなく，収束す るときまで，読取りの結果が何になるのか，あるいはそもそも何も返さないのかは分からない，とク レームしています．さらに，CAP 定理の対象範囲は非常に狭く，考慮しているのは 1 つの一貫性モ デルと 1 種類のフォールト（つまり，ネットワーク分断）だけで，ネットワークの遅延，落ちている ノー

1. はじめに ビュー（view）はリレーショナルデータベースの始祖コッド（E.F. Codd）がリレーショナルデータモデル[1]を世に問うてから 4 年後の 1974 年に彼自身により導入されました[2]．ビューは定義だけが存在し実体は伴わない仮想的なリレーションであるところがデータベースに格納されているリレーション，これを実リレーション（stored relation）という，と根本的に異なるところです． 続きを読む 1. はじめに ビッグデータの管理・運用で注目を浴びることとなった結果整合性（eventual consistency）ですが，賛否両論あるようです．否定的な意見は，たとえば，クレップマン（Martin Kleppmann）[1]の 著作に見ることができます．この著作，結構多くの方々がお持ちかと思いますが，クレップマンは複 製を行うデータベースのほとんどは，少なくとも結果

TimescaleDB は、IoT 機器のセンサーやスマートメーターが生成するデータのように、時系列に沿って発生するデータを扱うのに適した時系列データベースの機能を、リレーショナルデータベース PostgreSQL に追加する拡張モジュールです。 この記事では、TimescaleDB の概要とインストール、基本的な使い方について紹介します。 TimescaleDB とは TimescaleDB は米国 Timescale 社 が開発する時系列データベースで、ソースコードは GitHub リポジトリ で公開されています。ライセンスは一部が Timescale ライセンス (TSL) で、それ以外は Apache ライセンス 2.0 です。TSL 部分は簡単に言えばそれ自体をサービスとして提供しない限り自由に使えます。ライセンスについて正確には自分で確認してください。 TimescaleDB

2020年9月24日にリリースされた PostgreSQL 13 の主要な新機能について動作検証を行った結果を報告します。 本検証レポートは コマンド実行手順も詳細に記載していますので、PostgreSQL 13 を使って実際に新機能を確認したい方のガイドブックとしても活用できます。 PostgreSQL 13 の主要な強化点は以下の通りです。 B-Treeインデックスの性能向上 新しい実行プラン パーティションテーブル機能の拡張 パラレルVACUUM 進捗レポートビューの拡張 pgbenchの拡張 pg_rewindの拡張 SQL機能の追加 本検証レポートでもこれらを取り上げています。 検証レポート レポートは以下リンクからダウンロードできます。 PostgreSQL 13 検証レポート（2020年12月3日版） PostgreSQL 13 の機能の更なる詳細はPostgreSQL 13

3. パッケージのインストール 本記事ではELRepoリポジトリ(http://elrepo.org)のrpmパッケージをインストールします。 両ノードにDRBD9をインストールします。 # rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org # rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm # yum install kmod-drbd90 drbd90-utils 4. 設定ファイルの作成 drbdmanage を使用せず自分でDRBDのリソースを管理する場合はリソースの設定ファイルを作成します。 /etc/drbd.d/drbd0.res として設定ファイルを作成します。 resource drbd0 { protoc

2019年10月3日にリリースされた PostgreSQL 12 の主要な新機能について動作検証を行った結果を報告します。 本検証レポートは コマンド実行手順も詳細に記載していますので、PostgreSQL 12 を使って実際に新機能を確認したい方のガイドブックとしても活用できます。 PostgreSQL 12 の主要な強化点は以下の通りです。 テーブルアクセスメソッドの追加 SQL/JSON Pathをサポート 生成列をサポート COLLATE（文字照合）機能の拡張 インデックスの機能追加・性能改善 パーティションニングの機能改善・性能改善 WITH句（CTE）の最適化 MCV拡張統計情報をサポート 本検証レポートでもこれらを取り上げています。 検証レポート レポートは以下リンクからダウンロードできます。 PostgreSQL 12 検証レポート（2019年10月4日版） Postgre

インメモリDBとデータの永続化 前回のRedisの紹介では、Redisの特長や導入手順、基本的な使い方についてご紹介しました。本稿では、インメモリデータベースのデータ永続化についてご紹介します。 Redisはインメモリデータベースであるため、サーバプロセスが終了するとメモリ上のデータも消えてしまいます。そこで、Redisはサーバプロセス終了後もデータを保持するための2種類の機能が用意されています。 RDB Redisでは特定の時点のスナップショットをRDBファイルとして保存することができます。RDBはデータベースのダンプファイルに相当します。SAVEコマンドおよびBGSAVEコマンドで現時点のスナップショットを保存できます。また、設定により、一定の書き込み数と時間の経過により自動的にデータを保存することもできます。デフォルトの設定は以下のようになっており、条件を満たした場合にデータが自動保

RedisストリームはRedis 5で新しく追加されたデータ型です。 Apache Kafka に類似したメッセージ処理のためのパワフルな機能を持っており、様々な応用が可能です。 既存の類似の機能 最初にRedisのメッセージ処理に適した既存の機能をいくつか紹介します。 Pub/Sub RedisはPub/Subメッセージング機能を提供しています。SUBSCRIBE および PUBLISH コマンドにより、 Publisher(発行者)が送信したメッセージを複数の Subscriber(購読者)が受信することができます。PublisherはSubscriberを知っている必要がなく、メッセージを受け取れないPublisherがあってもSubscriberは影響を受けません。ただし、メッセージは保存されないため、SUBSCRIBEしていない期間のメッセージを受け取ることはできません。 Blo

ノードごとに個別のディレクトリを作成し、既存の redis.conf をコピーして設定を行います。 # mkdir cluster-test # cd cluster-test/ # mkdir 7000 7001 7002 7003 7004 7005 # cp /etc/redis.conf 7000 # vi 7000/redis.conf # cp 7000/redis.conf 7001 # vi 7001/redis.conf ... # vi 7005/redis.conf 同サーバ上で動かすため、ファイル名が重複しないように適切に設定を行います。 port 7000 pidfile "/var/run/redis_7000.pid" logfile "/root/cluster-test/7000/redis.log" dbfilename "dump-7000.rdb"

本稿では、Pacemaker/Corosyncを使用してRedisのクラスタを構成する方法をご紹介します。 RedisはSentinelでマスター・スレーブ構成の管理を行うことができますが、最低3個のSentinelが必要になります。また、仮想IPについては自前でスクリプトを作成するなどの工夫が必要になります。 2ノードで完結させたい場合や、その他のリソースもあわせて管理したい場合はPacemaker/Corosyncを使用するのが便利です。Pacemakerには標準でRedisのリソースエージェントが含まれているため、比較的容易にRedisのクラスタを構築することができます。 前提 以下の環境を前提とします。今回はOS標準のPacemakerを使用します。 OS: CentOS 7.4 パッケージ: redis-5.0.5-1.el7.remi pacemaker-1.1.19-8.el

現在開発中のPostgreSQL 12では、様々な新機能の追加や改良が予定されています。本稿では、その中でも実用上の価値が高いと思われる改良の一つである、CTEの高速化についてご紹介します。 CTEとは CTEとは、”Common Table Expressions” (共通テーブル式)の略で、SQL文内でテーブル式を定義し、それを同じSQL文内から参照できるものです。CTEには、普通の検索を行うだけでなく、再帰的なクエリ実行を行ったり(WITH RECURSIVE)、CTE内で更新処理を行うこともできますが、PostgreSQL 12で改良されたのは、再帰も更新も伴わない通常の検索処理で使われるCTEです。 CTEを使うと、複雑なクエリや、同じようなサブクエリを何度も呼ぶようなSQL文を見通しよく書くことができます。同じようなことはVIEWや関数を定義することによっても可能ですが、CTE

pg_repack は PostgreSQL のテーブルをオンラインで再編成できるツールです。本記事では pg_repackについて紹介します。 良く知られている通り、PostgreSQL は追記型アーキテクチャを採用しています。UPDATE や DELETE をしても旧データを格納した行はしばらく物理ファイル上に残り、これを VACUUM コマンドや自動 VACUUM で整理して、その領域を再利用可能にする仕組みとなっています。何らかの理由でこれらの手動・自動の VACUUM 処理が実行されなかった場合には、データ格納に使われない不要領域が増加し、性能劣化の原因となります。そのような場合には、CLUSTER コマンドや VACUUM FULL コマンドを使って、テーブルの再編成をするのですが、これらのコマンドは強いロックを取得するため、サービス中の適用が難しいという課題がありました。 p

2018年5月24日にbeta1がリリースされた PostgreSQL 11 の主要な新機能について動作検証を行った結果を報告します。 本検証レポートは コマンド実行手順も詳細に記載していますので、PostgreSQL 11 を使って実際に新機能を確認したい方のガイドブックとしても活用できます。 PostgreSQL 11 の主要な強化点は以下の通りです。 JITコンパイルの追加 ［性能］ パーティショニングの様々な改善［機能＋性能］ 並列実行の様々な改善［性能］ プロシージャ内でのトランザクション制御をサポート ［機能］ 認証でSCRAMチャンネルバインドをサポート［セキュリティ］ ALTER TABLE .. ADD COLUMN の性能改善 ［性能］ ウィンドウ関数の拡張［機能］ 上記の角括弧［］内の記載は何に寄与する強化点であるかを示しています。大規模なデータを扱う場合には最初の３

1. pg_bulkload とは pg_bulkload は PostgreSQL に大量のデータを高速にロードすることができるツールです。 pg_bulkload 自体はそのバージョンにもよりますが、 PostgreSQL 8.3 以降で使用が可能です。PostgreSQL 9.6 に対応したものは pg_bulkload 3.1.10 以降です。最近の PostgreSQL との対応バージョンについての詳細は、pg_bulkload 3.1.X のリリースノートまたは導入する pg_bulkload バージョンのドキュメントを確認してください。本文書では、PostgreSQL 9.6.2 と pg_bulkload 3.1.13 を Linux 上で使用した場合のコマンド例などを紹介しています。 2. 使用方法 ◆ インストール pg_bulkload は以下のページから対応する P

PostgreSQL 10で作る クラスタ構成 SRA OSS, Inc. 日本支社 取締役支社長 石井 達夫 2 Copyright(c) 2017 SRA OSS, Inc. Japan 自己紹介 ● OSSの開発とビジネス に携わっています ● PostgreSQLのコミッタ ● PostgreSQL用のクラス タソフト Pgpool-II の開 発 3 Copyright(c) 2017 SRA OSS, Inc. Japan クラスタリングの目的 ● 複数のＤＢサーバを使って、1台のＤＢサーバでは実 現できないメリットを得る ● 可用性の向上を狙うのか、性能向上を狙うのか分 けて考えると整理しやすい 4 Copyright(c) 2017 SRA OSS, Inc. Japan PostgreSQLにおける クラスタリングの目的(1) ● 可用性の向上(High Availabi

AWS 上で Pgpool-II を使ってみよう PostgreSQL Conference Japan 2017 2017/11/3 SRA OSS, Inc. 日本支社 長田 悠吾 Copyright © 2017 SRA OSS, Inc. Japan All rights reserved. 2 自己紹介 ● 長田 悠吾 （ナガタ ユウゴ） – SRA OSS, Inc. 日本支社 – マーケティング部 PostgreSQL 技術グループ ● PostgreSQL の技術サポート・コンサルティング ● PostgreSQL 関連の技術調査・研究・開発 ● Pgpool-II 開発者 Copyright © 2017 SRA OSS, Inc. Japan All rights reserved. 3 本日の内容 ● Amazon Web Service (AWS) での Postg

1. psqlODBC とは psqlODBCはオープンソースソフトウェアとして開発されている PostgreSQL の ODBC ドライバです。完全ではありませんが ODBC 3.0 に対応しています。ほかに商用製品のドライバも存在しますが、大部分の用途では psqlODBC を使用すれば十分といえます。psqlODBC の難点としては、公式ドキュメントの記述量が少ないこと、利用方法を解説した文書が少ない、あるいは、ひどく古いバージョンを前提とした公開文書が多く、取捨選択が難しいことがあります。 2018年 10月時点で、PostgreSQL 10.x に対応した psqlODBC 10.03.0000 がリリースされています。本文書は、PostgreSQL 9.6.2 と psqlODBC 09.06.0100 を使って、psqlODBC の Linux 上と Windows 上での使