PostgreSQLのPub/Sub機能とJavaのクライアント実装 | フューチャー技術ブログ
本記事は「珠玉のアドベントカレンダー記事をリバイバル公開します」企画のために、以前Qiitaに投稿した記事を改訂したものです。 はじめにPub/Sub型のメッセージングアーキテクチャを採用するにあたっては、kafkaなどのブローカーミドルウェアや、Amazon SNS、Google Cloud Pub/Subなどのマネージドサービスを利用するケースが多いかと思います。ところでPostgreSQLでも実はPub/Subができます。 すでに業務でPostgreSQLを使っていれば、新たにPub/Subブローカーを構築しなくても、疎結合なシステム間通信を簡易的に実現できます。 本記事ではこの機能の紹介と、Pub/SubクライアントをJavaで実装する場合の選択肢、考慮点を示しています。 ※実行環境はPostgreSQL 16.2とJava 21です ※データベースの文字コードはUTF-8としてい
PostgreSQL 16とその後
今年の初め、私はカナダで開催されたPGConf 2023に参加し、PostgreSQLがバークレー校の研究プロジェクトから最も先進的なオープンソースデータベースとしての地位を確立するまでの進化について話し、PostgreSQL 16で導入された様々な改善点、特に論理レプリケーションについて論じました。 私の講演では、バージョン16で導入された魅力的な新機能にフォーカスしましたが、PostgreSQLの過去、つまり過去のバージョンにおける主要な機能の年表や、PostgreSQL 17での実装に向けてコミュニティが議論してきた内容など、将来についても触れました。 PostgreSQLがその初期から歩んできた長い道のりをより深く理解するためには、PostgreSQLの進歩と、その過程で蓄積された素晴らしい機能の一覧を再確認することが重要だと思います。これは、献身的で熱心なコミュニティの活動のおか
PostgreSQL 12がやってくる！(番外編1) - pg_bigmへの影響 - Qiita
はじめに pg_bigmを用いて、PostgreSQL 12の改善項目を再確認してみた。 pg_bigmとは すごくざっくり言ってしまうと、pg_bigmというのは、PostgreSQLで日本語全文検索を実現する拡張モジュールです。 PostgreSQL自体には、英文に対応した形態素全文検索機能はあります。また、英文に対応したN-Gramの全文検索機能として、pg_trgmというcontrib拡張機能はあります。 が、残念ながら日本語に対応したN-gram方式の全文検索機能はありません。pg_bigmは日本語に対応したN-gram方式の全文検索機能（全文検索インデックス）を提供するものです。 pg_bigmの（個人的に思う）一番の特徴は、これを入れるだけで、LIKE中間一致検索が爆速になる、というものです。このへんは後で実例を見たほうが早いかな。 PostgreSQL 12における改善項目
よく使うpsqlの便利技10選
1. メタコマンドとSQLを一緒に使う 実行例 2. SELECT結果の値だけを取得する 実行例 3. SQLでSQLを作り実行 (9.6~) 実行例 4. サーバに応じて実行するSQLを変える (10~) 実行例 5. 忘れたDDLのシンタックスを確認する 実行例 6. SQLファイルの内容を一行ずつ確認しながら実行する 実行例 7. 特定のコマンドを定期的に実行したい 実行例 8. psqlを起動した時に実行されるコマンドを設定する 実行例 9. .psqlrcを一時的に使わない 実行例 10. SELECTの結果をCSV形式で出力 実行例 普段よく使っているpsqlで便利だと思う使い方を10個紹介します。運用で使うシェルスクリプトとかでもpsqlは使う事があると思うので、psql派でない人にも多少は役に立つはず。 特に最近のバージョンで追加された機能は、利用できるバージョンを記載して
PostgreSQL 楽ちん FDW Foreign Table 作成
PostgreSQL には他のDBのテーブルを参照（更新もできる）できるようにする Foreign Data Wrapper (FDW) という機能が搭載されています。 これよりも前に dblink がありましたが、仕組み上パフォーマンス的に厳しく使いにくさがありました。FDW ではかなり良くなっています。PostgreSQL 以外の DB と接続することも可能です。 PostgreSQL9.3 開発と運用を支える新機能 http://enterprisezine.jp/dbonline/detail/5620 PostgreSQL 標準の replication は DB 全体での同期しかなく、レプリカは参照しかできませんから分析用のサーバーとして使おうにも書き込むことができません。将来的には論理 replication ができるようになりそうです。特定のテーブルだけとか。 http:/
Sequelize | The Node.js / io.js ORM for PostgreSQL, MySQL, SQLite and MSSQL
Sequelize is a promise-based ORM for Node.js and io.js. It supports the dialects PostgreSQL, MySQL, MariaDB, SQLite and MSSQL and features solid transaction support, relations, read replication and more. Installation Example usage var Sequelize = require('sequelize'); var sequelize = new Sequelize('database', 'username', 'password'); var User = sequelize.define('user', { username: Sequelize.STRING
PostgreSQLでデータベースごとの容量を確認する | 俺的備忘録 〜なんかいろいろ〜
仕事で、データベースのバックアップスクリプトの実行時間、負荷の関係からPostgreSQLでデータベースごとのファイル容量を調べる事があったので、念のため残しておく。 PostgreSQLでは、データベースごとの容量を調べる方法として幾つかの方法が用意されている。 1.「\l+」コマンドで確認する 一番カンタンな確認の仕方が、psqlで用意されている「\l+」コマンドの実行だろう。 通常、「\l」でデータベースの一覧が表示されるのだが、これに+を付け足すとデータベースサイズなどの情報も出力させることが出来る。 2.SQLで情報を取得する 以下のようなSQLを実行することで、データベースの容量を取得することも出来る。 select t1.datname AS データベース名, pg_size_pretty(pg_database_size(t1.datname)) as データベースサイズ
PostgreSQLのカレンダー | Advent Calendar 2014 - Qiita
URLYou can post either your article on Qiita or your blog post. About reserved postingIf you register a secret article by the day before the same day, it will be automatically published around 7:00 on the same day. About posting periodOnly articles submitted after November 1 of the year can be registered. (Secret articles can be registered anytime articles are posted.)
PostgreSQL 9.xにおける日本語全文検索について調べてみた - longkey1's blog
調べた経緯 データベースの内容を全文検索したいという要望は定期的にあるので、常に情報は探しているんだけど、PostgreSQLに関しては調べたことなかったので色々調べてみた。 Senna Senna 組み込み型全文検索エンジン - Senna 組み込み型全文検索エンジン これがスタンダードだった時期もあるんだろうけど、結局PostgreSQL9.x系にインストール出来なかった。 textsearch_sennaを使って動かそうとしたんだけど、そもそも公式サイトで配布されている圧縮ファイルをダウンロードしても、ちゃんとインストール出来ない。 CVSでソースコードをダウンロードして・・・という手順だと動くとMLに書かれていたので、チャレンジしてみたけど結局ダウンロード出来なかった。 ダウンロード出来たとしても、Senna本体が2010年からリリースされてないみたいだから、はっきりいって今更感が
PostgreSQLに興味がある人向けにまとめてみた。｜PostgreSQL｜お仕事メモ｜Pictnotes
PostgreSQL9.2がでたのと、一部で？またPostgreSQLを使いたいと思ってる人が多くなったとかあるみたいなので 4〜5年触ってなかったか、全然知らない人向けとおさらいとしてまとめてみた。 ざっくり書いてるので、詳しい人からみるとおかしい点もあるかと思いますが、気になった点はより詳しい記事が あると思うので、調べてみてください。 明らかな間違え等々は、修正加筆したいので、コメントか twitterの @itm_kiyoまで、御願いします。 Q. なんて読むの？書くの？ A. PostgreSQL(ぽすとぐれすきゅーえる)、PとSQLは大文字。ちなみにMySQL(y以外は大文字)なんで、小文字と大文字の区別をきちんとするとその界隈の人がよろこびます。 でも、「postgres」 とか 、「Postgres」や「ポスグレ」とか書かれてることも多いです。 Q. どのバージョンを使うの
A Year with MongoDB - Engineering at Kiip
This week marks the one year anniversary of Kiip running MongoDB in production. As of this week, we’ve also moved over 95% of our data off of MongoDB onto systems such as Riak and PostgreSQL, depending which solution made sense for the way we use our data. This post highlights our experience with MongoDB over the past year. A future post will elaborate on the migration process: how we evaluated th
稼動統計情報を活用しよう(1) — Let's Postgres
NTT オープンソースソフトウェアセンタ 笠原 辰仁 稼動統計情報とは、PostgreSQLが独自に収集・記録している情報です。性能やDB内で起こっている問題などを把握する上で、とても重要です。DBMSでの稼動状況を確認・把握するのに非常に便利なので、この情報を活用し、問題の早期発見やチューニング方法の選択に役立てましょう。 稼動統計情報で分かること 稼動統計情報を活用すると、DBMSを運用する上でとても便利な情報が得られます。特に有用なものを紹介します。なお、稼動統計情報の内容はPostgreSQLのバージョンで若干異なり、新しいバージョンほど得られる情報が増えています。詳しくは「有用な情報を持つテーブル/ビュー」を見てください。 DB単位のコミット数やロールバック数 DB毎に、トランザクションのコミット回数やロールバック回数が分かります。それぞれ、スループットとエラー発生数と置き換える
現場で役立つ実践ノウハウWeb開発の「べし」「べからず」(運用編) | Let's POSTGRES
～性能を最大限に引き出すための設計・開発・運用～ 永安 悟史 本記事は、技術評論社 WEB+DB PRESS Vol.63 で掲載されたものを、著者と出版社の許可を得て転載したものです。なお、一部 記述に変更のある箇所もあります。 【運用】データベースのPDCA 注4 を回す 注4：Plan（計画）、Do（実行）、Check（評価）、Act（改善）を1サイクルとしたマネジメントプロセスのこと。 【べからず】 サーバログを無視してはいけない 運用の基本中の基本として、サーバログをきちんと取得し、その内容を確認する必要があります。 ここまでも述べてきたように、データベースの挙動は蓄積されたデータの量や、外部環境（接続数など）によって徐々に変化してきます。そのため、トラブルが起こる前に、ある程度その兆候が出てくるものです。 データベースの挙動が外部からはなかなかわかりづらいですが、実際にはサーバ
PHPでのSQLインジェクション対策 - エスケープ・クォート編 — Let's Postgres
第四企画 坂井 潔 ここではPHPでSQLインジェクション対策としてエスケープ・クォート処理を行うケースを説明します。なおSQLインジェクションの簡単な説明や、プレースホルダを用いてより効果的な対策を行うケースに関してはプレースホルダ編を参照してください。 エスケープとは？ それではエスケープ処理とはなんでしょうか？ 分かりやすいケースとして、文字列を扱う場合を説明します。 例えば「名前がO'Reillyの行をテーブルusersから取得する」あるいは「テーブルusersに、名前はO'Reilly、メールアドレスはo'reilly@example.comとo'reilly_mobile@example.netの２つを改行で繋げたデータを、行として挿入する」と言ったSQLをつくると、この命令文全体が１つ文字列になります。その命令文としての文字列の中に、値としての文字列を埋め込む場合には、それが
「SQLインジェクション対策」でGoogle検索して上位15記事を検証した - ockeghem's blog
このエントリでは、ネット上で「SQLインジェクション対策」でGoogle検索した結果の上位15エントリを検証した結果を報告します。 SQLインジェクション脆弱性の対策は、既に「安全なSQLの呼び出し方」にファイナルアンサー（後述）を示していますが、まだこの文書を知らない人が多いだろうことと、やや上級者向けの文書であることから、まだ十分に実践されてはいないと思います。 この状況で、セキュリティのことをよく知らない人がSQLインジェクション対策しようとした場合の行動を予測してみると、かなりの割合の人がGoogle等で検索して対処方法を調べると思われます。そこで、以下のURLでSQLインジェクション対策方法を検索した結果の上位のエントリを検証してみようと思い立ちました。 http://www.google.co.jp/search?q=SQLインジェクション対策 どこまで調べるかですが、以前NH
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
postgresqlでcreatedbするとUTF8でエラーが出るとき - opamp_sando's blog
PostgreSQL - ルールを使った読み込み専用テーブル、ログテーブルなどの作成1 | マイナビニュース
IDEA * IDEA
O/R Modelling Part 1: Intro to PostgreSQL as Object-Relational Database Management System
GitHub - brianc/node-postgres: PostgreSQL client for node.js.
