[B! PostgreSQL] testedqualityのブックマーク

[postgres]大容量メモリかつOSがRHEL(CentOS)6系をお使いの方、THPのdefragは止めた方が良いですよ - Qiita

■ 現行設定確認 # cat /sys/kernel/mm/transparent_hugepage/defrag ⇒alwayであれば対象 ■ あれ？sys高いなと思ったときに打つ # perf top ⇒以下のように出たらすぐにTHPのdefrag設定を見直しましょう～～～ Samples: 2M of event 'cycles', Event count (approx.): 908733026153 42.59% [kernel] [k] compaction_alloc　　←★これ (圧縮_再配置) 8.09% [kernel] [k] __reset_isolation_suitable 2.32% [kernel] [k] compact_zone ... ～～～起きたこと CPU使用率のsysが張り付く postgresの処理が止まる postgresのプロセスが大量

testedquality 2018/03/29

大容量メモリつかうシステム自分で組んだことないのですが影響うけたシステムの話をきいたのでメモ。

リンク

CPU脆弱性Meltdownのパッチ適用でベンチマークスコアが25％低下した - Qiita

いま話題のCPU脆弱性Meltdownですが、各OSベンダーからカーネルのパッチが配布され始めました。個人で利用しているEC2にパッチを適用して、ベンチマークをとったところ、トータルスコアが25％低下という結果が出ましたのでまとめます。 ※環境やCPUの種類やベンチマークの取り方で変わるので、必ずしも全ての環境においてこの結果が正しいわけではありません。環境とスペック EC2インスタンスタイプ：t2.midium OS： 3.10.0-693.11.6.el7.x86_64 (CentOS 7) CPU： Intel(R) Xeon(R) CPU E5-2676 v3 @ 2.40GHz (2コア) 結論コンテキストスイッチの速度が低下する。 Meltdown関連の記事にもあるように、パッチ適用によってカーネルモードとユーザモードのアドレス空間を分離する措置が取られるため、

testedquality 2018/01/07

リンク

【Azure Database座談会】識者が語るMySQL/PostgreSQLマネージドサービスのメリットとは

ーーフィードバックへはどうやって対応していってますか？ MS 新井：コミュニティからのフィードバックにいかに対応するかは、（マイクロソフト社内の）開発者本人の評価軸にもなるくらい重要視しています。先ほどのPostgreSQLの機能拡張のリクエストはまさに対応しているところで、コミュニティの皆さんに対してAzureの検証環境を提供したりもしています。また、機能的なリクエストだけではなく、石井さんからはOSSコミュニティとの関わり方のアドバイスもいただき、非常に参考になりました。 MS 石坂：これまで日本のデータベースチームは1つでしたが、PostgreSQLとMySQLのチームを分けてエンジニアの人数を増やしています。日々世界中から集まるフィードバックに対して、グローバルで要望が高いものから改善のプロセスを進めていっています。日本独自のニーズや、ゲーム業界ならではのものなどもありますが、日本

testedquality 2017/11/19

リンク

GitLab.comが操作ミスで本番データベース喪失。5つあったはずのバックアップ手段は役立たず、頼みの綱は6時間前に偶然取ったスナップショット－ Publickey

果たしてGitLab.comで何が起きたのでしょうか？これまでの経緯をまとめました。スパムによるトラフィックのスパイクからレプリケーションの不調へ GitLab.comは今回のインシデントについての詳細な経過を「GitLab.com Database Incident - 2017/01/31」で公開しています。また、もう少し整理された情報がブログ「GitLab.com Database Incident | GitLab」にも掲載されています。これらのドキュメントを軸に、主なできごとを時系列に見ていきましょう。 1月31日16時（世界協定時。日本時間2月1日午前8時）、YP氏（Yorick Peterse氏と思われる）はPostgreSQLのレプリケーションを設定するためにストレージの論理スナップショットを作成。これがあとで失われたデータを救う幸運につながります。 1月31日21時

testedquality 2017/02/02

リンク

PostgreSQL 9.5登場 - ついにUPSERT実現

PostgreSQLグローバルデベロップメントグループは1月7日(米国時間)、「PostgreSQL: PostgreSQL 9.5: UPSERT, Row Level Security, and Big Data」において、PostgreSQLの最新版となる「PostgreSQL 9.5」の公開を伝えた。この最新版にはUPSERT機能をはじめとするさまざまな新機能が追加されており、PostgreSQLグローバルデベロップメントグループは「同バージョンが、スタートアップといったレベルから大企業、政府機関といったさまざまな規模の組織において優れた性能を提供する」としている。「PostgreSQL 5.9」の主な新機能は次のとおり。 UPSERT機能の実装。この機能は開発者らから長年にわたって要望されていた機能。UPSERTはINSERT, ON CONFLICT UPDATEを意味してお

testedquality 2016/01/15

UPSERTってはじめてきいた・・・あれば便利だけど・・・へええ！

PostgreSQL

リンク

PostgreSQL - Qiita Advent Calendar 2015 - Qiita

About reserved postingIf you register a secret article by the day before the same day, it will be automatically published around 7:00 on the same day. About posting periodOnly articles submitted after November 1 of the year can be registered. (Secret articles can be registered anytime articles are posted.)

testedquality 2015/12/16

全部読む！

PostgreSQL

リンク

PostgreSQLを透過的に暗号化するソフト

NECの「Transparent Data Encryption for PostgreSQL」（TDE for PG）は、オープンソースのRDBMS（リレーショナルベース管理システム）であるPostgreSQLを透過的に暗号化するソフトである。PostgreSQLにデータ暗号化の機能を組み込むライブラリーモジュールとして提供する。オープンソース版の「Free Edition」と、機能上位の商用版「Enterprise Edition」をラインアップしている。 PostgreSQLに暗号化機能を追加するライブラリーモジュールである。暗号化のための専用のデータ型を用意している（テキスト型のENCRYPT_TEXTとバイナリー型のENCRYPT_BYTEA）。テーブル作成時に列（カラム）のデータ型としてこれらを指定する。これにより、データベースクライアントからは暗号化を意識することなくSQLで

testedquality 2015/07/07

PostgreSQL

リンク

[db tech showcase Tokyo 2015] B17:PostgreSQLで動的にスケールアウト可能な負荷分散DBクラスタを作ろう！ by SRA OSS, Inc. 日本支社長田悠吾

PostgreSQLの組み込みレプリケーション機能を使うと、信頼性の高い非同期レプリケーションシステムが構成できます。更に、pgpool-IIというクラスタ管理ツールを組み合わせることにより、ユーザにあまりクラスタ構成を意識させることなく、動的にDBノードを追加してスケールアウト可能な参照負荷分散DBクラスタを作ることも可能です。本講演では、こうしたシステムの作り方をデモを交えて解説します。

testedquality 2015/07/02

内容確認。DBのスケールアウト。

リンク

PostgreSQL で SQL プログラミング - YAPC::Asia Tokyo 2014

RDB は、ただの入れ物なのか RDB は単に巨大なスーパーグローバル変数をしまっておくためだけの装置なのかもうちょっとシバいて仕事をさせることはできないだろうかそんな想いが紡ぎ出す素晴らしいクエリの世界を PostgreSQL のユニークな機能を使ってご紹介しますトーク内容なにその型 Array 型 Range 型 JSON(B) 型行を生み出す関数 generate_series() 共通表式 WITH ネストしていくサブクエリを平らにしようよし、SQL でプログラミングするぞここまでの機能を使って、SQL だけで「欲しい結果」を取り出してみようそして再帰SQL (WITH RECURSIVE) これはなんなのか具体的にどんな役に立つのか

testedquality 2015/06/15

みたい！Array型は他のDBからみたら異端。けどかなーり便利。

PostgreSQL

リンク

NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？（前編） NTTデータオープンソースDAY2015 － Publickey

NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？（前編） NTTデータオープンソースDAY2015 現在のシステム構築では、オープンソースのソフトウェアを使うことは当たり前になってきています。PostgreSQLはそうした中で主にエンタープライズ向けのデータベースとして着実に事例を増やしてきています。その中で、PostgreSQLを大規模なミッションクリティカルなシステムの中で使うには、どのようなノウハウが求められるのか。オープンソースの利用に積極的なNTTデータがその事例を、1月26日に開催されたイベント「NTTデータオープンソースDAY 2015」のセッション「NTTデータとPostgreSQLが挑んだ総力戦。PostgreSQLを極限まで使い切ったその先に見たものとは？」で紹介しています。講演内容をダイジェストにしまし