What Powers Instagram: Hundreds of Instances, Dozens of Technologies
Welcome to the Instagram Engineering Blog, where we share insights on building and scaling our service. One of the questions we always get asked at meet-ups and conversations with other engineers is, “what’s your stack?” We thought it would be fun to give a sense of all the systems that power Instagram, at a high-level; you can look forward to more in-depth descriptions of some of these systems in
repmgr - Replication Manager for PostgreSQL clusters
What is repmgr? repmgr is an open-source tool suite for managing replication and failover in a cluster of PostgreSQL servers. It enhances PostgreSQL's built-in hot-standby capabilities with tools to set up standby servers, monitor replication, and perform administrative tasks such as failover or manual switchover operations. repmgr has provided advanced support for PostgreSQL's built-in replicatio
本当は怖いPostgreSQL性能測定
この記事は，PostgreSQL Advent Calendar 2012の12月25日分の記事です(書く人がいなさそうなので勝手に)。 PostgreSQLの性能測定に絡めつつ，データベースシステムの性能測定に関する様々な罠について， 傾向と対策を書いてみようと思います。 この記事のきっかけとなったのが， 永安さんのPostgreSQL Advent Calendar 2012（全部俺） の，PostgreSQL Deep Dive: データブロックサイズの変更と分析系クエリへの性能影響（SSD編） という記事です。 みんな大好きSSDの上で，DWH系のワークロードを動かした場合の性能について， DBのブロックサイズが与える影響を測定した記事です。 今回は，この記事へのツッコミという形で性能測定の罠を紹介してゆくことにします。 ※ 念のために断っておきますが，当該記事を貶める意図があるわ
パラレルスキャンのスケーラビリティ調査とFlame Graphsによるプロファイリング可視化
先月、弊社にデータベース系の研究をしていた中国人留学生がインターンに来ており、その彼にお願いしてPostgreSQLのパラレルクエリのスケーラビリティの調査と、プロファイリング＋可視化のツールとしてFlameGraphを使ってもらいました。 大学のスケジュールの関係上、インターンの期間が急遽、3週間から2週間に短縮されてしまったため、結果をきちんとまとめたり追試をしたりといったところまでは到達できなかったのですが、個人的にもそれなりに面白いアウトプットになったと思いますので、簡単にご紹介したいと思います。 なお、細かい手順の詳細などは、インターンに参加していた学生さんのGithubにまとまっています。参考文献に載せておきますので、興味のある方はそちらも参照してください。（本テストと直接関係のない内容も含まれています） ■テストの背景 PostgreSQLの9.6develにパラレルシーケン
PostgreSQL 9.5 New Features in Tokyo at MyNA and JPUG
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Linux tuning to improve PostgreSQL performance
Spencer Christensen There are many aspects to managing an RDBMS. Some of these are handled by an experienced DBA, but there are a good many things that any sys admin should be able to take care of if they know what to look for. This presentation will cover basics of managing Postgres, including creating database clusters, overview of configuration, and logging. We will also look at tools to help m
PostgreSQL 8.3 に関する技術情報
このリリースは PostgreSQL 8.3 (2008/02/04リリース)に関する技術情報をお届けします。本ドキュメントは PostgreSQL のリリースノートを元に弊社で解説を加えたものです。 概要 重要な新機能とパフォーマンス改良が入ったバージョンです。 コミュニティの拡大により開発速度が向上し、多くの機能が取りこまれました。 本リリースでは以下の主要な機能が追加されています。 新機能 全文検索機能をデータベースシステム本体に統合 SQL/XML サポート ENUM データ型のサポート 複合型の配列 UUID データ型 ソート時に NULL データを最初にするか最後にするかの制御 更新可能カーソル サーバ設定パラメータを関数単位で設定できるようになった ユーザ定義型が型識別子を持てるようになった テーブル定義の変更もしくは統計情報が更新された場合に、キャッシュされたクエリを自動的
PostgreSQL version 9.5 のWALファイル管理 - interdb’s blog
このブログに限り完全に著作権を放棄します(あくまでこのブログだけ。他のブログ、および下の英語文書は範囲外)。勝手に使ってよし。2016.12.20 公開した文書のごく一部を、翻訳して公開。(BLOGにするにあたり、構成は変えた。) http://www.interdb.jp/pg 概要 checkpoint_segmentsが廃止され、WALファイル数の上限下限をmax_wal_sizeとmin_wal_sizeで指定できるようになった。 WALファイル数は(これらの制限内で)サーバの活動状況=WALファイルの消費量に合わせて変化する。あまり書き込みがなければWAL数は減少し、活発になればWAL数が増える。 保存するWAL数は基本的にリカバリに必要不可欠なものに限られ、無駄なWALファイルを溜め込む事は無くなった。 理解のための前提条件 CHECKPOINTの起動タイミング CHECKPO
slonyのデータレプリケーション設定 - tsunokawaのはてなダイアリー
slonyのデータレプリケーション設定 PostgreSQLのレプリケーション設定のひとつ 『Slony-I』の設定手順です。 http://www.slony.info/ サーバー構成 以下のように想定します。 OS IPアドレス DB名 PostgreSQL Slony-Iバージョン DBマスターサーバー CentOS 5.4 64bit 10.0.0.1 master PostgreSQL 8.4.5 Slony-I 2.0.6 DBスレーブサーバー CentOS 5.4 64bit 10.0.0.2 slave PostgreSQL 9.0.3 Slony-I 2.0.6 テーブル 以下のテーブルのレプリケーションを行います。 テーブル名 table1 table2 table3 マスターサーバー下準備 まず、「slonik」コマンド経由でマスタデータベースの初期設定を行います。
Yet Another 仕事のツール (31) Slony-Iでデータベースをレプリケーション | マイナビニュース
前回Slony-I 1.0.1の導入方法を紹介したが、早くもバージョン1.0.2がリリースされている。今回のアップデートでは、先頃リリースされたPostgreSQL 8.0ベータへの対応や細かいバグフィックスが行われているようだ。 さて、今回はSlony-IでPostgreSQLデータベースのレプリケーションを行ってみる。あらかじめ断っておくと、Slony-Iはpgpoolほどシンプルな構造ではなく、設定の手順も多少煩雑になる。細かく解説していると紙数(Web媒体なので紙ではないが)が足りなくなってしまうので、今回はざっと手順のみを紹介する。なお、今回も例によって、単一ホスト上での「マスタ/スレーブ」構成からシンプルに始めてみよう。 まずはレプリケーションするデータベースを作成する。PostgreSQLデータベース管理者の権限でcreatedbコマンドを実行し、マスタ、スレーブの2つのデー
Slony-I
24. Using Slony-I for PostgreSQL Upgrades A number of people have found Slony-I useful for helping perform upgrades between major PostgreSQL releases ( e.g. which mandates running initdb to create a new database instance) without requiring a substantial downtime. The "simple" way that one might imagine doing such an upgrade would involve running pg_dump on the database running the older version, a
PostgreSQL 9.5: UPSERT, Row Level Security, and Big Data
PostgreSQL 9.5: UPSERT, Row Level Security, and Big Data 7 JANUARY 2016: The PostgreSQL Global Development Group announces the release of PostgreSQL 9.5. This release adds UPSERT capability, Row Level Security, and multiple Big Data features, which will broaden the user base for the world's most advanced database. With these new capabilities, PostgreSQL will be the best choice for even more applic
パーティショニング : 用途と利点 — Let's Postgres
NTT オープンソースソフトウェアセンタ 板垣 貴裕 パーティショニングとはデータを複数に分割して格納することです。データを分割することにより、性能や運用性が向上し、故障の影響を局所化することができます。巨大なデータを扱う場合にはパーティショニング機能を利用することも検討してみてください。 この記事ではパーティショニングの概要と用途について説明しています。PostgreSQL での具体的な使い方については『パーティショニング : 使い方』を参照してください。 パーティショニングの用途 パーティショニングには大きく分けて「テーブル間の分割」「ノード間の分割」の2つがあります。この記事では主にテーブル間の分割を扱います。 テーブル間の分割 巨大なテーブルを複数のテーブルに分割します。単純に複数のテーブルに分けて格納するだけでも効果はありますが、PostgreSQL は複数のパーティションを1つ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - EnterpriseDB/repmgr: A lightweight replication manager for PostgreSQL (Postgres)
サービスの安定継続を 支えるPostgreSQLの 構成とは
sslcompressionの設定方法および性能測定結果
https://atnd.org/events/75718
MySQLメインの人がPostgreSQLのベンチマークをしてみた話
第2回 MySQL・PostgreSQLユーザーグループ（MyNA・JPUG）合同DB勉強会 in 東京
GitHub - rach/pome: A Postgres Metrics Dashboard
